• 확률적 그래프 모델(probabilistic graphical model) 의 장점
  • 확률적 모델의 구조를 시각화하기 쉬움
  • 그래프에 대한 점검으로 조건부 독립 성질과 같은 모델에 대한 통찰
  • 정교한 모델에서 학습 및 추론 시 필요한 복잡한 계산들을 그래프 조작의 형태로 표현할 수 있음
• 그래프
  • 노드(node, vertex) 와 링크(link, edge, arc)
  • 각각의 노드는 확률 변수(또는 확률 변수의 그룹)
  • 링크는 이 변수들 간의 확률적 관계
• 베이지안 네트워크(Bayesian network) : directed graphical model
  • 방향성 그래프는 확률 변수 간 인과 관계를 표현하는데 유용
• 마르코프 무작위장(Markov random field) : undirected graphical model
  • 비 방향성 그래프는 확률 변수 간의 유연한 제약 관계를 표현하는데 적합

8.1 베이지안 네트워크

• 확률의 곱 법칙에 의해

$p(a,b,c)=p(c|a,b)p(a,b)\\=p(c|a,b)p(b|a)p(a)$

$p(c|a,b)$의 경우 a→c, b→c

$p(b|a)$의 경우 a→b

a는 b의 부모(parent)노드

b는 a의 자식(child) 노드

• K개 변수에 대한 결합 분포 $p(x_1, ..., x_K)$의 경우

$p(x_1, ..., x_K)=p(x_K|x_1,...,x_{K-1})...p(x_2|x_1)p(x_1)$

• K개의노드를 가지는 방향성 그래프로 표현할 수 있다.
• 조건부 분포 각각은 자신보다 더 낮은 순번의 노드들로부터 들어오는 방향의 링크를 가지게 되고, 이 경우 그래프가 fully connected 되었다고 표현
• absence한 경우

$p(x_1)p(x_2)p(x_3)p(x_4|x_1,x_2,x_3)p(x_5|x_1,x_3)p(x_6|x_4)p(x_7|x_4,x_5)$

각 조건부 분포들은 그래프 상에서 해당 노드의 부모 노드만을 조건절로 가짐

• normal equation

$p(\textbf x)=\prod_{k=1}^Kp(x_k|\text p \text a_k)$

각 노드에 대한 조건부 분포는 그래프에서의 부모 노드에 대해 조건부인 분포

• $\text p\text a_k$ : $x_k$의 부모 노드
• 방향성 그래프 모델에서의 결합 분포의 인수분해(factorization) 성질을 표현
• 이 방향성 그래프는 방향성 순환(directed cycle)이 없어야 한다는 제약이 있다.
• 이 그래프를 **방향성 비순환 그래프(directed acycle graph, DAG)**라고 함
  • 한 노드가 그보다 더 낮은 순서의 노드로 가는 링크가 없다
  • 전체 노드에 순서를 부여하는 것이 가능하다는 것과 동치

8.1.1 예시: 다항 근사(Polynomial Regression)