演習問題 7.1
(a)
$p_J$ が確率密度関数であるためには、
$
\iint p_J(\boldsymbol{\theta}, \boldsymbol{\Sigma}) \, d\boldsymbol{\theta} \, d\boldsymbol{\Sigma} = 1
$
である必要があるが、
$
\int p_J(\boldsymbol{\theta}, \boldsymbol{\Sigma}) \, d\boldsymbol{\theta} = \infty
$
であるため、$p_J$ は確率密度関数ではない。
(b)
結合事後分布
\[\begin{align*}
p_J(\boldsymbol{\theta}, \boldsymbol{\Sigma} \mid \mathbf{y}_1, \ldots, \mathbf{y}_n)
&\propto p_J(\boldsymbol{\theta}, \boldsymbol{\Sigma}) \times p(\mathbf{y}_1, \ldots, \mathbf{y}_n \mid \boldsymbol{\theta}, \boldsymbol{\Sigma})\\
&\propto |\boldsymbol{\Sigma}|^{-(p+2)/2} \times |\boldsymbol{\Sigma}|^{-n/2}
\exp\left\{ -\frac{1}{2} \sum_{i=1}^n (\mathbf{y}_i - \boldsymbol{\theta})^T \boldsymbol{\Sigma}^{-1} (\mathbf{y}_i - \boldsymbol{\theta}) \right\}\\
&= |\boldsymbol{\Sigma}|^{-(p+n+2)/2}
\exp\left\{ -\frac{1}{2} \sum_{i=1}^n (\mathbf{y}_i - \boldsymbol{\theta})^T \boldsymbol{\Sigma}^{-1} (\mathbf{y}_i - \boldsymbol{\theta}) \right\}
\end{align*}\]
$\boldsymbol{\theta}$ の条件付き事後分布
\[\begin{align*}
p_J(\boldsymbol{\theta} \mid \boldsymbol{\Sigma}, \mathbf{y}_1, \ldots, \mathbf{y}_n)
&\propto p_J(\boldsymbol{\theta}, \boldsymbol{\Sigma} \mid \mathbf{y}_1, \ldots, \mathbf{y}_n)\\
&\propto \exp\left\{ -\frac{1}{2} \sum_{i=1}^n (\mathbf{y}_i^T - \boldsymbol{\theta}^T) \boldsymbol{\Sigma}^{-1} (\mathbf{y}_i - \boldsymbol{\theta}) \right\}\\
&= \exp\left\{ -\frac{1}{2} \sum_{i=1}^n (\mathbf{y}_i^T \boldsymbol{\Sigma}^{-1} - \boldsymbol{\theta}^T \boldsymbol{\Sigma}^{-1}) (\mathbf{y}_i - \boldsymbol{\theta}) \right\}\\
&= \exp\left\{ -\frac{1}{2} \sum_{i=1}^n \left( \mathbf{y}_i^T \boldsymbol{\Sigma}^{-1} \mathbf{y}_i - \mathbf{y}_i^T \boldsymbol{\Sigma}^{-1} \boldsymbol{\theta}
- \boldsymbol{\theta}^T \boldsymbol{\Sigma}^{-1} \mathbf{y}_i + \boldsymbol{\theta}^T \boldsymbol{\Sigma}^{-1} \boldsymbol{\theta} \right) \right\}\\
&= \exp\left\{ -\frac{1}{2} \sum_{i=1}^n \left( \mathbf{y}_i^T \boldsymbol{\Sigma}^{-1} \mathbf{y}_i - 2 \boldsymbol{\theta}^T \boldsymbol{\Sigma}^{-1} \mathbf{y}_i
+ \boldsymbol{\theta}^T \boldsymbol{\Sigma}^{-1} \boldsymbol{\theta} \right) \right\}\\
&\propto \exp\left\{ -\frac{1}{2} \boldsymbol{\theta}^T A_1 \boldsymbol{\theta} + \boldsymbol{\theta}^T \mathbf{b}_1 \right\},
\quad \text{where} \quad A_1 = n \boldsymbol{\Sigma}^{-1}, \quad \mathbf{b}_1 = n \boldsymbol{\Sigma}^{-1} \bar{\mathbf{y}}\\
&\propto \text{multivariate normal}(\bar{\mathbf{y}}, \boldsymbol{\Sigma}/n)
\end{align*}\\\]
$\boldsymbol{\Sigma}$ の条件付き事後分布
\[\begin{align*}
p_J(\boldsymbol{\Sigma} \mid \boldsymbol{\theta}, \mathbf{y}_1, \ldots, \mathbf{y}_n)
&\propto p_J(\boldsymbol{\theta}, \boldsymbol{\Sigma} \mid \mathbf{y}_1, \ldots, \mathbf{y}_n)\\
&\propto |\boldsymbol{\Sigma}|^{-(p+n+2)/2} \exp\left\{ -\frac{1}{2} \sum_{i=1}^n (\mathbf{y}_i - \boldsymbol{\theta})^T \boldsymbol{\Sigma}^{-1} (\mathbf{y}_i - \boldsymbol{\theta}) \right\}\\
&= |\boldsymbol{\Sigma}|^{-(n+1+p+1)/2} \exp\left\{ -\frac{1}{2} \text{tr}(S_{\theta} \boldsymbol{\Sigma}^{-1}) \right\},
\quad \text{where} \quad S_{\theta} = \sum_{i=1}^n (\mathbf{y}_i - \boldsymbol{\theta})(\mathbf{y}_i - \boldsymbol{\theta})^T\\
&\propto \text{inverse Wishart}(n + 1, S_{\theta}^{-1})\\
\end{align*}\]