Pavel Erofeev edited GP.tex  over 9 years ago

Commit id: 976421f03e415772d6d1297c59485359474db601

deletions | additions      

       

In that case observations $y(\mathbf{x})$ are generated by Gaussian Process with zero mean and covariance function $\mathrm{Cov}\left(y(\mathbf{x}), y(\mathbf{x}^\prime)\right) = k(\mathbf{x}, \mathbf{x}^\prime) + \tilde{\sigma}^2\delta(\mathbf{x}- \mathbf{x}^\prime)$, where $\delta(\mathbf{x})$ is a Dirac delta funciton.  Thus, aposterior mean funciton of Gaussian Process $f(\mathbf{x})$ in the points of test set $X_*$ takes form:  \begin{equation}  \label{eq:mean_noise} \begin{equation}%\label{eq:mean_noise}  \hat{f}(X_*) = K_* \left(K + \tilde{\sigma}^2 I\right)^{-1} {\sigma}^2 I \right)^{-1}  Y, \end{equation}  where $I$ -- identity matrix of size $(N \times N)$.  Note, that noise variance $\tilde{\sigma}^2$ in (\ref{eq:mean_noise}) in fact leads to regularization and more generalization ability of the resulting regression. Wherein the aposteriori covariance function of Gaussian Process in the points of test set takes form:  \begin{equation}  \label{eq:covariance_noise}  \mathrm{V} \bigl[X_*\bigr] \begin{equation}\label{eq:covariancenoise}\mathrm{V} \left[X_*\right]  = K(X_*, X_*) + \tilde{\sigma}^2 I_* - K_* \bigl(K \left(K  + \tilde{\sigma}^2 I \bigr)^{-1} \right)^{-1}  K_*^T, \end{equation} where $K(X_*, X_*) = \bigl[k(\mathbf{x}_i, \mathbf{x}_j), \left[k(\mathbf{x}_i, \mathbf{x}_j) \middle|  i, j = 1, \dots, N_*\bigr]$ N_*\right]$  and $I_*$ -- identity matrix of size $(N_* \times N_*)$. Дисперсии гауссовского процесса в точках контрольной выборки могут быть использованы как оценки ожидаемой ошибки аппроксимации в этих точках.  Заметим, что для этого нет необходимости вычислять по формуле (\ref{covarianceNoise}) всю матрицу $\VV \bigl[X_*\bigr]$, а достаточно вычислить только элементы ее главной диагонали, которые и являются искомыми дисперсиями.