this is for holding javascript data
Pavel Erofeev edited GP.tex
over 9 years ago
Commit id: 976421f03e415772d6d1297c59485359474db601
deletions | additions
diff --git a/GP.tex b/GP.tex
index 138b69d..1620abb 100644
--- a/GP.tex
+++ b/GP.tex
...
In that case observations $y(\mathbf{x})$ are generated by Gaussian Process with zero mean and covariance function $\mathrm{Cov}\left(y(\mathbf{x}), y(\mathbf{x}^\prime)\right) = k(\mathbf{x}, \mathbf{x}^\prime) + \tilde{\sigma}^2\delta(\mathbf{x}- \mathbf{x}^\prime)$, where $\delta(\mathbf{x})$ is a Dirac delta funciton.
Thus, aposterior mean funciton of Gaussian Process $f(\mathbf{x})$ in the points of test set $X_*$ takes form:
\begin{equation}
\label{eq:mean_noise} \begin{equation}%\label{eq:mean_noise}
\hat{f}(X_*) = K_* \left(K +
\tilde{\sigma}^2 I\right)^{-1} {\sigma}^2 I \right)^{-1} Y,
\end{equation}
where $I$ -- identity matrix of size $(N \times N)$.
Note, that noise variance $\tilde{\sigma}^2$ in (\ref{eq:mean_noise}) in fact leads to regularization and more generalization ability of the resulting regression. Wherein the aposteriori covariance function of Gaussian Process in the points of test set takes form:
\begin{equation}
\label{eq:covariance_noise}
\mathrm{V} \bigl[X_*\bigr] \begin{equation}\label{eq:covariancenoise}\mathrm{V} \left[X_*\right] = K(X_*, X_*) + \tilde{\sigma}^2 I_* - K_*
\bigl(K \left(K + \tilde{\sigma}^2 I
\bigr)^{-1} \right)^{-1} K_*^T,
\end{equation}
where $K(X_*, X_*) =
\bigl[k(\mathbf{x}_i, \mathbf{x}_j), \left[k(\mathbf{x}_i, \mathbf{x}_j) \middle| i, j = 1, \dots,
N_*\bigr]$ N_*\right]$ and $I_*$ -- identity matrix of size $(N_* \times N_*)$.
Дисперсии гауссовского процесса в точках контрольной выборки могут быть использованы как оценки ожидаемой ошибки аппроксимации в этих точках.
Заметим, что для этого нет необходимости вычислять по формуле (\ref{covarianceNoise}) всю матрицу $\VV \bigl[X_*\bigr]$, а достаточно вычислить только элементы ее главной диагонали, которые и являются искомыми дисперсиями.