Pavel Erofeev edited GP.tex  over 9 years ago

Commit id: 73230435169b526ca127bc56e66039da57f9c0d4

deletions | additions      

       

In this paper we consider a specific class of regression functions $\mathcal{GP}$ -- Gaussian Processes. Any process $P\in\mathcal{GP}$ is uniqely defined by its mean $\mu(\mathbf{x}) = \mathrm{E}\left[f(\mathbf{x})\right]$ and covariance $\mathrm{Cov}\left(y, y^\prime\right) = k\left(\mathbf{x}, \mathbf{x}^\prime\right) = \mathrm{E}\left[\left(f\left(\mathbf{x}\right) - \mu\left(\mathbf{x}\right)\right) \left(f\left(\mathbf{x}^\prime\right) - \mu\left(\mathbf{x}^\prime\right)\right)\right]$ functions.  Если положить функцию среднего нулевой $m(\mathbf{x}) = \EE[f(\mathbf{x})] \mathrm{E}[f(\mathbf{x})]  = 0$, а ковариационную функцию считать известной, то функция апостериорного (для заданной обучающей выборки) среднего значения гауссовского процесса в точках контрольной выборки $X_*$ имеет вид \cite{Rasmussen} $\hat{f}(X_*) = K_* K^{-1} Y$, где $K_* = K(X_*, X) = \bigl[k(\mathbf{x}_i, \mathbf{x}_j), i = \overline{1, N_*}, j = \overline{1,N}\bigr], K = K(X, X) = \bigl[k(\mathbf{x}_i, \mathbf{x}_j), i, j = \overline{1, N}\bigr]$. Обычно предполагается, что данные наблюдаются с шумом:  $ \vecY(\mathbf{x}) y(\mathbf{x})  = f(\mathbf{x}) + \eps(\mathbf{x})$, \varepsilon(\mathbf{x})$,  где $\eps(\mathbf{x})\sim\mathcal{N}(0, $\varepsilon(\mathbf{x})\sim\mathcal{N}(0,  \tilde{\sigma}^2)$ --- белый шум. В таком случае наблюдения $\vecY(\mathbf{x})$ $y(\mathbf{x})$  являются реализацией гауссовского процесса с нулевым средним и ковариационной функцией $cov(\vecY(\mathbf{x}), \vecY(\mathbf{x}')) $cov(y(\mathbf{x}), y(\mathbf{x}'))  = k(\mathbf{x}, \mathbf{x}') + \tilde{\sigma}^2\delta(\mathbf{x}- \mathbf{x}')$, где $\delta(\mathbf{x})$ --- дельта-функция. Таким образом, функция апостериорного (для заданной обучающей выборки) среднего значения гауссовского процесса $f(\mathbf{x})$ в точках контрольной выборки $X_*$ принимает вид:  \begin{equation}  \label{meanNoise}