Pavel Erofeev edited GPR.tex  over 9 years ago

Commit id: 4e87a74169d23be44f8a751cf6fc91e5b488fccc

deletions | additions      

       

\section{Gaussian Processes Regression}  \label{sec:GaussianProcessesRegression}  In multidimensional regression problem we assume that $f: \mathcal{X} \rightarrow \mathbb{R}, \mathcal{X}\subset\mathbb{R}^m$ is an unknow dependency function. We are given a noisy \textit{learning set} $D = \left\{\left(\mathbf{x}_i, y_i\right)\right\}$, where $y_i = f(\mathbf{x}_i) + \varepsilon_i, \mathbf{x}_i\in\mathcal{X}, \varepsilon_i\sim\mathcal{N}(0,\sigma^2)$ for $i=1,\dots,N$ sampled independently and identically distributed (i.i.d.) from some unknown distribution. The goal is to predict the response $\hat y^*$ on unseen test points $x^*$ with small mean-squared error under the data distribution, i.e. find such function $\hat{f}$ from specific class $\mathcal{C}$ that approximation error on test set $D_{test} =\left\{\left(\mathbf{x}_j, y_j = f(\mathbf{x}_j)\right)\middle| j = \overline{1, N_*}\right\}$ N_*}\right\}$,  \begin{equation}  \label{eq:ApproxError}  \varepsilon\left(\hat{f} \middle| D_{test}\right) = \sqrt{\frac{1}{N_*} \sum\limits_{j = 1}^{N_*} \bigl(y_j - \hat{f}(\mathbf{x}_j)\bigr)^2}.  \end{equation}  is minimum.The problem is to construct function $\hat{f}$ from specific class $(\vecX) = \hat{f}(\vecX | D_{learn})$ для исходной зависимости $\vecY = f(\vecX)$ по обучающей выборке $D_{learn}$.  Если для всех $\vecX \in \XX$ (не только для $\vecX \in D_{learn}$) имеет место примерное равенство   \begin{equation}\label{eq:good_approx}  \hat{f}(\vecX) \approx f(\vecX),  \end{equation}   то считается, что аппроксимация хорошо воспроизводит исходную зависимость. Выполнение соотношения \eqref{eq:good_approx} проверяют на независимых тестовых данных $D_{test} = \bigl(X_*, Y_*\bigr) = \bigl\{\bigl(\vecX_j, \vecY_j = f(\vecX_j)\bigr), j = \overline{1, N_*}\bigr\}$, оценивая качество построенной аппроксимации с помощью среднеквадратичной ошибки  \begin{equation}  \label{eq:ApproxError}  \eps(\hat{f} | D_{test}) = \sqrt{\frac{1}{N_*} \sum\limits_{j = 1}^{N_*} \bigl(\vecY_j - \hat{f}(\vecX_j)\bigr)^2}.  \end{equation}