给定一个随机样本，一个线性回归模型假设回归子Yi和回归量之间的关係可能是不完美的。我们加入一个误差项（也是一个随机变数）来捕获除了之外任何对Yi的影响。所以一个多变数线性回归模型表示为以下的形式：

其他的模型可能被认定成非线性模型。一个线性回归模型不需要是自变数的线性函式。线性在这里表示Yi的条件均值在参数β里是线性的。例如：模型在β1和β2里是线性的，但在里是非线性的，它是Xi的非线性函式。

区分随机变数和这些变数的观测值是很重要的。通常来说，观测值或数据（以小写字母表记）包括了n个值 .我们有p + 1个参数需要决定，为了估计这些参数，使用矩阵表记是很有用的。其中Y是一个包括了观测值的列向量，包括了未观测的随机成份以及回归量的观测值矩阵X：X通常包括一个常数项。如果X列之间存在线性相关，那幺参数向量β就不能以最小二乘法估计除非β被限制，比如要求它的一些元素之和为0。

样本是在总体之中随机抽取出来的。因变数在实直线上是连续的，残差项是独立同分布的，也就是说，残差是i.i.d.且服从高斯分布。这些假设意味着残差项不依赖自变数的值，所以和自变数（预测变数）之间是相互独立的。在这些假设下，建立一个显示线性回归作为条件预期模型的简单线性回归。

回归分析的最初目的是估计模型的参数以便达到对数据的最佳拟合。在决定一个最佳拟合的不同标準之中，最小二乘法是非常优越的。