在学习概率统计之前，我学习的都是确定的函数。概率统计讨论了一次取值时获得的值是不确定的，而随机过程讨论了不确定会发生哪个时间函数。

每个x(t)函数(样本函数)就是实际发生的一个表达式确定的函数，对每个x(t)的处理，都是与之前确定函数的处理方法相同的，但是由于我们没法确定某次究竟发生哪个确定表达式的x(t),所以我们只能研究发生哪种情况的概率大些，或者当这件事多次发生时，呈现出来的统计特性是什么。虽然每个x(t)的特性是不定的，但是x(t)的统计特性却是确定的，所以我们研究的还是变中的不变量。

自相关函数
随机过程中的一个基本式子：自相关函数
书上说均值和方差只刻画随机过程(大)X(t)在各个独立时刻的概率统计特性，反应不了随机过程的内在相关性，所以引入了自相关函数。从引入自相关函数的目的看来，它是为了分辨形状不同的(小)x(t)，所以带入$$E(X(t1)\ast X(t2{)}^T)$$
公式的值应该是每个x(t)上取两个时刻的函数值自己相乘，这样才能反应x(t)的差异。而因为前面所说，我们面对的不是一定会发生的某个x(t)，而是一组均可能发生的x(t)。所以应该对每个样本函数取两个时刻的函数值相乘后做统计平均来获得这一组样本函数的统计特性，或者是平均特性。在这里我想说一下自己对于统计平均曾经的错误理解和修正：物理实验处理数据时，我们求的都是算术平均，即每个记录值的权重是相同的。然而求期望时，我们的算的是加权平均。看似矛盾但实则相同。这是因为算术平均时若是数值相同的数出现多次，那么这个数就被重复的代入多次，事实上某数出现的频率就是它的权重。而当引入概率密度函数时，因为横轴上的x是不会出现重复值的，所以要用频率来做纵坐标表现某个x出现可能性的大小。

假设实际发生了n个样本函数；(在实际工程中不可能测无穷组数据，只能是测n组数据认为已经包罗万象了)，分别为x1(t)，x2(t)，x3(t),…xn(t);
这n个样本函数是可以出现表达式(形状样子)相同的，但是下标仍然是各不相同，在这种前提下每个样本函数的权值是相同的。所以X(t)的自相关函数的表达式就应为：
$$E(X(t1)\ast X(t2{)}^T)=(x1(t1)\ast x1(t2)+x2(t1)\ast x2(t2)+...+xn(t1)\ast xn(t2))/n$$
应该注意的是样本函数下标的对应关系。它体现了自相关函数真正想表达的含义。因为自相关函数在实际工程中是被测出来，再拟合成某个数学表达式的，而不像题目中直接告诉成一个成型的式子。所以在工程中如何对一系列测得的值进行关系正确的运算组合是至关重要的。有些同学不理解为什么不同的样本函数之间不能相乘。这要从随机过程的研究对象与确定函数的异同说起。我想若是研究某个确定函数x1(t)的特征，大家肯定不会觉得研究过程会和x2(t)有什么联系。而随机过程的研究和确定函数的研究相同点就是：虽然随机过程中每次究竟会发生哪个样本函数并不确定，但是一旦发生，则就是这个样本函数，不会串扰了。那么对于这个已成事实的样本函数，研究方法和对确定函数的研究是相同的。而随机过程与确定函数的不同就在于：这个样本函数并不是次次都发生，所以要求统计特征。但是统计特征的获取是在把每个样本函数当作确定函数处理变换后，再对变换后的一系列新的样本函数求算术平均(类比X是一个连续的随机变量，其概率密度函数为f(x),y=g(x),求y的统计特性)。所以求算术平均前的操作都是限制在各个样本函数内部的，不同样本函数间不发生关联。求算术平均前的操作即为与确定函数相同的地方。

然而既然引入自相关函数的目的是为了描述样本函数变化的剧烈程度，直观的想，本人会在一个样本函数上取两个时刻的函数值，然后让他们相减，看差距的大小来判断样本函数变化的剧烈程度。虽然自相关函数的引入是从描述样本函数的变化剧烈程度来的，但是自相关函数的真正作用并非如此，纵观全书，非常多的统计特性量都是由自相关函数变化而成，所以自相关函数的真正意义是基本元素。
比如在随机过程的线性变换那章讲到了随机过程的均方积分和微分，可看出研究的对象仍是类似于确定函数的，比如是否连续，是否可导，然后再讨论积分微分结果的特性。但由于研究对象并非确定函数，所以引入均方连续，放宽条件，即不需要每个样本函数都连续，而是大部分连续，即便极个别跳变在做统计平均后其影响也被削弱。这时连续就需要对相邻时间函数值的差值求期望。但是为了数学处理的方便，我们不愿每次都分辨差值的正负然后再让大的减去小的以避免不适当的抵消，我们经常直接对差值求平方后再求期望。在展开平方的过程中式子将变成：
$$(x(t1)-x(t2){)}^2=(x(t1)\ast x(t1)+x(t2)\ast x(t2)-2\ast x(t1)\ast x(t2))$$
可以看出，展开后的每一项都是自相关函数的形式。
所以用自相关函数作为作为基本元素的好处就是对于一个随机过程，只需实际测出一些值算出(拟合出)自相关函数的表达式，之后若是想得到这个随机过程的其他数字特征都可以基于测得的相关函数通过一些变换(如加减、积分、求导)得出，而不用每想求一个统计特征时都得实际测量一组值了。

互相关函数与自相关函数类似，只不过是两个不同的随机过程的两个样本函数作为输入量。
自相关是互相关的一种特殊情况。互相关函数是描述随机信号x(t)、y(t)在任意两个不同时刻s,t的取值之间的相关程度，其定义为：
$$R(s,t)=E(X(s)\ast Y(t))$$
对于连续函数，有定义：
$$(f\ast g)(\tau )={\int }_0^{\infty }{f}^{\ast }(t)\ast g(t+\tau )dt$$
互相关函数反应的是两个函数在不同的相对位置上互相匹配的程度；自、互相关函数都是对相关性，即相似性的度量。如果进行归一化，会看的更清楚。自相关就是函数和函数本身的相关性，当函数中有周期性分量的时候，自相关函数的极大值能够很好的体现这种周期性。互相关就是两个函数之间的相似性，当两个函数都具有相同周期分量的时候，它的极大值同样能体现这种周期性的分量；相关运算从线性空间的角度看其实是内积运算，而两个向量的内积空间在线性空间中表示一个向量向另一个向量的投影，表示两个向量的相似程度，所以相关运算就体现了这种相似程度。

相关函数与相关系数的关系不是很大，相关系数
Pearson相关系数(Pearsonc Correlation Coefficient)是衡量两个数据集合是否在一条线上面，它用来衡量定距变量(统计学依据数据的计量尺度将数据划分为四大类，即定距型数据、定序型数据、定类型数据和定比型数据)的线性关系。
1.定距型数据是数字型变量，可以求加减平均值等，但不存在基准0值，即当变量值为0时不是表示没有，如温度变量，当温度为0时，并不是表示没有温度，这样温度就为定距变量，而不是定比变量。
线性关系
两个变量之间存在一次方函数关系，就称他们之间存在线性关系。正比例关系是线性关系中的特例，反比例关系不是线性关系。更通俗一点讲，如果把这两个变量分别作为点的横坐标与纵坐标，其图像平面上的一条线，则这两个变量之间的关系就是线性关系；即如果可以用一个二元一次方程来表达两个变量之间关系的话,这两个变量之间的关系称为线性关系。

X、Y线性相关时，两个变量的协方差等于两个变量标准差的乘积，此时皮尔森相关系数为1。

协方差：
如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
可以通俗的理解为：两个变量在变化过程中是同方向变化？还是反方向变化？同方向或反方向程度如何？
你变大，同时我也变大，说明两个变量是同向变化的，这时协方差就是正的；
你变大，同时我变小，说明两个变量是反向变化的，这时协方差就是负的；
从数值来看，协方差的数值越大，两个变量同向程度也就越大。反之亦然。


1.已知信号矩阵A,协方差矩阵(covariance matrix)，使用matlab函数cov(A)；
2.相关矩阵跟相关系数矩阵是同一个矩阵，相关系数即为相关矩阵的矩阵元；已知协方差矩阵可以求相关矩阵：corrcov(covmat);