原理

双因素等重复试验的方差分析

假设前提和模型设定

离差平方和分解

检验统计量和拒绝域

例题

应用

双因素无重复试验的方差分析

假设前提和模型设定

离差平方和分解

检验统计量和拒绝域

例题

应用

原理

在单因素方差分析的基础上，双因素方差分析有两种类型，一种是无交互作用（双因素无重复试验）的双因素方差分析，一种是有交互作用（双因素等重复试验）的双因素方差分析。

双因素等重复试验的方差分析

假设前提和模型设定

设有交互作用的两个因素A，B作用于试验的指标，因素A有r个水平 $A_{1},A_{2},...,A_{r}$ ，因素B有s个水平 $B_{1},B_{2},...,B_{s}$ ，现对因素A，B的水平的每对组合 $(A_{i},B_{j}),i=1,2,...,r;j=1,2,...,s$ 都作 $t(t\geq 2)$ 次试验（成为等重复试验），得到结果：

因素	$B_{1}$	$B_{2}$	...	$B_{s}$
$A_{1}$	$\begin{aligned} X&_{111},X_{112},\\ &...,X_{11t} \end{aligned}$	$\begin{aligned} X&_{121},X_{122},\\ &...,X_{12t} \end{aligned}$	...	$\begin{aligned} X&_{1s1},X_{1s2},\\ &...,X_{1st} \end{aligned}$
$A_{2}$	$\begin{aligned} X&_{211},X_{212},\\ &...,X_{21t} \end{aligned}$	$\begin{aligned} X&_{221},X_{222},\\ &...,X_{22t} \end{aligned}$	...	$\begin{aligned} X&_{2s1},X_{2s2},\\ &...,X_{2st} \end{aligned}$
...	...	...		...
$A_{r}$	$\begin{aligned} X&_{r11},X_{r12},\\ &...,X_{r1t} \end{aligned}$	$\begin{aligned} X&_{r21},X_{r22},\\ &...,X_{r2t} \end{aligned}$	...	$\begin{aligned} X&_{rs1},X_{rs2},\\ &...,X_{rst} \end{aligned}$

由表可知，一共有r*s个总体，基于假设前提：

1.每个总体均服从正态分布，且方差相等，即， $X_{ijk}\sim N(\mu_{ij},\sigma^{2}),i=1,2,...,r;j=1,2,...,s;k=1,2,...,t$

2.每个总体中抽取的样本相互独立

引入记号：

$\mu=\frac{1}{rs}\sum^{r}_{i=1}\sum^{s}_{j=1}\mu_{ij}$

$\mu_{i\cdot }=\frac{1}{s}\sum_{j=1}^{s}\mu_{ij},i=1,2,...,r$

$\mu_{\cdot j}=\frac{1}{r}\sum_{i=1}^{r}\mu_{ij},j=1,2,...,s$

$\alpha_{i}=\mu_{i\cdot}-\mu,i=1,2,...,r$

$\beta_{i}=\mu_{\cdot j}-\mu,j=1,2,...,s$

其中， $\alpha_{i}$ 为 $A_{i}$ 的效应， $\beta_{j}$ 为 $B_{j}$ 的效应，且

$\sum^{r}_{i=1}\alpha_{i}=0$

$\sum^{s}_{j=1}\beta_{j}=0$

把 $\mu_{ij}$ 表示为

$\begin{aligned} \mu_{ij}&=\mu+\alpha_{i}+\beta_{j}+(\mu_{ij}-\mu_{i\cdot}-\mu_{\cdot j}+\mu)\\ &=\mu+\alpha_{i}+\beta_{j}+\gamma_{ij} \end{aligned}$

其中， $\gamma_{ij}=\mu_{ij}-\mu_{i\cdot}-\mu_{\cdot j}+\mu$ 称为 $A_{i}$ 因素水平和 $B_{j}$ 因素水平的交互效应，且

$\sum^{r}_{i=1}\gamma_{ij}=0$

$\sum^{s}_{j=1}\gamma_{ij}=0$

因此可把 $X_{ijk}$ 写成 $X_{ijk}=\mu+\alpha_{i}+\beta_{j}+\gamma_{ij}+\varepsilon _{ij}$ ，其中 $\varepsilon _{ij}\sim N(0,\sigma^{2})$ ，各 $\varepsilon_{ij}$ 独立

对于这一模型，要检验以下三个假设：

$\left\{\begin{matrix} H_{0}:\alpha_{1}=\alpha_{2}=...=\alpha_{r}=0\\ H_{1}:\alpha_{1},\alpha_{2},...,\alpha_{r}\,are\,not\, all\,0 \end{matrix}\right.$

$\left\{\begin{matrix} H_{0}:\beta_{1}=\beta_{2}=...=\beta_{s}=0\\ H_{1}:\beta_{1},\beta_{2},...,\beta_{s}\,are\,not\, all\,0 \end{matrix}\right.$

$\left\{\begin{matrix} H_{0}:\gamma_{1}=\gamma_{2}=...=\gamma_{k}=0\\ H_{1}:\gamma_{1},\gamma_{2},...,\gamma_{k}\,are\,not\, all\,0 \end{matrix}\right.$

离差平方和分解

引入记号：

$\overline{X}=\frac{1}{rst}\sum^{r}_{i=1}\sum^{s}_{j=1}\sum^{t}_{k=1}X_{ijk}$

$\overline{X}_{ij\cdot}=\frac{1}{t}\sum^{t}_{k=1}X_{ijk},i=1,2,...,r;j=1,2,...,s$

$\overline{X}_{i\cdot\cdot}=\frac{1}{st}\sum^{s}_{j=1}\sum^{t}_{k=1},i=1,2,...,r$

$\overline{X}_{\cdot j\cdot}=\frac{1}{rt}\sum^{r}_{i=1}\sum^{t}_{k=1},j=1,2,...,s$

总离差平方和：

$\begin{aligned} SST&=\sum^{r}_{i=1}\sum^{s}_{j=1}\sum^{t}_{k=1}(X_{ijk}-\overline{X})^{2}\\ &=\begin{aligned}&\sum^{r}_{i=1}\sum^{s}_{j=1}\sum^{t}_{k=1}[(X_{ijk}-\overline{X}_{ij\cdot})+(\overline{X}_{i\cdot\cdot}-\overline{X})+(\overline{X}_{\cdot j\cdot}-\overline{X})\\ &+(\overline{X}_{ij\cdot}-\overline{X}_{i\cdot\cdot}-\overline{X}_{\cdot j\cdot}-\overline{X})] \end{aligned}\\ &=\begin{aligned} &\sum^{r}_{i=1}\sum^{s}_{j=1}\sum^{t}_{k=1}(X_{ijk}-\overline{X})^{2}+st\sum^{r}_{i=1}(\overline{X}_{i\cdot\cdot}-\overline{X})^{2}\\ &+rt\sum^{r}_{i=1}(\overline{X}_{\cdot j\cdot}-\overline{X})^{2}+t\sum^{r}_{i=1}\sum^{s}_{j=1}(\overline{X}_{ij\cdot}-\overline{X}_{i\cdot\cdot}-\overline{X}_{\cdot j\cdot}-\overline{X})^{2} \end{aligned}\\ &=SSW+SSA+SSB+SSAB \end{aligned}$

其中，

组内离差平方和为

$SSW=\sum^{r}_{i=1}\sum^{s}_{j=1}\sum^{t}_{k=1}(X_{ijk}-\overline{X}_{ij\cdot})^{2}$

因素A的效应平方和为

$SSA=st\sum^{r}_{i=1}(\overline{X}_{i\cdot\cdot}-\overline{X})^{2}$

因素B的效应平方和为

$SSB=rt\sum^{s}_{j=1}(\overline{X}_{\cdot j\cdot}-\overline{X})^{2}$

因素A、B交互效应平方和为

$SSAB=t\sum^{r}_{i=1}\sum^{s}_{j=1}(\overline{X}_{ij\cdot}-\overline{X}_{i\cdot\cdot}-\overline{X}_{\cdot j\cdot}-\overline{X})^{2}$

在实际计算中，可以使用以下公式简便计算：

记

$T_{\cdot\cdot\cdot}=\sum^{r}_{i=1}\sum^{s}_{j=1}\sum^{t}_{k=1}X_{ijk}$

$T_{ij\cdot}=\sum^{t}_{k=1}X_{ijk}$

$T_{i\cdot\cdot}=\sum^{s}_{j=1}\sum^{t}_{k=1}X_{ijk}$

$T_{\cdot j\cdot}=\sum^{r}_{i=1}\sum^{t}_{k=1}X_{ijk}$

计算

$SST=\sum^{r}_{i=1}\sum^{s}_{j=1}\sum^{t}_{k=1}X_{ijk}^{2}-\frac{T^{2}_{\cdot\cdot\cdot}}{rst}$

$SSA=\frac{1}{st}\sum^{r}_{i=1}T_{i\cdot\cdot}^{2}-\frac{T^{2}_{\cdot\cdot\cdot}}{rst}$

$SSB=\frac{1}{rt}\sum^{s}_{j=1}T_{\cdot j\cdot}^{2}-\frac{T^{2}_{\cdot\cdot\cdot}}{rst}$

$SSAB=(\frac{1}{t}\sum^{r}_{i=1}\sum^{s}_{j=1}T_{ij\cdot}^{2}-\frac{T^{2}_{\cdot\cdot\cdot}}{rst})-SSA-SSB$

$SSW=SST-SSA-SSB-SSAB$

检验统计量和拒绝域

上述离差平方和的统计特性为

离差平方和	自由度	均值估计量
SST	rst-1
SSW	rs(t-1)	$E(\frac{SSW}{rs(t-1)})=\sigma^{2}$
SSA	r-1	$E(\frac{SSA}{r-1})=\sigma^{2}+\frac{st\sum^{r}_{i=1}\alpha_{i}^{2}}{r-1}$
SSB	s-1	$E(\frac{SSB}{s-1})=\sigma^{2}+\frac{rt\sum^{s}_{j=1}\beta_{j}^{2}}{s-1}$
SSAB	(r-1)(s-1)	$E(\frac{SSAB}{(r-1)(s-1)})=\sigma^{2}+\frac{t\sum^{r}_{i=1}\sum^{s}_{j=1}\gamma_{ij}^{2}}{(r-1)(s-1)}$

当 $H_{0}:\alpha_{1}=\alpha_{2}=...=\alpha_{r}=0$ 为真时，

$E(\frac{SSA}{r-1})=\sigma^{2}$

$\frac{SSA}{\sigma^{2}}\sim \chi^{2}(r-1)$

$F_{A}=\frac{\frac{SSA}{\sigma^{2}(r-1)}}{\frac{SSW}{\sigma^{2}rs(t-1)}}=\frac{\frac{SSA}{(r-1)}}{\frac{SSW}{rs(t-1)}}\sim F((r-1),rs(t-1))$

故拒绝域为

$F_{A}=\frac{\frac{SSA}{\sigma^{2}(r-1)}}{\frac{SSW}{\sigma^{2}rs(t-1)}}=\frac{\frac{SSA}{(r-1)}}{\frac{SSW}{rs(t-1)}}\geq F_{\alpha}((r-1),rs(t-1))$

类似地，假设 $H_{0}:\beta_{1}=\beta_{2}=...=\beta_{s}=0$ 的拒绝域为

$F_{B}=\frac{\frac{SSB}{(s-1)}}{\frac{SSW}{rs(t-1)}}\geq F_{\alpha}((s-1),rs(t-1))$

假设 $H_{0}:\gamma_{1}=\gamma_{2}=...=\gamma_{k}=0$ 的拒绝域为

$F_{AB}=\frac{\frac{SSAB}{(r-1)(s-1)}}{\frac{SW}{rs(t-1)}}\geq F_{\alpha}((r-1)(s-1),rs(t-1))$

双因素等重复试验的方差分析表
方差来源	离差平方和	自由度	均方	F比
因素A	SSA	r-1	$\overline{SSA}=\frac{SSA}{r-1}$	$F_{A}=\frac{\overline{SSA}}{\overline{SSW}}$
因素B	SSB	s-1	$\overline{SSB}=\frac{SSB}{s-1}$	$F_{B}=\frac{\overline{SSB}}{\overline{SSW}}$
交互作用	SSAB	(r-1)(s-1)	$\overline{SSAB}=\frac{SSAB}{(r-1)(s-1)}$	$F_{AB}=\frac{\overline{SSAB}}{\overline{SSW}}$
误差	SSW	rs(t-1)	$\overline{SSW}=\frac{SSW}{rs(t-1)}$
总和	SST	rst-1

例题

一火箭使用四种燃料A，三种推进器B作射程试验，每种燃料与每种推进器的组合各发射火箭两次，得到射程结果服从双因素方差分析假设条件（以海里计），检验两个因素及交互效应是否显著

B1=c(58.2,52.6,49.1,42.8,60.1,58.3,75.8,71.5)
B2=c(56.2,41.2,54.1,50.5,70.9,73.2,58.2,51.0)
B3=c(65.3,60.8,51.6,48.4,39.2,40.7,48.7,41.4)
d=cbind(B1,B2,B3)
data=data.frame(d)
rownames(data)=c("A1","A1*","A2","A2*","A3","A3*","A4","A4*")
r=4
s=3
t=2
n=24
Xbar=mean(c(mean(data$B1),mean(data$B2),mean(data$B3)))
SST=sum((c(data$B1,data$B2,data$B3)-Xbar)**2)
tdata=data.frame(t(data))
SSA=s*t*((mean(c(tdata$A1,tdata$A1.))-Xbar)**2+(mean(c(tdata$A2,tdata$A2.))-Xbar)**2+(mean(c(tdata$A3,tdata$A3.))-Xbar)**2+(mean(c(tdata$A4,tdata$A4.))-Xbar)**2)
SSB=r*t*((mean(data$B1)-Xbar)**2+(mean(data$B2)-Xbar)**2+(mean(data$B3)-Xbar)**2)
SSAB=0
m=function(rc,sc){#引入目标数组函数简化代码，前述计算也可以用这个函数y=c()for(i in rc){for(j in sc){y=c(y,data[t*i-1,j],data[t*i,j])}}return(y)
}
for(i in 1:r){for(j in 1:s){Xijbar=mean(m(i,j))Xibar=mean(m(i,c(1,2,3)))Xjbar=mean(m(c(1,2,3,4),j))Xbar=mean(m(c(1,2,3,4),c(1,2,3)))SSAB=SSAB+(Xijbar-Xibar-Xjbar+Xbar)**2}
}
SSAB=t*SSAB
SSW=SST-SSA-SSB-SSAB
tab1=data.frame(matrix(nrow = 5,ncol = 5))
colnames(tab1)=c("方差来源","偏差平方和","自由度","均方","F比")
tab1[1,1]="因素A"
tab1[2,1]="因素B"
tab1[3,1]="交互作用"
tab1[4,1]="误差"
tab1[5,1]="总和"
tab1[1,2]=SSA
tab1[2,2]=SSB
tab1[3,2]=SSAB
tab1[4,2]=SSW
tab1[5,2]=SST
tab1[1,3]=r-1
tab1[2,3]=s-1
tab1[3,3]=(r-1)*(s-1)
tab1[4,3]=r*s*(t-1)
tab1[5,3]=r*s*t-1
tab1[1,4]=SSA/(r-1)
tab1[2,4]=SSB/(s-1)
tab1[3,4]=SSAB/((r-1)*(s-1))
tab1[4,4]=SSW/(r*s*(t-1))
tab1[1,5]=tab1[1,4]/tab1[4,4]
tab1[2,5]=tab1[2,4]/tab1[4,4]
tab1[3,5]=tab1[3,4]/tab1[4,4]
qf(1-0.05,r-1,r*s*(t-1))
qf(1-0.05,s-1,r*s*(t-1))
qf(1-0.05,(r-1)*(s-1),r*s*(t-1))

由于

$F_{A}=4.417388>F_{0.05}(3,12)=3.490295$

$F_{B}=9.393902>F_{0.05}(2,12)=3.885294$

$F_{AB}=14.928825>F_{0.05}(6,12)=2.99612$

所以因素A,B及其交互效应都显著。

应用

A=c("A1","A1","A2","A2","A3","A3","A4","A4")
mdat=data.frame(A,B1,B2,B3)
library(reshape2)
mdata=melt(mdat,id.vars = "A",measure.vars = c("B1","B2","B3"),variable.name = "B",value.name = "range")
aov=aov(range~A+B+A*B,data=mdata)
summary(aov)

双因素无重复试验的方差分析

假设前提和模型设定

如果在实际问题中，已经知道因素A、B不存在交互作用，就可以对每一个组合 $(A_{i},B_{j})$ 只做一次试验，得到实验结果

因素	$B_{1}$	$B_{2}$	...	$B_{s}$
$A_{1}$	$X_{11}$	$X_{12}$	...	$X_{1s}$
$A_{2}$	$X_{21}$	$X_{22}$	...	$X_{2s}$
...	...	...	...	...
$A_{r}$	$X_{r1}$	$X_{r2}$	...	$X_{rs}$

由表可知，一共有r*s个样本数据，基于假设前提：

1.每个样本数据均服从正态分布，且方差相等，即，

$X_{ij}\sim N(\mu_{ij},\sigma^{2}),i=1,2,...,r;j=1,2,...,s$

2.每个样本数据 $X_{ij}$ 相互独立

沿用上一试验的记号，由于不存在交互作用， $\gamma_{ij}=0$ ，于是

$\mu_{ij}=\mu+\alpha_{i}+\beta_{j}$

则 $X_{ij}=\mu+\alpha_{i}+\beta_{j}+\varepsilon_{ij}$ ，其中 $\varepsilon_{ij}\sim N(0,\sigma^{2})$ 且各 $\varepsilon_{ij}$ 独立

所需检验的假设为：

$\left\{\begin{matrix} H_{0}:\alpha_{1}=\alpha_{2}=...=\alpha_{r}=0\\ H_{1}:\alpha_{1},\alpha_{2},...,\alpha_{r}\,are\,not\, all\,0 \end{matrix}\right.$

$\left\{\begin{matrix} H_{0}:\beta_{1}=\beta_{2}=...=\beta_{s}=0\\ H_{1}:\beta_{1},\beta_{2},...,\beta_{s}\,are\,not\, all\,0 \end{matrix}\right.$

离差平方和分解

总离差平方和为

$\begin{aligned} SST&=\sum^{r}_{i=1}\sum^{s}_{j=1}(X_{ij}-\overline{X})^{2}\\ &=\sum^{r}_{i=1}\sum^{s}_{j=1}[(\overline{X}_{i\cdot}-\overline{X})+(\overline{X}_{\cdot j}-\overline{X})+\\ &\,\,\,\,\,\,\,\,(X_{ij}-\overline{X}_{i\cdot}-\overline{X}_{\cdot j}+\overline{X})]^{2}\\ &=s\sum^{r}_{i=1}(\overline{X}_{i\cdot}-\overline{X})^{2}+r\sum^{s}_{j=1}(\overline{X}_{\cdot j}-\overline{X})^{2}+\\ &\,\,\,\,\,\,\,\sum^{r}_{i=1}\sum^{s}_{j=1}(X_{ij}-\overline{X}_{i\cdot}-\overline{X}_{\cdot j}+\overline{X})^{2} \\ &=SSA+SSB+SSW\end{aligned}$

因素A的效应平方和为

$SSA=s\sum^{r}_{i=1}(\overline{X}_{i\cdot}-\overline{X})^{2}$

因素B的效应平方和为

$SSB=r\sum^{s}_{j=1}(\overline{X}_{\cdot j}-\overline{X})^{2}$

组内离差平方和为

$SSW=\sum^{r}_{i=1}\sum^{s}_{j=1}(X_{ij}-\overline{X}_{i\cdot}-\overline{X}_{\cdot j}+\overline{X})^{2}$

为简便计算，可先计算其他离差平方和，再计算SSW

检验统计量和拒绝域

上述离差平方和的统计特性为

离差平方和	自由度	均值估计量
SST	rs-1
SSA	r-1	$E(\frac{SSA}{r-1})=\sigma^{2}+\frac{s\sum^{r}_{i=1}\alpha_{i}^{2}}{r-1}$
SSB	s-1	$E(\frac{SSB}{s-1})=\sigma^{2}+\frac{r\sum^{s}_{j=1}\beta_{j}^{2}}{s-1}$
SSW	(r-1)(s-1)	$E(\frac{SSW}{(r-1)(s-1)})=\sigma^{2}$

假设 $H_{0}:\alpha_{1}=\alpha_{2}=...=\alpha_{r}=0$ 的拒绝域为

$F_{A}=\frac{\frac{SSA}{\sigma^{2}(r-1)}}{\frac{SSW}{\sigma^{2}(r-1)(s-1)}}=\frac{\frac{SSA}{(r-1)}}{\frac{SSW}{(r-1)(s-1)}}\geq F_{\alpha}((r-1),(r-1)(s-1))$

假设 $H_{0}:\beta_{1}=\beta_{2}=...=\beta_{s}=0$ 的拒绝域为

$F_{B}=\frac{\frac{SSB}{(s-1)}}{\frac{SSW}{(r-1)(s-1)}}\geq F_{\alpha}((s-1),(r-1)(s-1))$

双因素无重复试验的方差分析表
方差来源	离差平方和	自由度	均方	F比
因素A	SSA	r-1	$\overline{SSA}=\frac{SSA}{r-1}$	$F_{A}=\frac{\overline{SSA}}{\overline{SSW}}$
因素B	SSB	s-1	$\overline{SSB}=\frac{SSB}{s-1}$	$F_{B}=\frac{\overline{SSB}}{\overline{SSW}}$
误差	SSW	(r-1)(s-1)	$\overline{SSW}=\frac{SSW}{(r-1)(s-1)}$
总和	SST	rs-1

例题

有5个不同时间 $A_{i}$ 、4个不同地点 $B_{j}$ 空气中的颗粒物的含量（以 $mg/m^{3}$ 计）的数据，符合假设前提，检验是否显著

B1=c(76,82,68,63)
B2=c(67,69,59,56)
B3=c(81,96,67,64)
B4=c(56,59,54,58)
B5=c(51,70,42,37)
data2=data.frame(B1,B2,B3,B4,B5)
rowname=c("A1","A2","A3","A4")
rownames(data2)=rowname
r=dim(data2)[1]
s=dim(data2)[2]
n=r*s
m=function(rc,sc){y=c()for(i in rc){for(j in sc){y=c(y,data2[i,j])}}return(y)
}
data2[5,1]=sum(m(1:r,1))
data2[5,2]=sum(m(1:r,2))
data2[5,3]=sum(m(1:r,3))
data2[5,4]=sum(m(1:r,4))
data2[5,5]=sum(m(1:r,5))
rownames(data2)=c(rowname,"Tj")
Ti=c()
for(i in 1:(r+1)){Ti=c(Ti,sum(m(i,1:s)))
}
data2$Ti=Ti
SST=sum(m(1:r,1:s)**2)-(sum(m(1:r,1:s))**2)/r/s
SSA=sum(m(1:r,6)**2)/s-(sum(m(1:r,1:s))**2)/r/s
SSB=sum(m(5,1:s)**2)/r-(sum(m(1:r,1:s))**2)/r/s
SSW=SST-SSA-SSB
tab2=data.frame(matrix(nrow = 4,ncol = 5))
colnames(tab2)=c("方差来源","平方和","自由度","均方","F比")
tab2[1,1]="因素A"
tab2[2,1]="因素B"
tab2[3,1]="误差"
tab2[4,1]="总和"
tab2[1,2]=SSA
tab2[2,2]=SSB
tab2[3,2]=SSW
tab2[4,2]=SST
tab2[1,3]=r-1
tab2[2,3]=s-1
tab2[3,3]=(r-1)*(s-1)
tab2[4,3]=r*s-1
tab2[1,4]=tab2[1,2]/tab2[1,3]
tab2[2,4]=tab2[2,2]/tab2[2,3]
tab2[3,4]=tab2[3,2]/tab2[3,3]
tab2[1,5]=tab2[1,4]/tab2[3,4]
tab2[2,5]=tab2[2,4]/tab2[3,4]
qf(1-0.05,r-1,(r-1)*(s-1))
qf(1-0.05,s-1,(r-1)*(s-1))

由于

$F_{A}=10.72241>F_{0.05}(3,12)=3.490295$

$F_{B}=13.23929>F_{0.05}(4,12)=3.259167$

所以因素A、B都显著。

应用

library(reshape2)
month=c("A1","A2","A3","A4")
Dat2=data.frame(month,B1,B2,B3,B4,B5)
rdata2=melt(Dat2,id.vars = "month",measure.vars = c("B1","B2","B3","B4","B5"),variable.name = "province",value.name = "concentration")
aov=aov(concentration~month+province,data=rdata2)
summary(aov)