柱面投影matlab程序

article/2025/9/27 4:54:12

拼接之前要进行柱面、立方体面或者球面投影，《全景拼接的关键技术研究》选的是柱面投影，根据其理论有：

%假设相机市场角为45度
%反投影到柱面时左右有缝隙了
A=imread('F:\fisheye\kk.jpg');
[H,W,k]=size(A);
f=W/(2*tan(pi/4/2)); %视场角越小则弯曲越小
C=zeros(H,W);
for i=1:H
for j=1:W
yy=f*tan((j-W/2)/f)+W/2;
xx=(i-H/2)*sqrt((j-W/2)^2+f^2)/f+H/2;
xx=round(xx);
yy=round(yy);
if(xx<1||yy<1||xx>H||yy>W)
nn=nn+1;
continue;
end
C(i,j,1)=A(xx,yy,1);
C(i,j,2)=A(xx,yy,2);
C(i,j,3)=A(xx,yy,3);
end
end
C=uint8(C);

原图（网上下载的美女图假设相机视场角是pi/4）：

则柱面投影结果图：

如果直接用书上那个公式变换下，即：yy=f*tan((j-f*atan(W/2/f))/f)+W/2; 那么缝隙就移到一边去了，即成了这样：

所以还是用原来的，然后再计算左右两边的缝隙，并把这个缝隙除掉：

len=round(f*atan(-W/2/f)+W/2);
D=zeros(H-1,W-2*len-1);
for i=1:H
for j=len+1:W-len
ii=i;
jj=j-len;
D(ii,jj,1)=C(i,j,1);
D(ii,jj,2)=C(i,j,2);
D(ii,jj,3)=C(i,j,3);
end
end
D=uint8(D);

结果：

这样就差不多行了

换张校正后的鱼眼图片试试，我知道之前我用鱼眼校正图进行柱面投影时候为什么出来是个黑屏了因为我依然用的是鱼眼相机的视场角180度其实校正后的鱼眼图进行柱面投影时就不能把它当做180了因为其实它已经是个正常图片了，所以假设它是正常相机的60度左右就行，结果：

但是有个大叔坚持认为校正后的鱼眼图片和普通图片不一样校正后的鱼眼图片进行拼接之前不用进行柱面投影而且也不能像我一样把它当成普通图片视场角60度左右！

但我觉得不是他说的这样，等我把普通图片的拼接做完，就来试鱼眼图片拼接，看是我认为的这样还是他认为的那样！

1，SIFT/SURF等进行特征点检测和匹配

这一步之前编过SIFT 但最后还是有问题所以还是直接用OpenCV上的特征点检测和匹配程序，然后再把得到的匹配对输出给MATLAB，因为我只要它的结果。

2，计算出变换矩阵H

这是鱼眼图像拼接正式开始的第一步：就是根据SIFT匹配（或者别的匹配方法）找到的构成匹配对的特征点位置信息计算出两幅或几幅图像之间的变换矩阵，即看待拼接图像之间存在什么关系（平移、旋转、仿射等等），我在MATLAB里做的，理论部分根据论文《鱼眼图像全景拼接系统》，论文里只取4对匹配对就够了，我取了5对。

data1=load('matchdata1.txt'); %这是OpenCV中得到的匹配对中第一幅图的坐标
data2=load('matchdata2.txt');
[m,n]=size(data1);
A=zeros(10,8);
n=1;
arr=[1,1,2,2,3,3,4,4,5,5];
b=zeros(10,1);
for i=1:10
nn=n/2;
nnn=fix(nn);
nnnn=nn-nnn;
if(nnnn~=0)
A(i,1)=data1(arr(i),1);
A(i,2)=data1(arr(i),2);
A(i,3)=1;
A(i,4)=0;
A(i,5)=0;
A(i,6)=0;
A(i,7)=-data1(arr(i),1)*data2(arr(i),1);
A(i,8)=-data1(arr(i),1)*data2(arr(i),2);
b(i)=data2(arr(i),1);
else
A(i,1)=0;
A(i,2)=0;
A(i,3)=0;
A(i,4)=data1(arr(i),1);
A(i,5)=data1(arr(i),2);
A(i,6)=1;
A(i,7)=-data1(arr(i),1)*data2(arr(i),2);
A(i,8)=-data1(arr(i),2)*data2(arr(i),2);
b(i)=data2(arr(i),2);
end
n=n+1;
end
H=A\b;

H =

0.6179
-0.0088
-135.7927
-0.1784
0.6745
46.5215
-0.0011
-0.0001

3，拼接融合算法

3.1取平均值法

论文中这部分写得不清楚，无法用来编程，我再找找有没写得比较清晰的关于线性融合的论文。我找了个论文《全景拼接的关键技术研究》这里面几种拼接融合算法写得比较清晰，我想都实现出来，这个取平均值法融合是最简单的，同时也是效果最不好的，我没用投影到柱面，也没用求得的变换矩阵H，因为我目前没弄懂这两个对后续拼接融合的具体意义，等我弄清楚了再编它们再用，这个取平均值法融合我是直接用SIFT匹配的结果直接按照论文中取平均来拼的可能是位置不太准确吧重影、拼接线、错位等问题都存在：

原图：

结果：

%《全景拼接的关键技术研究》取平均值融合
%其实最好先判断这两幅是否同样大小，若不，则把这两幅图调成一样大小，这里我懒得调了它们差不多大小
A=imread('F:\fisheye\mosaic1.jpg');
B=imread('F:\fisheye\mosaic2.jpg');
%先找两幅图的重叠区域
data1=218; %直接用的OpenCV里SIFT匹配的结果
data2=89;
[m1,n1,k1]=size(A);
[m2,n2,k2]=size(B);
if m1<m2
M=m2;
m=m1;
else
M=m1;
m=m2;
end
nn1=n1-data1;
if nn1>data2
n=nn1;
else
n=data2;
end
z1=zeros(m,n);
z2=z1;
Rect=z1;
for i=1:m
for j=1:n
z1(i,j,1)=A(i,data1-1+j,1);
z1(i,j,2)=A(i,data1-1+j,2);
z1(i,j,3)=A(i,data1-1+j,3);
z2(i,j,1)=B(i,j,1);
z2(i,j,2)=B(i,j,2);
z2(i,j,3)=B(i,j,3);
Rect(i,j,1)=(z1(i,j,1)+z2(i,j,1))/2;
Rect(i,j,2)=(z1(i,j,2)+z2(i,j,2))/2;
Rect(i,j,3)=(z1(i,j,3)+z2(i,j,3))/2;
end
end
Rect=uint8(Rect);
N=round(data1+n+n2-data2);
C=zeros(M,N);
for i=1:M
for j=1:N
if(j<=data1)
if(i>m1||j>n1)
continue;
end
C(i,j,1)=A(i,j,1);
C(i,j,2)=A(i,j,2);
C(i,j,3)=A(i,j,3);
elseif(j<=data1+n)
if(i>m||j-data1>n)
continue;
end
C(i,j,1)=Rect(i,j-data1,1);
C(i,j,2)=Rect(i,j-data1,2);
C(i,j,3)=Rect(i,j-data1,3);
else
if(i>m||j-data1>n2)
continue;
end
C(i,j,1)=B(i,j-data1,1);
C(i,j,2)=B(i,j-data1,2);
C(i,j,3)=B(i,j-data1,3);
end
end
end
C=uint8(C);