- 论文：《End-to-end Lane Shape Prediction with Transformers》
- 代码：https://github.com/liuruijin17/LSTR
- 地址：https://arxiv.org/abs/2011.04233v2
- 内容：使用 CNN+Transformer，基于三次曲线拟合车道线
整体结构
模型输出的东西
g t = ( k ′ ′ , f ′ ′ , m ′ ′ , n ′ , b t ′ ′ , b t ′ ′ ′ , α t , β t ) g_t=(k'',f'',m'',n',b''_t,b'''_t,\alpha_t,\beta_t) gt=(k′′,f′′,m′′,n′,bt′′,bt′′′,αt,βt) 及对应的存在性
以上各量满足：
u ′ = k ′ ′ ( v ′ − f ′ ′ ) 2 + m ′ ′ v ′ − f ′ ′ + n ′ + b t ′ ′ v ′ − b t ′ ′ ′ u'=\frac{k''}{(v'-f'')^2}+\frac{m''}{v'-f''}+n'+b''_t v'-b'''_t u′=(v′−f′′)2k′′+v′−f′′m′′+n′+bt′′v′−bt′′′
其中，
- ( u ′ , v ′ ) (u',v') (u′,v′) 为图像像素位置；
- ( k ′ ′ , f ′ ′ , m ′ ′ , n ′ ) (k'',f'',m'',n') (k′′,f′′,m′′,n′) 决定了车道线的弯曲程度；
- ( α t , β t ) (\alpha_t,\beta_t) (αt,βt) 是第 t t t 条车道线的起点；
- ( b t ′ ′ , b t ′ ′ ′ ) (b''_t,b'''_t) (bt′′,bt′′′) 拟合直线部分。
补充：
- n ′ n' n′ 与 b t ′ ′ ′ b'''_t bt′′′ 具有不同的物理背景，所以文中并没有将其合并。
- 以上公式的各参数具备明确的物理含义，其基于三次曲线，推导过程可参考文中的第 7 节。
预测的车道线与 GT 之间的匹配
使用 Hungarian 算法寻找最佳匹配
- 优化的损失函数：
L = Σ i = 1 N − ω 1 log p z ^ ( i ) ( c ^ i ) + 1 ( c ^ i = 1 ) ω 2 L 1 ( s ^ i , s z ^ ( i ) ) + 1 ( c ^ i = 1 ) ω 3 L 1 ( α ^ i , α z ^ ( i ) , β ^ i , β z ^ ( i ) ) L=\Sigma^N_{i=1}-\omega_1 \log_{p_{\hat{z}(i)}}(\hat{c}_i)+\mathbf{1}(\hat{c}_i=1)\omega_2 L_1(\hat{s}_i,s_{\hat{z}(i)})+\mathbf{1}(\hat{c}_i=1)\omega_3 L_1(\hat{\alpha}_i,\alpha_{\hat{z}(i)},\hat{\beta}_i,\beta_{\hat{z}(i)}) L=Σi=1N−ω1logpz^(i)(c^i)+1(c^i=1)ω2L1(s^i,sz^(i))+1(c^i=1)ω3L1(α^i,αz^(i),β^i,βz^(i))
求的是 z ^ = arg min z L \hat{z}=\mathop{\arg\min}_z L z^=argminzL
其中：
- ( c i , g i ) (c_i,g_i) (ci,gi) 是预测的第 i i i 条车道线；
- c i ∈ { 0 , 1 } c_i\in \{0,1\} ci∈{0,1} 是对 预测的第 i i i 条车道线 属实情况的预测；
- s ^ = ( u ^ r ′ , v ^ r ′ ) r = 1 R \hat{s}=(\hat{u}'_{r},\hat{v}'_{r})^R_{r=1} s^=(u^r′,v^r′)r=1R 是车道线 GT（注意这里是对车道线的像素级采样，不是曲线参数 g r g_r gr）；
- z ( i ) z(i) z(i) 是指：与 GT 中第 i i i 条车道线相匹配的第 z z z 条预测结果。
- N N N 表示在每张图片上预测的车道线的数量，该值大于实际数量，所以在每张图片的 GT 集合中，存在并非车道线的“线”。
- 1 ( c ^ i = 1 ) \mathbf{1}(\hat{c}_i=1) 1(c^i=1) 是示性函数，当 GT 中第 i i i 条车道线属实时，其值为 1 1 1，否则为 0 0 0。
