OpenCV:来自Fundamental matrix和SolvePnPRansac的投影矩阵是完全不同的

作为我硕士论文的一部分，我正在探索运动结构。在阅读了部分H&Z书籍，跟随在线教程和阅读了许多SO帖子之后，我得到了一些有用的结果，但我也有一些问题。我使用OpenCVSharp包装器。所有图片均为同一台相机拍摄。

我现在的情况:

首先计算初始3d点坐标。我采用以下步骤:

1. 计算Farneback的密集光流。
2. 使用Cv2找到基本矩阵。FindFundamentalMat with RANSAC

3. 使用相机特性获得基本矩阵(在这一点上，我使用预先确定的特性)并分解它:

   Mat essential = camera_matrix.T() * fundamentalMatrix * camera_matrix;
   SVD decomp = new SVD(essential, OpenCvSharp.SVDFlag.ModifyA);
   Mat diag = new Mat(3, 3, MatType.CV_64FC1, new double[] {
       1.0D, 0.0D, 0.0D,
       0.0D, 1.0D, 0.0D,
       0.0D, 0.0D, 0.0D
   });
   Mat Er = decomp.U * diag * decomp.Vt;
   SVD svd = new SVD(Er, OpenCvSharp.SVDFlag.ModifyA);
   Mat W = new Mat(3, 3, MatType.CV_64FC1, new double[] {
       0.0D, -1.0D, 0.0D,
       1.0D, 0.0D, 0.0D,
       0.0D, 0.0D, 1.0D
   });
   Mat Winv = new Mat(3, 3, MatType.CV_64FC1, new double[] {
       0.0D, 1.0D, 0.0D,
       -1.0D, 0.0D, 0.0D,
       0.0D, 0.0D, 1.0D
   });
   Mat R1 = svd.U * W * svd.Vt;
   Mat T1 = svd.U.Col[2];
   Mat R2 = svd.U * Winv * svd.Vt;
   Mat T2 = -svd.U.Col[2];
   Mat[] Ps = new Mat[4];
   for (int i = 0; i < 4; i++)
       Ps[i] = new Mat(3, 4, MatType.CV_64FC1);
   Cv2.HConcat(R1, T1, Ps[0]);
   Cv2.HConcat(R1, T2, Ps[1]);
   Cv2.HConcat(R2, T1, Ps[2]);
   Cv2.HConcat(R2, T2, Ps[3]);
   

4. 然后我检查哪个投影矩阵在两个摄像机前面有最多的点，通过三角测量这些点，然后将它们乘以投影矩阵(我尝试了两个Cv2。TriangulatePoints和H&Z版本(结果相似)并检查正Z值(从同质值转换后):

   P * point3D
   

在这一点上，我应该有或多或少正确的3D点。3D可视化看起来非常正确。

然后我通过再次使用密集光流计算每个新帧的SolvePNP，并使用已知的先前投影矩阵计算下一个3D点并将它们添加到模型中。3D可视化看起来或多或少是正确的(此时没有bundle调整)。

因为我需要对每个新帧使用SolvePNP，所以我首先用基本矩阵计算的前2个图像来检查它。理论上，投影矩阵应该与初始算法计算的矩阵相同或几乎相同-我在第二张图像中使用初始的3D点和相应的2D点。但这是不一样的。

这是通过分解基本矩阵计算出来的:

0,955678480016302 -0,0278536127242155 0,293091827064387 -0,148461857222772 
-0,0710609269521247 0,944258717203142 0,321443338158658 -0,166586733489084 
0,285707870900394 0,328023857736121 -0,900428432059693 0,974786098164824 

这是我从SolvePnPRansac得到的:

0,998124823499476 -0,0269266503551759 -0,0549708305812315 -0,0483615883381834 
0,0522887223187244 0,8419572918112 0,537004476968512 -2,0699592377647 
0,0318233598542908 -0,538871853288516 0,841786433426546 28,7686946357429

它们看起来都是正确的投影矩阵，但它们是不同的。

对于那些耐心读完整篇文章的人，我有三个问题:

1. Why are these matrices different? I know the reconstruction is up to scale, but since I have an arbitrary scale assigned in the first place the SolvePNP should keep that scale.
2. I noticed one strange thing - the translation in the first matrix seems to be exactly the same no matter what images I use.
3. Is the overal algorithm correct, or am I doing something wrong? Do I miss some important step?

如果需要更多的代码让我知道，我会编辑问题。

谢谢!