选择建设网站公司要注意什么问题,菏泽网站设计培训,驻马店网站建设费用,企业外包的风险与对策文章目录 一、三维重建基础1.1 问题引入1.2 线性解法1.3 非线性解法1.4 多视图几何的关键问题 二、极几何与基础矩阵2.1 极几何2.2 极几何特例2.3 本质矩阵2.4 本质矩阵的性质2.5 基础矩阵2.6 基础矩阵的性质 三、基础矩阵估计 一、三维重建基础
1.1 问题引入 1. 从单张图像恢… 文章目录 一、三维重建基础1.1 问题引入1.2 线性解法1.3 非线性解法1.4 多视图几何的关键问题 二、极几何与基础矩阵2.1 极几何2.2 极几何特例2.3 本质矩阵2.4 本质矩阵的性质2.5 基础矩阵2.6 基础矩阵的性质 三、基础矩阵估计 一、三维重建基础
1.1 问题引入 1. 从单张图像恢复场景几何比较困难。比如下面这张图图片上人和塔几乎高度相同但是我们不知道人和塔离摄像机的距离无法还原真实场景。 2. 要解决上面这个问题我们必须有 “双眼系统” 才能解决。因为两条射线可以确定交点。但由于噪声的存在两条直线通常不相交。我们应该如何通过两个摄像机像平面的点 p p p 和 p ′ p p′ 以及两个摄像机内参数 K K K 和 K ′ K K′、三角化的矩阵 R R R 和 T T T来计算世界坐标系下的 P P P 点的坐标呢 有线性解法和非线性解法两种。 1.2 线性解法 通过摄像机模型关系我们可以得到关于 p p p 和 p ′ p p′ 的式子如下图左半部分所示。 那么我们可以根据这两个式子对于同一个点以及两个像平面点之间的对应关系写出四个齐次方程但是未知数只有三个所以是一个超定齐次线性方程组可以用齐次方程的最小二乘解来进行计算。 1.3 非线性解法 非线性解法对于下图来说由于存在噪声对于 P P P 点在两个平面的投影 M P MP MP 和 M ′ P ∗ MP^* M′P∗ 与真实的像平面 p p p 和 p ′ p p′ 存在一定的误差所以寻找 m i n [ d ( p , M P ) d ( p ′ , M ′ P ) ] min[d(p,MP)d(p,MP)] min[d(p,MP)d(p′,M′P)]的值仍然是一个齐次非线性方程组的问题所以用牛顿法和 L − M L-M L−M 方法来求解。 1.4 多视图几何的关键问题 1. 摄影机几何从一张或多张图像中求解摄像机的内外参数。 2. 场景几何通过二至多幅图片寻找3D场景坐标。 3. 对应关系已知一个图像的 p p p 点如何在另一个图像上找到 p ′ p p′ 点。
二、极几何与基础矩阵
2.1 极几何 1. 极几何描述同一场景或者物体的两个视点图像间的几何关系。极几何主要解决的就是多视图几何的第三个问题 p p p 与 p ′ p p′ 的对应关系。 2. 对于下图两个平面就是指两个视点图像也就是两个摄像机的像平面。 p p p 和 p ′ p p′ 是两个像素点。 (1) 极平面过点 P P P O 1 O_1 O1 O 2 O_2 O2 的平面也就是 P P P p p p p ′ p p′ 所组成的平面这两个平面相似。 (2) 基线 O 1 O_1 O1 O 2 O_2 O2 的连线。 (3) 极线极平面与成像平面的交线即 p e pe pe p ′ e ′ pe p′e′ 直线。 (4) 极点基线与成像平面的交点即下图的 e e e e ′ e e′。 3. 性质 (1) 极平面相交于基线应该是基线在极平面上。 (2) 极线相交于极点。 (3) 对于不同的世界坐标点 P P P 和点 Q Q Q在两个像平面的极点 e e e e ′ e e′ 不变。 (4) p p p 的对应点在另一个相机的极线 l ′ l l′ 上。对应点指的是两个相机之间的三角化 R R R T T T 对应关系 (5) p ′ p p′ 的对应点在另一个相机的极线 l l l 上。 2.2 极几何特例 1. 平行视图平行视图是指两个摄像机之间三角化没有旋转关系只有 u u u 轴的横向平移关系基线平行于图像平面两个极点位于无穷远处极线平行于图像坐标的 u u u 轴。 2. 前向平移前向平移建立在两个摄像机具有两个方向的平移关系但仍然保持极点位置相同注意不是说同一个物体在同一个位置上。 通过极几何的约束可以将搜索范围缩小到对应的极线上而并没有做到对应点所以存在一个方向上的误差问题。 2.3 本质矩阵 1. 本质矩阵对规范化摄像机拍摄的两个视点图像间的极几何关系进行代数描述。 注这里强调规范化摄像机。规范化摄像机有如下性质。 2. 规范化作用我们假设有两个像平面 I I I 和 I ′ I I′ O 1 O_1 O1 O 2 O_2 O2 分别为像平面的原点图像 I I I 上点 p p p 的像素坐标为 ( u , v ) (u,v) (u,v)图像 I ′ I I′ 上点 p ′ p p′ 的像素坐标为 ( u ′ , v ′ ) (u,v) (u′,v′)。此时对于世界坐标系的欧式坐标和两个图像点上的齐次坐标必然一致。 3. 本质矩阵的关系表达式 E T × R ET×R ET×R其中摄像机 1 1 1 经过平移 T T T 变换旋转 R R R 变换得到摄像机 2 2 2。对于世界坐标的点 P P P 投影到摄影机 1 1 1 的像平面 p p p 点投影到摄像机 2 2 2 的像平面 p ′ p p′ 点有下面关系成立 p ′ T [ T × R ] p 0 p^T[T×R]p0 p′T[T×R]p0即 p ′ T E p 0 {p}^TEp0 p′TEp0如何证明? 我们知道任意一个 I I I 上的点 p p p 经过 R R R T T T 变换得到 I ′ I I′ 上的点 p ′ p p′由于旋转矩阵 R R R 是一个正交矩阵其转置等于其逆有 R T R I R^TRI RTRI所以可以推出 p ′ p p′ 在 O 1 O_1 O1 上的坐标。 过程 p ′ R p T pRpT p′RpT所以 p R T p ′ − R T T pR^Tp-R^TT pRTp′−RTT 注 p p p 和 p ′ p p′ 都是规范化摄像机坐标系下的像素坐标。 2.4 本质矩阵的性质 1. p p p 对应的极线是 l ′ l l′对应关系 l ′ E p lEp l′Ep。 2. p ′ p p′ 对应的极线是 l l l对应关系 l E T p ′ lE^Tp lETp′。 3. E e 0 Ee0 Ee0 e ′ T E 0 e^TE0 e′TE0。 4. E E E 是奇异的 r a n k rank rank 为 2 2 2。 5. E E E 有 5 5 5 个自由度 三个平移三个旋转由于行列式为 0 0 0去掉一个自由度。 2.5 基础矩阵 基础矩阵对一般的透视摄像机拍摄的两个视点的图像间的极几何关系进行代数描述。 2.6 基础矩阵的性质 1. 基本上性质与本质矩阵相似只不过由于多了两个参数 K K K 和 K ′ K K′ 所以为 7 7 7 个自由度。 2. 基础矩阵作用基础矩阵中包含了摄像机内参数信息所以给了基础矩阵我们无需知道两个摄像机的内外参数就可以建立相同场景在不同视图的对应关系。
三、基础矩阵估计 1. 首先由于 p ′ T F p 0 {p}^TFp0 p′TFp0 我们可以转化成 W F ′ 0 WF0 WF′0 的齐次形式此时我们定义新的列向量参数为 F ′ F F′由于参数列向量 F ′ F F′ 一共有 8 8 8 个有效值所以我们只需要找 8 8 8 组点就可以解这个齐次线性方程组。解齐次线性方程组仍然可以用齐次线性方程组的最小二乘解通过找大于 8 8 8 个点通过求解一个 S V D SVD SVD 问题即可。 2. 但此时有一个问题当前的 F ′ F F′ 与基础矩阵 F F F 并不一致这一方面可以通过reshape来修改但由于多组点不一定均为正确点以及噪声点的出现可能导致 F ′ F F′ 矩阵的秩为 3 3 3而一般基础矩阵 F F F 的秩为 2 2 2所以我们要进行秩 2 2 2 校正。 3. 由于计算八点法求齐次线性方程组的最小二乘解过程中参数之间数值差异过大导致精度较低误差较大所以对八个点进行归一化处理。 对每幅图像施加变换 T T T平移与缩放让其满足原点为图像上八个点的重心各个点到坐标原点的均方根距离均为根号2。所以主要是计算两台摄像机的两幅图像中的 T T T 和 T ′ T T′。 4. 归一化八点法过程如下所示
