基于场景模型的多摄像机目标跟踪算法

图１坐标系示意图
２．２建立场景模型 在上述坐标系统下建立场景模型。依据小孔相机成像原
理，对于空间中一点Ｐ（ｘ。，Ｙｗ，‰１）’，其通过某一相机巳所成 像Ｐ（“，”，１）’可以表示为：
一…
仨肼 ●一ｔ
㈨¨一
其中，Ｋ表示相机的内部参数矩阵。
假设相机成像平面的横纵坐标严格垂直，所以此处有
『ａ ０“ｏ １
缸１０卢口ｏ
（２）
【０ ０ １ ｊ
如果设Ｍ为世界坐标系形到相机坐标系Ｇ的变换矩阵，
则可表示为：
肚【；足，；力
（３）
其中，；足表示世界坐标系形到对应相机坐标系ｃ。的旋转矩
阵，；ｆ表示对应的坐标系平移矩阵，表示为［￡，Ｌ，￡】７。
设该相机的俯仰角为Ｏｉ，偏航角为母。，翻滚角一般很小，此
处将其忽略，则对应的旋转矩阵为
个未知参数，所以需要对其进行求解。本文采用非线性最小二 乘的方法寻找最优参数估计值。
若已知特征点只的物理坐标为Ｒ（石“，‰，。。），设由戈表示 由所有相机待求参数组成的未知向量，即
戈兰陋，卢，ｕｏ，ｆ３０，ｐ，咖，瓦，Ｌ，明
则将该点坐标带入公式（１）可以得到如下两个等式
ｕ＝Ｅ口＝Ｅ
（７）
其中凡，Ｅ分别为关于相机未知参数的函数。设特征点只对应
则应使Ｖｐ（石）为零，所以非线性方程组Ｖｐ（戈）＝０的解即为使 模型误差最小的解。
３目标识别与跟踪 要实现在多个相机环境下对目标物的连续跟踪，一种简单
且有效的方法是，无论目标物是否即将移出当前视野，只要目 标物进入了当前相机与其他相机视野的重叠区域，则就在相应 的相机的画面中寻找该目标物并对其进行跟踪。这样即使 目标物移出了某一相机的视野范围，也不会发生目标物丢失的 现象。 ３．１标定视野边界线
４实验结果分析 ４．１场景模型误差
由于所建立的相机模型是对真实成像过程的简化，所以必 然存在模型误差。本文模拟了如图２所示的两个相机的场景， 并对其建立了场景模型，表１给出目标点的实际物理坐标与理 论坐标之间的误差，表中所示坐标单位为厘米（ｃｍ）。从表１可 以看到，利用场景模型计算得到的目标点的估计位置与实际位 置之间的误差小于１０ ｃｍ，考虑到在实际场景中相邻目标物之 间的距离一般不可能小于ｌ ｏ ｃｍ，所以所建立的模型能够实现 对目标物的准确定位而不会产生混淆。 ４．２跟踪效果
摘要：在多个相机组成的视频监视系统中，当目标物移出某一相机的视野而进入下一个时，如何实现相机的交接，实现目标物的 继续跟踪是监视系统中要解决的关键问题。针对该问题，提出了一种基于位置比较的多摄像机运动目标跟踪方法。为获得目标物 的位置，建立多个相机与目标物世界坐标之间映射关系的场景模型，并根据目标物出现在不同相机之间的视野边界线上的瞬间时 刻的位置来给出重叠视野的边界线。由此可对任意角度摆放的多个具有重叠视野的相机之间运行的目标物进行接力跟踪。该方法 可以适应多个目标物同时进入场景的情况，实验结果表明，该方法具有较高的鲁棒性，能够满足视频跟踪的实时性要求。 关键词：多摄像机；运动目标跟踪；位置信息的确定；重叠视野 文章编号：１００２—８３３１（２００８）０５—００５５—０３ 文献标识码：Ａ 中图分类号：ＴＰ３９１．４１
Ａｂｓｔｒａｃｔ：Ｉｎ ｔｈｅ ｓｕｒｖｅｉｌｌａｎｃｅ ｓｙｓｔｅｍ ｗｉｔｈ ｍｕｌｔｉｐｌｅ ｃａｍｅｒａｓ，ｃａｍｅｒａ ｈａｎｄｏｆｆ ｉｓ ｔｈｅ ｋｅｙ ｐｒｏｂｌｅｍ ｗｈｅｎ ａｎ ｏｂｊｅｃｔ ｌｅｆｔ ａ ｖｉｅｗ ａｎｄ ｅｎｔｅｒｅｄ ａｎｏｔｈｅｒ．Ｔｈｉｓ ｐａｐｅｒ ａｄｄｒｅｓｓｅｄ ｔｈｉｓ ｐｒｏｂｌｅｍ ｂｙ ｃｏｍｐａｒｉｎｇ ｔｈｅ ｒｅａｌ ｗｏｒｌｄ ｐｏｓｉｔｉｏｎｓ ｏｆ ｏｂｊｅｃｔｓ．Ｐｏｓｉｔｉｏｎ ｉｎ ｒｅａｌ ｗｏｒｌｄ ｉｓ ｏｂ— ｔａｉｎｅｄ ｔｈｒｏｕｇｈ ａｎ ｅｎｖｉｒｏｎｍｅｎｔ ｍｏｄｅｌ ｗｈｉｃｈ ｅｓｔａｂｌｉｓｈｅｄ ｔｈｅ ｃｏｒｒｅｌａｔｉｏｎ ｏｆ ｏｂｊｅｃｔ ｐｏｓｉｔｉｏｎ ｉｎ ｒｅａｌ ｗｏｒｌｄ ａｎｄ ｉｍａｇｅ ｐｌａｎｓ．Ｔｈｅ ｅｄｇｅｓ ｏｆ ｔｈｅ ｏｖｅｒｌａｐｐｅｄ ｖｉｅｗ ａｒｅ ｏｂｔａｉｎｅｄ ｔｈｒｏｕｇｈ ａ ｍａｎ ｗａｌｋｉｎｇ ｉｎ ｃａｍｅｒａ ｖｉｅｗｓ ｆｒｅｅｌｙ．Ｔｈｅｎ ｔｈｅ ｓｙｓｔｅｍ ｔｒａｃｋｅｄ ｏｂｊｅｃｔ ｃｏｎｔｉｎｕｏｕｓｌｙ ａｃｒｏｓｓ ｍｕｌｔｉｐｌｅ ｃａｍｅｒａｓ．Ｔｈｉｓ ｍｅｔｈｏｄ ａｃｃｏｍｍｏｄａｔｅｓ ｍｕｌｔｉｐｌｅ ｏｂｊｅｃｔｓ ｅｎｔｅｒｉｎｇ ｔｈｅ ｖｉｅｗ ｓｉｍｕｌｔａｎｅｏｕｓｌｙ ａｃｒｏｓｓ ｍｕｌｔｉｐｌｅ ａｒｂｉｔｒａｒｙ ｅ— ｑｕｉｐｐｅｄ ｃａｍｅｒａｓ ａｎｄ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔ ｓｈｏｗ ｉｓ ｒｏｂｕｓｔｎｅｓｓ ａｎｄ ｅｆｆｉｃｉｅｎｃｙ． Ｋｅｙ ｗｏｒｄｓ：ｍｕｌｔｉｐｌｅ ｃａｍｅｒａｓ；ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ；ｐｏｓｉｔｉｏｎ ａｃｑｕｉｒｉｎｇ；ｏｖｅｒｌａｐｐｅｄ ｖｉｅｗ
从式（１）可以看到，相机成像过程为从三维空间到二维的 映射，其逆映射在理论上是不可实现的。考虑到所设计的监视 系统主要对地面的目标物进行跟踪，所以假设所有的目标物的 高度为０，则对于所有的目标物其‰＝０，如此便将问题转换为 一个二维到二维的映射。
依此假设，对于相机平面中一点Ｐ（Ｕ，”），其物理坐标为
的像平面坐标为８（ｕ洲。），则定义误差函数：
ｒｚ（ｘ）＝ｕ；一凡（菇）ｒｖｉ（Ｘ）＝口广Ｅ（戈）
（８）
若有Ｎ个特征点，则可以得到２Ⅳ个上述关系式，令
～（茹）
凡ｌ（戈）
●
：
ｍ（菇）
ＬⅣ（戈）
则问题转换为函数
１
驴（算）＝÷ｒ（并）’（石）
（９）
Ｚ
的最小化问题。
Ｖｐ（咒）＝／ｒ（ｘ）·ｒ（ｘ）
（１０）
其中．，（∞）为ｒ（ｚ）的Ｊａｃｏｂｉａｎ矩阵。若使ｐ（搿）达到局部极小值，
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用
２００８，４４（５）
５５
基于场景模型的多摄像机目标跟踪算法
邓颖娜，朱 虹，李 刚，黎 璐，钱慧芳 ＤＥＮＧ Ｙｉｎｇ－ｎａ，ＺＨＵ Ｈｏｎｇ，ＬＩ Ｇａｎｇ，ＬＩ Ｌｕ，ＱＩＡＮ Ｈｕｉ－ｆａｎｇ
西安理工大学自动化与信息工程学院图像处理研究室，西安７ １ ００４８
图４不同相机间可见性示意图
假设第ｋ个相机内的第ｉ个目标物表示为０：，其在该相
机视野内的位置表示为（∥，ｒ），这里由目标物脚底位置代表整
个目标物的位置，这是因为本文选取的视野边界线是各个相机 在地平面上的视野交线，并且选取表示目标物的双脚站立点连
ｆ１ ０ ０］『ｃｏ却。０ ｓｉｎ６。１
１．１ ：Ｒ：０ ｃ。ｓ０１ ｓｉｎＢ
ｏｌ
ｏ
（４）
ｆ０一ｓｉｎ０Ｉ ｃｏｓＯｉ Ｊ【一ｓｉｎｑｂｌ ０ ｃｏ剐／，。Ｊ
磊表示空间中某一点Ｐ在相机坐标系ｃｆ下的ｚ轴坐标，可
由如下公式得到。
并ｃ
咒 ＝Ｍ·
（５）
０ｃ
由此得到的场景模型为由目标的物理坐标到像平面坐标的。为 了在不同相机的视频序列中寻找同一个目标物，需要对其物理 位置进行比较，所以还需建立根据目标的成像坐标到物坐标的 变换模型。
１ 引言 实现对较大面积场景的视频监视，通常需要多个摄像头联
合工作。目前在视频目标跟踪方面的研究多集中于单摄像头环 境下的目标跟踪，对于移出摄像头视野的目标物便无能为力。 针对该问题，提出了一种在多摄像头环境下实现目标连续跟踪 的方法。
假设在单摄像头环境下对目标物的跟踪信息已经得到，实 现多摄像头联合工作的关键问题为在下一个视野的多个目标 物中准确识别出前一视野中跟踪的目标物，完成摄像头的交 接。目前国内外已有一些关于该方面的研究，Ｋａｎｇ等…采用颜 色分布信息来描述目标物，从而实现目标物的识别，该方法的 局限性在于不能适应目标物颜色变换以及多目标物颜色分布 相似的情况。参考文献【２，３］通过融合目标物的颜色、形状、速度 等信息实现目标物的识别，该方法需要提取的目标物的特征较 多，算法比较复杂。文献［４，５］通过拟和目标物的运动轨迹实现 对目标物一致性辨别。这类方法的判断准确度决定于需要一定 长度的运行轨迹，才能分析出运行轨迹的一致性特征。
场景模型是要建立目标物的物理位置与其在各个摄像头 的像平面中位置的对应关系。所以首先需要建立世界坐标系 Ｗ（０。，‰‰，气）表示目标物的物理位置，本文以水平地面中某 一点为原点建立世界坐标系。另外，为了表示目标物在像平面 中的位置，针对每一个相机，以其光心为原点建立相机坐标系 ｃｆ（ｑ，蕾，Ｙｃ，４），其与世界坐标系的关系如图ｌ所示。其中０为 相机的俯仰角，咖为相机的偏航角，平面Ｉ为相机的归一化成 像平面，其与光心的距离为单位距离，平面ＩＩ为水平地面。
作者简介：邓颖娜（１９８０一），女，在读博士，主要研究领域为图像处理，计算机视觉等；朱虹（１９６３一）．女．博士，教授，博导，主要研究领域为图像处
理。计算机视觉。
收稿１３期：２００７～０６—０７
修四日期：２００７—０８—２２
万方数据
５６
２００８，４４（５）
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用
为判断目标物是否进入了相机的重叠区域，本文采用实验 的方法标记出视野边界线。假设有ｃ。，ｃ２两个相机，如图２所 示，标定边界线的方法具体如下：
图２视野边界线示意图
首先让一个目标物在ｃ，视野内向ｃ２行走，当目标物在ｃ２
邓颖娜，朱虹，李 刚，等：基于场景模型的多摄像机目标跟踪算法
视野的边界处刚剐出现时，标记下此时人在ｃＩ中的位置Ｐ，由 于假设所跟踪目标物全部在水平地面上，所以这里选取目标物 脚底的位置，如图３所示。如此至少记录两个点，则可以计算出 ｃ２在ｃ．内的边界线。采用同样的方法，也可以得到ｃ，在ｃ２内 的边界线。图３所示为依此方法在两个摄像头环境下得到的视 野边界线。