多源监控视频大尺度人群异常行为感知研究

近年来，随着我国政治、经济、文化与社会活动日趋活跃，大型活动已经成为促进经济发展和文化交流的重要载体，对大型的群体活动的有效监控成为城市管理必不可少的一部分。本课题利用流体动力学和因果关联性分析的相关理论，对多源大尺度群体监控问题进行研究，揭示多源大尺度群体事件的演化规律。提出了基于视频结构特性分析的时空域特征提取算法、人群行为异常感知及因果事态推演建模分析、实现不同尺度群体的密度、分布及运动结构重要特征描述及异常行为的快速高效感知。课题研究期间，共发表主要期刊论文7篇，国际会议8篇（获得1篇最佳会议论文奖），申请国家发明专利9项（已授权2项），培养博士研究生3人，硕士研究生4人。结合实际城市公共安全图像监控系统的实战应用，在上海市公安局搭建了高清图像监控基于多源监控视频大尺度群体异常行为感知系统演示平台，并设计有效的针对人群分析的半自动基础数据标注系统。本课题对提高我国群体性事件的防控能力，实现城市公共安全智能化、信息化管理具有重要的理论意义和现实意义。

近年来，随着我国政治、经济、文化与社会活动日趋活跃，大型活动已经成为促进经济发展和文化交流的重要载体，对大型的群体活动的有效监控成为城市管理必不可少的一部分。针对大尺度人群监控问题中群体规模大、事件范围大、时间跨度大的特点，本项目结合本学科的发展趋势和申请者相关的工作基础，通过汇聚流体力学、机器学习和计算机视觉领域的应用和理论拓展的研究成果，利用拉格朗日粒子动力学和因果关联性分析的相关理论，对多源大尺度群体监控问题进行研究，揭示多源大尺度群体事件的演化规律，提出相应的群体行为分析模型，实现拥挤群体的异常行为的快速高效感知。本项研究将形成一套完整的研究方案及相关技术路线，以期望对大尺度群体的智能视觉感知技术进行突破与创新，对于提高我国计算机视觉相关领域的基础研究水平具有重要的科学价值。同时，对提高我国群体性事件的防控能力，实现城市公共安全智能化、信息化管理具有重要的现实意义。

本项目执行期间，围绕感知的多视点视频处理的关键问题，抓住视觉媒体技术高速发展与广泛应用、视觉信息感知多元化的契机，研究多视点视频中立体视觉的感知机制与编码优化模型。重点研究研究多视点深度协同的优化方法，通过提出跨视点的宏超像素单元及联合优化，实现全局优化的多视点深度场；构建多深度融合感知的显著性计算模型，采用聚类方法，提升深度显著度计算中的鲁棒性；进一步在多视点光场数据上研究深度感知优化的码率分配方法和技术，实现多深度感知的多视点视频高效编码。最终取得核心理论与关键技术上的突破，实现原创性的科研成果，建立感知的多视点三维视频数据高效处理平台，进一步推动三维视频在视觉感知表示、多视联合处理、高效感知编码等方面的研究与发展。

现实场景的三维视频表示在军事、航天、医疗、影视制作等领域有着广泛的应用前景，以深度感知为核心的视觉特性驱动的三维视频处理是当前国际研究的前沿与热点，涉及视觉机理、图像处理与优化等多个学科方向的交叉，其挑战在于以多视点深度感知为驱动的多视点视频联合处理，涉及到的核心问题包括：时-空-视多深度感知一致性、双目深度感知测度、多深度感知下的高效编码方法等。本项目力图揭示三维视频在信号处理与视觉感知处理之间的协同优化机理，研究多视点深度协同的优化方法，探索时-空-视多深度场的几何与深度感知一致性难题，实现全局优化的多视点深度场；构建多深度融合感知的显著性计算模型，探索深度感知优化的码率分配方法和技术，实现多深度感知的多视点视频高效编码，解决多深度感知驱动的三维视频处理的关键问题，建立多深度感知的多视点视频联合处理与高效编码平台，在理论和关键技术研究上取得突破，推动以多视点为核心的三维视频的广泛应用。