三维仿真模型与实景影像融合关键技术研究

三维仿真模型与实景影像融合关键技术研究

李翔张建

重庆市规划和自然资源信息中心重庆市400020

【摘要】基于真实场景建设项目三维仿真模型实景影像融合技术，能提升真实性和现场感，从而能让人以更准确视觉感知的主观评判，更快、更便捷地优化方案以降低景观的负面影响，更好的支持城市规划管理决策。实景影像的融合是重庆市规划和自然资源信息中心在三维仿真辅助审批应用服务提档升级的综合技术手段之一，也是我市规划自然资源信息化拓展应用向精细化发展的一次新尝试。

【关键词】三维仿真实景融合视觉影像评价

1.引言

近年来，城市景观视觉美感问题受到广泛的关注，一些城市已经采用视线视域分析法、景观及视觉影响评价等技术方法进行景观分析和规划控制，并取得了一定的成效。

视线视域分析法是从平面和立面的角度采用遮蔽模型进行视线遮挡分析。通常利用三维GIS技术，基于DEM数据进行视觉敏感度分析、视廊通透分析、建筑高度控制分析等。该方法侧重于对景观的客观、定量分析。

景观及视觉影响评价（LandscapeandVisaulImpactAssessment，英文简写为LVIA）是城市规划研究的新领域之一，旨在预测、评价拟建项目在开发过程中可能给景观、环境带来的不利及潜在影响，并提出缓解改善措施，从而使建设项目对景观产生的负面影响降到最低，该方法侧重于主观定性分析。

2.总体目标

重庆是典型的山地城市，地形和环境较平原城市复杂，所以规划审批对三维系统有特殊的要求。通过三维实景影像融入的方式改变目前三维仿真模型在业务审批上的真实感、现场感不强的问题。通过三维模型与实景影像的融合方式结合本身的三维仿真辅助审批的方式，为加快建设内陆开放高地、山清水秀美丽之地，推进高质量发展、创造高品质生活提供有力支撑。

3.主要工作内容。

三维仿真模型实景影像融合项目包含前期策划、拍摄、剪辑、摄像机追踪、三维方案制作、三维空间对位、渲染输出、合成、校色、特效制作、配音字幕、视频压缩等环节。

3.1影像拍摄

拍摄是原始素材的收集阶段，后期所有的工作都会以此为基础，所以需要精心策划拍摄出优秀的视频素材。影像拍摄分以下几个步骤：

项目分析。根据项目所处区位，从管理的角度出发，研究项目对城市的影响，策划主要的拍摄路线，在此过程中需与管理部门沟通，完善拍摄计划，同时要结合现场勘察，确认策划方案是否可行。完善的策划方案是项目成功的保障，也可以加快项目的推进进度。

拍摄。一般与专业的摄制单位合作，提前与拍摄单位做好路线沟通，现场根据实际情况对拍摄计划进行微调，比如树木和建筑对视线遮挡，不同时段的光线对方案区域的影响，以及重庆特殊的大雾天气对拍摄的影响均需要进行根据拍摄时的实际情况进行改变。

检查。拍摄视频需要回单位后进一步进行检查，对比拍摄计划，检查素材质量，对漏拍及出现的问题和出错的地方及时做好记录，并和拍摄单位沟通协商补拍事宜。

补拍。对漏拍、有问题或拍摄不理想的地方进行实拍，在拍摄的时候，尽量多拍以方便后期进行选择剪辑。

3.2视频初剪

当所有拍摄任务完成后，需要对拍摄的内容进行整理，演示汇报一般都会有时间限制，需要在几十分钟的素材中选取最符合要求、效果最好的一至两分钟时间。项目制作人要根据时间对原始素材进行剪辑，并对剪辑内容进行初步的色彩、格式、画幅进行统一，完成后及时与规划管理部门沟通，根据意见进行调整。当初剪完成后，输出并准备下一步的工作。

3.3摄影机轨迹追踪

通过分析拍摄素材画面中“特征”像素运动轨迹等提取摄像机的运动轨迹和参数变化。在获得这些参数后，才能在三维动画软件包中加入一个与实拍环境下摄影机运动相匹配的虚拟摄影机，从而给机位运动的画面添加合成用的项目方案三维模型，得到运动匹配的图像。因为摄像机的高精度和灵敏性，追踪的摄影机信息必须足够精确。轨迹追踪对成果精度要求非常高，一般会从以下几个步骤进行操作：

视频调整。由于反求解算是以反差点的方式对画面运动进行跟踪计算，因此为了提高解算精度，一般会故意提高视频的明度、饱和度、色相，增大色彩之间的反差，专门用于追踪解算。如果有长镜头视频且镜头有方向有变化，需要对视频进行分拆成多段。

测试解算。进行解算测试，根据解算结果对视频进行调整，如果跟踪点太少，则需要对视频色差进一步调整，如果跟踪点持续时间太短导致结果不理想，则可能是因为单视频太长或镜头转换幅度过大，需要将视频进行切割分段跟踪。

解算修正。根据测试结果对视频调整后开始正式的相机解算，不同的解算软件的显示方式不一样，但是结果的精度都有一定的标准，比如摄像机没有大的抖动，运动曲线平滑，软件都会有一个精度参考值，这个值则要求越高越好。

输出测试。当解算精度达到预期值后，则可以输出解算成果到三维软件中进行测试，一般来说，当精度达到一定值后，整体不会有太大的错误，但是一些具部的地方和时间段可能会出现摄像机抖动、漂移等情况，一旦发现，则需要返回摄像机追踪软件中对相关时间段重新调整解算。

3.4建模并匹配背景

方案三维模型是整个项目的核心，所有的工作都是为了表现该项目，因此规划方案三维建模必须严格遵守建模规范，否则将无法保证匹配融合的准确性和真实性。同时在制作三维模型时，除了要对项目的基本数据保证准确外，还要求模型材质贴图美观、真实，可以根据项目的时间周期以及规划要求对模型材质贴图精度进行适当调节。

另一方面为了使方案与现状实景更好的融合，在模型制作时要兼顾周边的现状。在模型制作完成后要根据上一步反求出的摄像机数据在三维软件中建立相应的虚拟摄像机，以实拍素材为背景，调整模型的位置、比例、光线环境、色彩倾向使之与背景相匹配，当测试渲染没有问题后，渲染输出符合后期制作的方案序列。

第一步，建模。使用建模软件对项目方案及周边现状建模，在建模过程中，依据的原则是不但要尽量达到设计的漂亮的效果，而且要遵循实际的原则，不能超越实际，做出实际生活中不会出现的效果，如玻璃材质的反射表现，植物的高度、疏密等。之所以会做周边的模型，是为了更好的与现状视频对位融合，对于周边的模型不需要效果精美，只要求高度、宽度等建筑信息准确，因为这一部分数据完成对位之后是需要删除的。

第二步，匹配摄像。完成模型制作环节后，将摄像机反求出的数据导入三维制作软件，将屏幕背景设置为视频文件，对齐项目周边的现状模型，通过整合等比例缩放，周边的模型匹配好之后，项目的比例也就是正确的。

第三步，灯光。灯光的布置及调控不能以好看漂亮为准，要以拍摄的视频环境为基准，不同的时间段光线的色温是不一样的，由于在拍摄过程中，可能有不止拍摄了一次，因此多段视频的色温是不一致的，需要单独调整，另一方面，现状光线不同，其阴影等细节也不同，甚至光线的强弱、方向，雾气对光线的影响，各种因素对环境的影响各不相同，要仔细的分析并调整效果，最终渲染的效果要能与周边的实际环境相匹配。

第四步，渲染输出。渲染输出主要考虑后期制作的便利性，不同的后期操作可能需要不同的渲染成果，首先，为了保证效果，渲染的画幅要比较大，一般为４Ｋ，至少也要达到２Ｋ级别，另一方面如果现状光线等条件比较复杂，雾气比较大，还可以有涉及到分层渲染，单独输出景深通道、AO通道等元素用于后期合成。

3.5后期特效合成

得到了剪辑好的素材和方案渲染序列，将其有机的通过艺术手段结合起来就是后期合成工作。

第一步，检查渲染序列。检查所渲染的序列文件是否有ＭＡＳＫ不正确的问题，是否有漏帧、错帧、交错、闪烁，灯光效果是否达标，画幅、场、帧率等是否和拍摄素材一致，叠加两种素材进行对比分析，反复查看，对出现问题的地方要及时的重新调整和渲染。

第二步，后期制作。会使用动态遮罩、色彩校正、二维追踪、多层叠加、运动匹配等技术完成项目。

由于渲染序列可以分为许多层，在将期进行叠加时需要注意期前后顺序，以便后期进行调整。在三维软件中，虽然已经根据实际环境制作了灯光效果，但是由于三维软件叠加背景的画幅关系，很难将每一个细节都处理的非常好，因此需要在后期时行调色处理，最终的效果是方案效果与实拍素材完美融合。

视频融入是在不同的线路并同的高度，主要以人的高度，因此在镜头与方案之间会有很多的遮挡物，当叠加后会发现方案会置于这此遮挡物之前，需要运用动态遮罩配合二维追踪来削除这种情况。由于是动态视频素材，因此遮罩是一个持续的动态的范围，要保证遮罩的准确性、持续性，需要用到二维追踪来制作，需要配合专业追踪软件以及人工修正的方式来完成这一步。

第三步，分析调整。效果基本完成后，需要团队之间互相分析，对发现的纰漏和不合理之处进行修补，完成后需要和设计单位进行沟通，征询其意见，对方案有问题的或有调整的地方及时修改。

第四步，加入规划元素。因为最终的成果是为项目审批汇报服务，因此一般会加入一些规划的元素，例如区位关系、路线动图、相机方向、周边建筑关系等做一些简单的表达，以方便领导审查项目。

4.结束语

现有的三维仿真辅助审批系统在定量分析上具有优势，而在景观及视觉影响评价分析优化方面，其场景真实感和数据时效性存在不足。引入基于真实场景建设项目三维仿真模型实景影像融合技术，能提升真实性和现场感，从而能让人以更准确视觉感知的主观评判，更快、更便捷地优化方案以降低景观的负面影响，更好的支持规划管理决策。

三维仿真模型实景影像融合技术是一个的跨学科的工程，涉及城市规划、地理学、计算机、美学等。目前，在规划自然资源行业国内外尚无相关成熟应用案例。本次应用研究是重庆市规划和自然资源信息中心三维仿真辅助审批应用服务提档升级的综合技术手段之一，也是我市规划自然资源信息化拓展应用向精细化发展的一次新尝试。

课题来源于：中央引导地方科技发展专项《智慧小区关键技术集成与示范》（YDZX20175000004996）

参考文献：

[1]三维可视化仿真[M].贾连兴、朱英浩、张江国防工业出版社.2017

[2]三维视镜仿真可视化建模技术[M].李牧山、王蕊、李建军科学出版社2011