本文刊发于《现代电影技术》2022年第3期
专家点评
——王富强
研究员
中央宣传部电影数字节目管理中心主任
摘要
本文研究目的是通过对飞行影院沉浸感节目画面相关的技术研究，以提升节目的画面质量和沉浸体验感。首先对沉浸感节目的实现方法做技术分析，定义多种坐标空间画面以及相互逻辑关系；其次从银幕物理环境数据分析，计算并确定画面的角度范围、画幅比与分辨率，以及对高分辨率显示方案的选用确定；再次针对节目画面的拍摄制作部分，分别从无人机的选择、拍摄设备的选用、拍摄方案的定制、画面拍摄及转换处理等四方面内容做重点分析阐述；最后对三维CG部分的差异化制作做出方案说明。本研究完成了与飞行影院中画面相关的拍摄、处理、显示等环节的技术性研究，研究结果可对同类节目制作提供参考和借鉴作用。
影院 沉浸感 体验 无人机 拍摄 全景
在庆祝中国共产党成立100周年之际，笔者有幸参与了中国共产党历史展览馆飞行影院的节目生产制作，为把节目制作出最好的效果，对飞行影院节目的画面（以下称“节目画面”）特殊展现形式进行了深入研究。
飞行影院在一些博物馆、娱乐城已有建设，但节目效果参差不齐。首先，节目画面显示质量不好，存在画面清晰度或对比度不够、亮度不足、画面拼接缝明显等问题；其次，节目体验效果不佳，节目没有发挥飞行影院的特点，沉浸体验感差。这些问题主要缘于节目制作过程中缺少对节目的深入研究和相关研究结果的借鉴。对节目技术细节理解透彻，制作效果就相对好些；若理解得少，完成效果就较为一般。
1飞行影院——沉浸感节目系统
飞行影院与VR影院一样，都属沉浸感节目系统，注重第一视角的观感体验，两者具有一定相似性和可参考性。VR影院设备一般是头戴式VR眼镜，是一种可360度任意角度观看全景画面的设备，体验者主动旋转或移动位置，即可获得视角和空间上的变换，具有非常真实的沉浸体验感受。飞行影院无法让体验者像使用VR眼镜一样随意改变观看视角，而是反其道而行之：体验者无需主动旋转或位移去改变观看视角，而是通过画面视角的移动变化、动感座椅配合对体验者体位调整，让体验者有坐在飞行器上或汽车上穿梭场景的沉浸感受。
沉浸感节目是体验者置身在节目画面的包围空间中，配合动感座椅及其他感知道具，以及精准的声音定位，与画面融为一体，达到画面、空间、动作、声音合一，带来真实的沉浸体验感受。若仅有很强的画面包围感，但画面的透视、运动与体验者不能完美匹配，甚至错位失真，体验者不可能有真
实的沉浸体验感受。通常平幕节目的画面对体验者无法产生包围感，不能营造较好的沉浸体验。沉浸感节目的画面还需有声音的包围与定位相匹配，可通过全景声定位技术实现。
画面包围感可理解为以体验者为球心的一个球形曲面幕上显示的画面包围体验者，把球体画面平面展开得到的就是VR形式的全景画面，水平360度，纵向180度。在飞行影院中，体验者不改变观看视角，在其主视觉区域和余光区域显示画面，就能让体验者感受到画面包围感，因此飞行影院显示的画面只需全景画面局部裁切即可（以下称“全景裁切画面”）。
2不同坐标空间画面定义及相互逻辑关系
要做好沉浸感节目，须先了解节目画面与体验者、摄影机、银幕、投影机等之间的逻辑关系，即画面与以不同物体为参考坐标原点的空间对应关系。四个参考主体对应四种坐标空间画面：通过体验者看到的画面，就是以体验者为球心的全景画面，称之为体验者空间画面；摄影机模拟体验者第一视角拍摄的画面，即体验者看到的画面，也是摄影机所要拍摄的全景画面，称之为摄影机空间画面；在影院中，银幕上显示的画面为银幕空间画面；银幕上的画面一般是使用投影机进行画面投射，投影机投射的画面称为投影机空间画面。
理论上，上述四种坐标空间画面均指各自的全景画面。在没有特别说明的情况下，本次研究中的银幕空间画面和投影机空间画面仅指所要显示局部区域的全景裁切画面，体验者空间画面也仅指以体验者观看银幕范围的全景裁切画面，但摄影机空间画面仍指360度全景画面，该全景裁切画面或拍摄所需区域画面则称摄影机空间全景裁切画面。
飞行影院系统从外部接收的节目画面，一般是适配好的银幕空间画面，称之为输入画面。输入画面用于银幕显示，由节目所需的摄影机空间全景裁切画面转换而成。摄影机空间全景裁切画面与体验者空间画面的画面是一样的，但环节不一样，前者是获取素材，后者是观看结果。现有摄影机受物理条件限制，无法直接拍摄全景画面，可通过拍摄的普通画面或鱼眼画面转换而成，角度范围不足时可多角度拼接，但三维CG软件一般可直接渲染输出全景画面。
节目画面需要在银幕上显示才能被体验者观看，银幕的物理环境是讨论节目画面的基础所在，其形状、大小、位置决定了特定空间的画面。本研究以中国共产党历史展览馆飞行影院为研究基础，其银幕尺寸图如图1所示。该飞行影院中间区域采用以球体为基础的球形曲面幕，在左右两侧又分别连接了以柱体为基础的柱形曲面幕，总称异形曲面幕。
图1 飞行影院银幕尺寸图
前排座椅中间位置为该飞行影院设计最佳体验位置。落座于该位置的体验者空间画面角度为水平200度，纵向67度，视觉中心在体验者正视方向上；摄影机空间全景裁切画面与体验者空间画面角度相同；银幕空间画面角度为水平210度，纵向74度，银幕的画面中心与视觉中心并未重合，在纵向上有一定偏差。通过角度调整，扩展银幕空间画面下方区域，使银幕空间画面中心与视觉中心重合，此时银幕空间画面纵向角度扩展到79度，画幅比2.66∶1，即飞行影院系统输入画面的画幅比。
输入画面大于银幕的显示范围意味着显示时需做裁切，所以摄影机空间全景裁切画面也需在纵向上进行同比例补偿，把纵向扩展到71度，画幅比为2.82∶1。从摄影机空间全景裁切画面到输入画面转换，两者画幅不一致，但画面内容一致的，通过画面纵向拉伸完成画幅调整。
该飞行影院异形曲面幕平面展开后，银幕尺寸水平方向约20.5米，纵向约7.2米，视觉中心与体验者的距离约5.9米。理论上人眼的分辨率可达20角秒，在亮度、对比度等因素影响下，人眼正常分辨率为1~2角分， 根据角度换算公式：
1度=60角分=3600角秒
1角分=0.000291弧度
同时由于动态影像人眼动态分辨率会比静态分辨率有点减弱，按1.5角分计算人眼分辨率，即像素点大小，计算银幕显示画面所需的分辨率为：
1.5角分=0.0004365弧度
人眼分辨长度=弧长=弧度×半径=0.0004365×5923毫米≈2.585毫米
银幕横向分辨率=20500/2.585像素≈7930像素
银幕纵向分辨率=7180/2.585像素≈2778像素
纵向扩展后分辨率=2778×79/74像素≈2966像素
7930×2778是银幕实际显示需求的画面分辨率，扩展后的输入画面分辨率是7930×2966。若银幕是自发光的LED显示屏，输入画面满足实际显示需求的画面分辨率即可。本研究影院银幕环境由多台投影机投射画面拼接而成，输入画面需切分出各自投影机显示区域，再转换成各自投影机空间画面，经对应投影机把画面投射到银幕上。转换过程就是画面变形矫正过程，对输入画面设置一定操作冗余，确定输入画面最终分辨率为8000×3000，画幅比2.67∶1。摄影机空间全景裁切画面与输入画面的分辨率横向相同，纵向不同，则摄影机空间全景裁切画面分辨率为8000×2837。
4 飞行影院的高分辨率显示方案
本研究影院使用多台4K投影机投射，单机分辨率为3840×2160。3840>2778>2160，投影机采用纵向放置拼接投射，只需在水平方向上拼接，接缝按10%损失，计算水平方向上的有效分辨率。
单台投影机：
2160×90%=1944
多台投影机：
1944×4=7776<7930<1944×5=9720
通过计算，采用5台投影机可满足银幕显示画面分辨率7930×2778的投影需求。
在高分辨率银幕显示中，多台投影机投射拼接仍为主流方案，但在制作中需要尽量避免其不足所造成的影响。其一，投影机一般无法投射百分百的纯黑，融合处理时，黑色和暗部画面在拼接区域会出现显示亮度不均，造成融合失败，应尽量避免。其二，投影机在曲面幕投射画面时，画面需进行坐标空间变换矫正，会影响画面锐度，导致画质降低。多投影机拼接显示方案虽有不足，但性价比高，保证输入画面有较好清晰度、锐度和足够分辨率，仍可以较高画质显示。
想解决上述问题，可采用更好方案——LED显示屏，运用LED点阵显示画面可解决画面影响问题。LED显示屏具备高亮度、高对比度、广色域等优势，不足之处就是高价格、高耗电等。本研究影院银幕显示像素点的最佳分辨长度为2.585毫米，单个LED发光单元需小于这个尺寸，例如P2.5型号的LED就可满足需求。随着LED显示屏的技术指标进一步提升，价格逐渐下降，LED显示屏将在电影行业加快推广应用。
5 飞行影院节目画面的拍摄制作
影院的节目画面主要通过拍摄或CG制作完成，摄影机空间全景裁切画面与体验者空间画面一致，拍摄（或CG）相机模拟体验者第一视角观看和运动，与体验者实际观看视角和运动相匹配。拍摄制作流程较为复杂，CG制作流程相对简约，本节重点研究拍摄制作详细流程。
5.1 无人飞行器的选用
本研究影院所需制作的节目包含大量飞行体验镜头，为了能让体验者真正领略到飞行翱翔的感觉，摄影机需模拟鸟类或飞机的视角与速度拍摄，主要通过飞行器挂载摄影设备拍摄完成。大型飞行设备有较高的飞行高度与速度，体验感强，但飞行条件受限大且费用高昂，一般较少采用。近几年，小型化无人飞行器快速兴起，其飞行受限较小，费用越来越亲民，因此此类飞行器的航拍得到广泛应用。在带来很多便利的同时，小型化无人飞行器也有缺点。例如设备采用电池供电，单次的飞行时间和距离受限；飞行速度和高度受限；起飞重量受限；抗气流干扰能力较差，影响飞行稳定性。
在小型化无人机民用领域，较知名的有大疆、司马等品牌，如大疆御、悟系列的轻型无人一体机，内置摄像系统、稳定系统，一般为4旋翼，起飞重量有限，不能加载其他拍摄设备，设备价格低、重量轻、续航长，拍摄任务中可作侦察机选用。更大起飞重量的专业无人机，如Freefly ALTA6、志翔Z1等专业级无人机设备，一般为6旋翼以上，负载能力大，可搭载专业的摄影设备，费用也相对较高。无人机设备选用以满足应用为主，不同品牌之间设备功率和操控性也不尽相同，在满足飞行任务情况下，应选用飞手熟悉的机型。
根据本研究影院节目的拍摄内容和拍摄任务需求，对无人机拍摄团队的设备要求如下：
（1）6旋翼以上的专业级无人机；
（2）无人机净载重量10公斤以上；
（4）无人机遥控距离（可飞行最远距离）1千米以上；
（5）无人机实时图传距离（可提供摄影机实时监控画面）1千米以上；
（6）无人机动力电池组（可一次性供完整拍摄次数）不少于5组；
（8）提供侦察机，为主拍摄方案提供路线侦察和试飞；
（9）提供应急备机方案。
无人机团队根据项目拍摄任务，确定选用的无人机设备如图2所示。侦察机采用大疆悟Inspire2一体机，志翔Z1、Freefly ALTA6为拍摄无人机。经测试试飞，设备满足拍摄任务要求。
图2 本项目选用的无人机设备
5.2 无人机挂载拍摄设备的选用
摄影机空间全景裁切画面角度为水平200度，纵向71度，画幅比2.82∶1，分辨率为8000×2837。经过调查分析，可满足此全景画面角度拍摄的设备主要有三种类型：高分辨率VR拍摄一体机、多摄影设备拼接拍摄、单机8K鱼眼拍摄。
5.2.1 高分辨率VR拍摄一体机
VR拍摄一体机设备为一体化设计制造，使用及携带都非常方便，厂商为用户预制从拍摄到VR输出的完整使用方案，全景画面角度范围水平360度，纵向180度，满足输入画面的角度需求。
大部分VR拍摄一体机输出的全景画面最大分辨率仅为8K×4K，Insta 360影石Titan VR 摄影机可支持输出11K全景画面，是目前了解到可输出最大分辨率的VR拍摄一体机。设备采用8×M4/3传感器，九轴陀螺仪，单镜头180Mbps的码流，最终可输出10560×5280的VR全景图像。经拍摄测试，对于光线充足场景，锐度及清晰度都较高，拍摄效果不错；但光线相对不足或处于暗部及阴影区域，画面颗粒噪点明显。设备采用10bit ProRes 422 HQ 记录时能较大改善画质，该模式仅支持最大8K视频分辨率拍摄；11K视频拍摄时，仅支持8bit H.264/H.265记录，对画质有较大影响。设备自带Insta 360 Stitcher拼接软件，支持陀螺仪稳定计算和光流计算。在拼接时，画面中仍会存在拼接错误区域，甚至很难修正，如图3所示。11K分辨率的全景画面，其节目有效的全景裁切画面分辨率仅为5867×2083，与节目所需分辨率差距较大。全景画面角度完整，图像质量中等，分辨率不足，但操作方便，无法选为主摄方案，可作备机方案。
图3 画面拼接中存在错误
5.2.2 多摄影设备拼接拍摄
多台摄影设备拼接拍摄，相关方案较多，方案应保证足够的拼接融合区域和较少的接缝数量，为保证中心画面的完整性，中心画面需独立拍摄，即在拼接方向上采用奇数拼接。由于需挂载无人机拍摄，首选画质好、重量轻的摄影设备，适合拼接的设备主要有GoPro、APSC微单相机、全画幅微单相机等类型摄影设备，列举选用的多摄影设备拼接拍摄方案对比，详见表1。
经过分析，索尼 A6400 APSC微单、索尼 Alpha 1微单、佳能EOS R5均可满足拼接需求。但由于索尼 A6400 APSC微单为5机拼接，接缝数量多，重叠区域范围有限，后期拼接难度大，不推荐使用；索尼 Alpha 1微单市场缺货严重，很难凑齐设备，只好放弃；佳能EOS R5测试拍摄8K视频时，设备发热严重，经常进入过热保护状态，无法进行后续长时间的拍摄，放弃采用。多设备拼接方案还存在无法完美拼接边缘融合问题，设备连接需定制支架，存在调试不佳导致拍摄失败的风险，最终放弃选用多摄影设备拼接拍摄方案。
5.2.3 单机8K鱼眼拍摄
摄影机空间全景裁切画面为水平角度200度，重点了解200度以上的超广角鱼眼镜头，并对部分镜头进行画质测试。经测试，拍摄的画面多数是在画幅内圆形成像或者画幅短边裁切的圆，成像范围小，画质普遍不高；摄影机视频分辨率基本都在8K以内，再裁切出所需画面，有效分辨率远不足8K。
一款影视级大画幅220度超广角鱼眼镜头Entaniya Fisheye HAL 220 PL采用更换垫片方式调节焦段，可对成像范围进行控制。经测试评估，成像质量大大超越常见鱼眼镜头，拍摄画质完全可被节目使用。遗憾的是，当镜头在最长焦段拍摄时，成像范围仍无法充满整个传感器，有效分辨率仍是不足；可喜的是，这款镜头已经有了升级版，从参数看能满足拍摄需求，经过厂商渠道的努力，项目组快速拿到了升级版镜头的测试样品。
这支升级版镜头Entaniya Fisheye HAL 220 LF是一只220度的鱼眼镜头，同样可通过更换垫片方式进行焦段调节，焦段范围为9.1~12.6mm，可用于ARRI、RED等专业级摄影机拍摄。从画质和重量两因素考虑选用了RED Monstro 8K VV专业摄影机，设备重量仅1.52kg，传感器尺寸40.96×21.60mm，17+动态范围，拍摄视频分辨率8192×4320，支持ProRes 422 HQ 30fps记录视频数据。经拍摄测试，鱼眼画面转换成全景画面后的有效分辨率基本满足需求。
5.3 定制拍摄方案
经对比分析测试，选定志翔Z1+RED Monstro 8K VV+Entaniya Fisheye HAL 220 LF作为主力拍摄机型，FreeFly ALTA6+Insta360 Titan 11K VR为辅助拍摄机型。摄影机空间全景裁切画面为水平200度，纵向71度，设备均能满足拍摄需求，但由于拍摄所需角度较大，导致无人机的旋翼很容易被拍进有效画面内，为解决这个问题，需对选定设备进行合理定制。
辅助拍摄机型定制，Insta360影石 Titan是VR摄影一体机，360度无死角拍摄，无人机自身无论如何都会被拍摄进画面，只能通过加大摄影机与无人机之间的距离实现无人机在画面中成像面积的减小，减少对画面影响。该VR摄影一体机机身小巧，重量中等（5.5kg），采用1.2米以上连接加长杆，如图4所示，可避免无人机被摄进最终有效画面内，且无人机也能安全稳定飞行。
图4 辅助拍摄机型定制
主力拍摄机型定制采用220度鱼眼镜头拍摄，无人机旋翼会被摄入有效画面内，有三种常规解决思路：（1）采用扣拍方式可避免旋翼入画，但拍摄角度与实际拍摄需求不相符合，不可采用；（2）加大摄影设备与无人机之间距离，但由于主力拍摄机型设备所含摄影机、镜头、云台等，整体重量已接近10kg，接近无人机挂载上限，重量和距离的增加会导致无人机飞行受摆动影响增大，加大飞行安全风险，应避免采用；（3）摄影机往前放置，即在旋翼外侧装置摄影机，避免旋翼被摄入有效画面，挂载设备偏离无人机重心线，因增加配重平衡而造成负载增加，超过无人机挂载极限和飞行能力，无法采用。三种常规思路均无法采用，问题没有解决，经仔细分析研究，对思路（3）进一步拓展，即把无人机动力电池当作配重使用，定制一个杠杆支架，一端放置摄影设备，另一端放置电池组，可不增加负重，解决无人机平衡问题，如图5所示。
图5 主力拍摄机型定制
5.4 画面拍摄与转换处理
采用辅助机型Insta360影石 Titan 11K拍摄，拍摄时只需重点关注摄影机的飞行路线，无需关心镜头角度，后期可二次调整画面角度，但无法改变透视关系，通过专用软件Insta360 Stitcher拼接处理，输出360度11K的全景画面。根据节目需求，最终摄影机空间全景裁切画面为水平200度，纵向71度，分辨率5867×2083。为符合影院系统输入画面要求，需对画面作缩放变形处理，使分辨率为8000×3000。
图6 RED Monstro+HAL 220 LF成像范围
主力拍摄机型拍摄画面处理流程，根据鱼眼镜头Entaniya Fisheye HAL 220 LF官方提供的RED Monstro 8K VV传感器成像范围适配图，如图6所示。从适配图上分析，按水平200度和纵向71度计算，11.7mm焦段能够在传感器成像面积最大化，但经测试，从鱼眼画面转换成全景画面时，全景裁切画面的四个角落会产生暗角，如图7所示，画面不完整，无法使用。最终确定焦段为10.9mm，鱼眼图像成像角度为水平220度，纵向115度，转换全景画面后，全景裁切画面正好适配水平200度，纵向71度，画面完整，但无法再调整构图角度，如图8所示。在画面转换过程中，图像中每一像素都需重新计算位置，画面分辨率最好一步转换到位，使全景画面分辨率14400×7200裁切成画面分辨率为8000×2837，可减小画面多次变换造成的锐度下降。最后需对画面纵向变形，调整画幅比，使输入画面分辨率为8000×3000。
图7 11.7mm焦段鱼眼画面转全景裁切画面有4个暗角
图8 10.9mm焦段鱼眼画面转全景裁切画面范围对比参考
6 三维软件中的相机及渲染设置
影院的节目内容除了拍摄部分，还有三维CG制作部分。在三维软件相机视图中，只支持透视相机的实时显示，鱼眼或全景相机不支持实时显示，但可支持渲染输出。虽然透视相机可调成200度视角观看，但与200度全景视角图像显示差异过大，没有可参考性，无法提供输出画面的实时显示，场景设置和动画调节极为不便。但可采用多相机组模拟全景画面显示，相机数量越多，模拟的图像越接近全景画面，也不宜过多，一般设置三个或五个相机，奇数个相机成组以确保中间相机正好显示中心画面，中间相机也代表相机组拍摄位置和方向。相机组中的相机视角可实时显示模拟全景画面，提升对场景操作的方便性，提高工作效率。
三维场景渲染软件只支持渲染360度的全景画面，渲染完成后再裁切出所需画面，无效画面渲染过多，效率极为低下。临时解决方法是以相机为中心创建一个球体模型，球体大小以能遮挡住整个三维场景为准，在球体打开一个水平200度、纵向71度的开口，相机透过开口所能看到的场景就是渲染区域。把球体设置成不渲染的纯遮挡材质，可相对减少渲染时间，渲染过程中还是会占用较大的内存，虽无法从根本解决问题，但可作应急使用。较好的解决方法是重新开发可定制输出的全景相机，彻底解决该问题，提升渲染效率。
7 结束语
本次研究完成与飞行影院中画面相关的拍摄、处理、显示等环节的技术性研究，希望为同类产品制作提供一定的参考、借鉴作用，对提升飞行影院的节目质量和沉浸体验感带来更加积极的影响。
参考文献
（向下滑动阅读）
主管单位：国家电影局
主办单位：电影技术质量检测所
刊号：CN11-5336/TB
标准国际刊号：ISSN 1673-3215
期刊发行：010-63245082
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.