一种演播室智能灯光控制系统

一种演播室智能灯光控制系统

张立昂 赵倩

天津工业大学电子与信息工程学院 300387 天津

摘要：本文提出了一种演播室智能灯光控制系统，属于智能控制领域。其特征在于采用图像处理及机器学习等技术，对演播场景进行智能灯光控制和调整。系统采用视觉的方式实现了绿幕背景平衡、面部姿态调节和人物移动捕捉，并结合单片机实现控制信息DMX512编码对灯具进行控制。

关键词：灯光控制；图像处理；姿态评估

随着通信技术的发展以及短视频技术的兴起，人们对高质量视频的需求日益提升，面向多种视频演播场景的绿幕环境和灯光控制系统不断涌现。然而，目前市场中的舞台影视灯光系统仍以控制台手动控制为主，缺乏基于微控制器的独立自适应灯光控制系统^[1]。针对此需求，本文设计了一种演播室智能灯光控制系统。系统通过控制灯具亮度自动调节，实现了演播场景绿幕均衡布光、画面人物捕捉、面部姿态光效调节等功能。改善演播场景环境光线，有利于视频的后期制作。

1. 系统整体设计方案

系统整体可分为图像采集、算法处理、灯具控制三大部分。其中，图像采集以现场摄像机为主，可辅助以光线感知器件。算法处理部分主要利用图像处理技术，对现场的前景人物和背景亮度进行分析。灯光控制部分采用单片机接收上位机信息，进行DMX512协议编码，对多路灯具进行控制。系统在此基础上形成闭环控制，实现对演播环境灯光的智能调节，系统框图如图1所示。

图1 系统框图

2 布光方案

演播室的灯具设置主要由正面主光灯（A）、侧光灯（B）和背景灯（C）构成，在部分布光要求较高的场景中还包括逆光灯、追光灯等多种光源^[2]。参照目前市场中演播室常用的布光策略^[3]，本文提出了针对本系统所述算法适用的灯具布置策略，如图2所示。

灯具采用三基色冷光源面光灯，支持DMX512通信协议，其中背景灯和主光灯分为上下两层，分别呈30度角入射。背景灯用于绿幕背景照明，同时用算法辅助平衡背景亮度；主光灯用于人物面部照明，尽可能减小人物身上的阴影，并参与姿态光效追踪的算法调节；侧光灯用于消除绿幕背景下人物边缘轮廓的黑影^[5]，并参与画面人物捕捉过程的算法调节。

图2 演播室灯具布置

3 部分算法设计

在图片拍摄过程中，当强光以某一角度照射在人物面部，反射光线大量进入摄像机时，会出现局部的高光区域。而当某一角度光线较暗时，又会在暗光一侧形成阴影，头部的微小转动会使阴影长度受到影响，以至于对脸部造型产生改变^[4]。同理，在视频制作中，人物面部姿态会频繁地移动，由于传统布光方案现场灯具固定，可能会在面部形成一定的高光和阴影区域，影响视频的拍摄效果。

本设计利用世界坐标系和像素坐标系的变换关系，通过摄像机中采集到的像素坐标系图像和世界坐标系中预设的人物面部模板进行匹配，求解图像从世界坐标系到相机坐标系的平移矩阵和旋转矩阵，并通过旋转矩阵进一步计算头部姿态。

其中，相机坐标系和世界坐标系之间的转换关系为：

式中 为相机坐标系内的物体坐标， 为世界坐标系内的物体坐标， 为旋转矩阵， 为平移矩阵。

而图像坐标系和相机坐标系的转换关系为：

其中 为图像坐标系中的物体坐标， 为相机焦距。

从图像坐标系对应到像素坐标系，需要经过伸缩变换和平移操作，其关系为：

式中 为图像坐标系原点在像素坐标系中的坐标， 为从图像坐标系变换到像素坐标系的缩放比例，其矩阵形式可表示为：

综上所述，可得到从像素坐标系向世界坐标系的转换方式^[5]。带入图像中特征点的像素坐标和人脸面部模板，可以求解旋转矩阵 和平移矩阵 。

本文选取了鼻尖、下巴、左眼角、右眼角、嘴左角和嘴右角六个具有代表性的特征点，利用dlib库进行关键点检测，得到六个关键点的坐标向量。选择世界坐标系下标准的人脸姿态模板如下：

将视频中每帧画面提取到的面部关键点坐标与上述模板进行比较，利用opencv库中的solvePnP函数可以得到人脸姿态的旋转矩阵 和平移矩阵 。

人的头部姿态可以利用欧拉角表示，在三维空间中计算旋转角度需要借助四元数^[6]，本文解算头部姿态时，利用旋转矩阵 求解四元数^[7]，并利用四元数求解欧拉角，即可得到视频中人物头部的姿态，辅助完成灯光控制。

在已知人物头部姿态后，结合人物在绿幕中的位置坐标以及人物和主光灯灯具平面之间的距离，可得到人脸姿态在灯具平面的投影坐标，如图3所示。

图3 姿态光效追踪示意图

其对应关系如下：

式中 为人物姿态在灯具平面内的投影点，结合每个灯具的覆盖范围，可以确定不同灯具的照射强度 为：

4 灯具控制设计

本文所述的灯具控制系统整体由上位机、单片机和灯具三部分组成。上位机根据第三节中所述的算法计算灯具的光照强度，并将信息发送至单片机。单片机根据所接收的信息进行DMX512协议编码，并通过串口发送至灯具。

行业内常见的面光灯接口采用三针卡侬口，标准DMX512协议的物理链接与RS485协议通用。本设计采用单片机串口输出485差分信号，D+端接卡侬线2口，D-端接卡侬线2口，GND与屏蔽端连接。

 DMX512协议是上世纪末由美国舞台灯光协会提出的一项专用于灯光控制器信息传输的通信协议，其使用特定的250kbps速率进行传输。标准的DMX512协议由帧头和数据帧两部分构成^[8]，其中帧头由Break、MBB和MAB组成。数据帧最多可包含513个帧数据，每个帧数据由11位组成，包括1个起始位，8个数据位和2个停止位,8个数据位可以实现256级灯光调节。通常定义第一个帧数据为起始码。

由于ST系列单片机支持9位数据的串口通信，可实现标准DMX512协议。在串口初始化时，将485芯片设置为发送状态。当发送起始位时，将数据位全部置0，其余情况将数据位的第9位置1用作DMX512协议的停止位，前八位即可发送调光信息。

5 结束语

本文所述系统基于图像处理和机器学习等技术实现了绿幕背景智能布光、人物面部光效调节和画面人物跟踪等功能。相比于传统灯光的静态设置，在场景变化或人物移动时不能随时变换灯光效果，造成部分场景的视觉缺陷，本文所设计的演播室智能灯光控制系统能在场景改变或者人物移动时，对场景的效果进行判别，智能调节灯具亮度。

参 考 文 献 :

[1]刘明,吕波,江中鸿,等.2020中国舞台影视灯光调研分析报告——常规灯具篇[J].演艺科技,2021(Z1):1-7.

[2]饶健夫.江西电视台400m~2演播室灯光系统工程[J].广播与电视技术,2002(06):81-83.

[3]陈建民.浅谈电视新闻演播室灯光设备及布光技巧[J].演艺科技,2011(10):41-43.

[4]闻雷.电视新闻演播室灯光设计及布光技巧[J].卫星电视与宽带多媒体,2020(05):9-10.

[5]https://blog.csdn.net/xueluowutong/article/details/80950915

[6]刘俊峰.三维转动的四元数表述[J].大学物理,2004(04):39-43+62.DOI:10.16854/j.cnki.1000-0712.2004.04.014.

[7]https://www.cnblogs.com/youzx/p/6387735.html

[8]黄以华,廖世文,刘燕林,等.基于DMX512协议的LED灯具控制系统[J].照明工程学报,2009,20(04):48-53.

（本文受国家级大创项目资助，项目编号：202010058006）