MR、5G+云:揭秘技术中心SMT进博会现场黑科技


2020年中国上海第三届进博会

技术中心(SMT)坚守在现场做好全面技术保障

 

Hey! Tech!
满满黑科技,2020进博会技术保障看过来


2020年11月,在新冠疫情背景下,第三届中国国际进口博览会如期而至,技术中心(SMT)也如约坚守宣传阵地,为SMG进博会广播电视播出工作做好全面技术保障。

 

进博会开幕式技术保障现场


今年进博会上,技术中心(SMT)除了使用当下大火的AR、VR等技术外,还迎来了一位神秘的新新人类——虚拟主持人“申䒕雅”。诸多“黑科技”齐亮相,为进博现场带来一股科技新风尚,这些新颖技术在5G高速网络的支持下,配以大规模、长时间的融合媒体大直播,也使得今年的进博会更有“看头”。

 


Crossing the Chasm

次元文化:队伍再壮大,技术再升级

 

 

 

 

 

 


如果说B站是新新人类的二次元主场,SMT子午工作室的旗下虚拟偶像Siva小虾鱼、田汐汐等崭露头角,那么进博会对于虚拟偶像团队而言可以说是全新的尝试,也是极大的挑战,如何在进博会直播现场实现技术革新,打造惟妙惟肖的卡通人物“申䒕雅”,让动漫游戏迷以外的更多人士“爱上她”,是本次SMT致力跨越的“鸿沟”。

细数申䒕雅首次应用场景和首创技术细节委实不少:首次在进博会应用,首次SMG电视直播应用,同时也是SMT首次整合光学捕捉、表情捕捉、多机位AR拍摄、远程传输、实时互动,并在东方卫视平台完美直播呈现...

虚拟人物的现场直播相较网络录制视频而言,对于稳定性、精准性、高效速的要求更高,并且要结合现场摄像机、直播间进行,将虚拟偶像信号叠加到真实现场当中,实现AR增强现实效果。对此,制作团队投入了大量的时间和精力,精心制作、反复调试,确保直播中人物的最佳呈现。


申䒕雅在制作当中究竟有哪些黑科技?SMT子午工作室来揭秘:


光捕代替惯捕
此前虚拟偶像制作很多采用的是对真人的惯性动捕技术,而为了使得申䒕雅的动作更加生动、表情更加丰富,SMT子午工作室在进博会现场专门搭建了光学动捕棚,利用红外线摄像头阵列对真人动作、表情进行捕捉,大幅提高了数据采集的精准度。

卡通渲染、动力裙升级
通过优化卡通渲染和动力裙技术,使得人物边缘变得更为清晰,也使得申䒕雅的衣物裙装更飘逸美丽,在进博会现场形象呈现更完美。

AP传输协议
相较WIFI而言,利用AP传输协议可以使得传输更稳定、更高效,响应更迅速,最大程度上做到申䒕雅动作和表情捕捉无延时。

信号叠加播出
申䒕雅出现在了进博会4个不同场馆,场馆信号采用3个固定机位+1个推拉机位的方式进行拍摄,前方演播室对现场拍摄信号和申䒕雅信号进行叠加播出。

其中最难的要数申䒕雅人物形象与推拉摄像机拍摄信号的叠加,需要根据推拉镜头变化情况,计算人物模型的合理参数。

 

 

 

Beyond Reality

MR技术:让不可能成为可能

 

 

 

新闻演播室


主持人从位于威海路的上视新闻演播室“一步跨入”四叶草,这可能吗?在MR技术面前,没有什么是不可实现的!

 


MR即Mixed AR and VR,是今年进博会电视直播的又一项黑科技。MR技术结合了AR现实增强与VR虚拟场景的应用,使得进博会直播虚虚实实,无比酷炫。

仅仅是一个华丽的转身,主持人便走出演播室来到现场,这要归功于SMT肥牛工作室的创作:他们将东方卫视新闻演播室、国家会展中心、进博会现场都搬入了虚拟演播室。


工作室通过对四叶草国家会展中心的建模,按比例设计了进博会现场三大虚拟场景,在虚拟中还原了进博会真实盛况。


除了今年首创VR虚拟场景外,上届进博会所运用的AR技术在也沿用到了本届进博会上,主持人新闻播报过程中也再次使用了各类虚拟元素,使得新闻播报更为生动。

今日的东方卫视演播室是不是也与往日有所不同?旋转钢琴弹奏出的音符,在演播室蓝紫色的四叶草顶部衬托下飘荡,是不是更美更炫了?这就对了,这就是虚拟的魅力。

 

 


On Live

5G和云技术:让进博宣传更便捷、丰满

 

 

 

 

进博会现场


我国5G商用牌照发放已有一年多,第三届进博会国家会展中心所有场馆都实现了5G网络全覆盖,不仅各参展者可以感受到5G网络“飞一般”的速度,广播电视的传输技术也享受到了5G时代带来的更多灵活,使得更为便捷、高效、高速的制作成为可能。


12套5G背包,配合光缆、有线无线网络、微波等设备以及动力基础设施,技术中心(SMT)各部门通力合作,克服工期缩短、人员紧张等困难,高效搭建起IBC总控、融媒体和一财演播室、广播直播室、云采访间、SMG媒体工作间等,同时做好5G、光缆、网络、动力等基础设施技术保障工作,为进博会前方现场、后方台内各技术系统提供全方位技术保障。

从2020年初至今,因新冠疫情原因,SMT云技术得到了广泛的应用,包括“五五购物节”、“世界人工智能大会”、“上海市长咨询会”等大型活动都在云端会议系统的支持下获得了圆满成功。本届进博会也不例外,其一大特色便是“云端采访”,特设了进博云采访间,技术中心(SMT)通过云技术与传统新闻采访相结合,实现线上实时采访。

 


这些黑科技的投入应用,不仅大大提高了宣传报道的时效性和便捷性,更以生动的形象和唯美的场景,极大的丰富了新闻节目的表现方式,有效提升了报道的吸引力和感染力,“吸粉”无数。技术中心(SMT)将继续致力于“黑科技”产品的研发和迭代,以科技创新赋能媒体融合转型发展。