智东西（公众号：zhidxcom）
作者 | 李水青
编辑 | 心缘

夜幕之下，哥哥眼眸清澈，歌声响起，热情与不舍如同往日再现。这是22年前张国荣在2000年《热·情》演唱会的画面。

又是一年4月1日，今天，在张国荣辞世19周年的纪念日上，“张国荣2000年《热·情》演唱会「超清修复版」”在微信视频号、腾讯视频等平台上播放，令很多粉丝久违感动。演唱会开场不到一首歌时间，仅是宝丽金唱片微信视频号观看人次就超100万，等演出结束这个数字变为了1600万。

一段演艺巅峰重现背后，是AI技术再一次展现出超越时间、惊艳大众的魔力。

犹记得两年前，《百年前的北京》等AI修复影响等作品刷屏，我们随即联系了创作者大谷进行了深度对话（《自学成才的90后AI修复师！给百年前老北京影像上色，“复活”民国美女火了》），解读背后技术和故事。

本次《热·情》演唱会再次引起粉丝圈和社交媒体的一阵热潮，让我们看到AI技术在这一领域的最新进展。这一AI修复作品是在腾讯云多媒体实验室的智能影像修复技术支持下，腾讯音乐集团携手环球音乐旗下厂牌宝丽金共同创作。

那么张国荣2000年《热·情》演唱会是如何被修复的？背后有什么样的技术奥秘？近日，我们与腾讯云多媒体实验室总监李松南、专家研究员夏珍进行了深入探讨。

一、是哥哥的粉丝，第一次修复他的演唱会

夏珍是哥哥的粉丝。三周前，他拿到影带，要通过智能修复方式，呈现这样一场超高清的修复版演唱会。

“特别的激动，很荣幸用我们的技术去修复这样一个经典的回忆，把我们带回当时那个盛大而又唯美的演唱会现场。”夏珍说。

▲腾讯云多媒体实验室专家研究员夏珍在修复《热·情》片段

夏珍所在的腾讯云多媒体实验室，此前已经做了很多关于老影像的智能修复，包括《天下人家》、《康熙王朝》等经典影视剧修复等。但修复演唱会，对他来说还是第一次。

与影视片修复相比，演唱会修复面临不同的难点。

“因为张国荣有他自己的艺术性表达，他很看重颜色，所以在我们希望能够尽量保持他真实的一个色彩表达。比如快速、频繁的色彩灯光跳变后，我们如果处理不当，就很容易让整个颜色发生一些奇怪的情况，这就需要多次调整。”夏珍说。

▲《热·情》演唱会「超清修复版」片段（由于截图软件影响画质有损失）

一般来说，演唱会镜头旋转和切换频繁，要用颜色、灯光的跳跃表达不同的艺术形式，因此，相比电影对算法的鲁棒性要求更高。

“我需要不停去看修复的效果，然后在看的过程当中就对他想表达的艺术性有一个特别深刻的理解。”夏珍告诉我们。

二、《热·情》是怎么被修复的？主要分为四步

《热·情》是怎么被修复的？

在回答这个问题之前，我们首先需要了解一个视频修复的基本逻辑。一般需要修复的影片分为胶片和数字化影片两种。其中，胶片需要被转码成数字化影片才能进行恢复，本次《热·情》在进行修复时，夏珍正是拿到了数字化版。

夏珍告诉我们，拿到数字版影片之后，修复主要分为四个阶段：

1、智能分析。对演唱会视频做智能分析，分析出噪声、编码失帧、运动以及画面复杂度等情况。

2、画质修复。结合智能分析信息，利用到多种人工智能修复算法把噪声 、编码失帧等破坏画质的因素去掉。

3、画质增强。在修复模块基础上，结合智能分析模块信息，选择最佳视频增强算法，对画面进行多维度画质提升。

4、智能编码。在保证画面质量的条件下，减小输出视频文件大小、降低视频传输成本。

“人脸修复”是画质修复中的一大难点。我们看到，在演唱会中，哥哥脸上的褶皱、头发都清晰可见，正是夏珍他们从视频中抠出来做加清处理，再把人脸放回到视频里面去。

同时，视频多帧修复也比我们此前常见的照片单图修复要难很多。“像打游戏一样，修复图片的话就是打游戏打一关，如果修复视频的话相当于打通关，所有的需要打过去。”夏珍说。视频具有连续性，修复中要保证帧与帧之间连续，视频帧数多意味着输入也就多了，对算力和算力要求就更高。

谈到技术的创新点，李松南告诉我们，一是在于平台层面，团队通过独特的修复平台，实现分析、修复、增强和编码全流程服务。

二是自研算法上，团队是在多帧（画面）技术上做超分，比此前的单帧照片难度提升，并通过GAN（生成对抗网络）种算法让它生成的细节更加丰富、稳定。GAN由一个生成网络和一个判别网络组成，学习过程中，生成网络和判别网络通过相互博弈，生成逼真的图像。

三、技术升维，将用于影视、工业、安防等多领域

回顾视频处理技术发展已经历多个阶段，以深度学习为代表的AI技术在其中起到越来越重要的作用。

当下，业界的超分算法发展大多沿着朝着深度学习开源模型的发展脉络演进，在开源的基础上把算法做提高和优化，从而实现较好的工程化、商用效果。

早年，业界都是通过传统的基于信号处理方式，对视频做优化，这些传统方式目前仍然在视频修复中被广泛用到。

随着2015年前后深度学习算法兴起，研发人员开始将卷积神经网络（CNN）等算法用到超分、降噪等领域。在这些领域，深度学习算法的效果相较传统方法提升很多。

而后，GAN出现，则进一步优化了深度学习算法修复视频的效果。但是，在数据不充足时，GAN生成的画面可能与真实情况差别较大，因此被应用的比重并不多。

当下，学界和产业界也开始寻求基于Transformer模型进行视频修复，这是李松南和夏珍团队视频AI修复技术研发的后续发展方向。

目前，腾讯云多媒体实验室研发的AI视频修复技术已赋能腾讯云多个产品部门，并服务了腾讯旗下的全民K歌、腾讯视频、腾讯课堂等多个其他事业群的多个爆款产品。

夏珍谈道，当下，整个互联网80%的流量都是以视频形式流动，大众对于更清晰、真实的传媒、泛娱、游戏视频需求随之提升。同时，在工业、安防等领域，人们也在用超分算法或者用修复技术去辅助判断或生产。

结语：AI＋视频带来新的文化旅程

通过与腾讯云多媒体实验室研发人员的对话，我们发现，相比于此前我们关注到的百年前的北京等影片修复，演唱会修复面临不一样的场景化问题，对技术提出了更高的需求。

随着视频媒体的快速发展，人们不仅需要视频的声画形式更加优质，也需要内容在信息、思想性、艺术性上能够更加保真、恒久。此外，跳出文娱领域，在工业、安全等领域，AI＋视频也拥有更广阔的发展空间。