全真互联趋势下的音视频技术

图0: undefined全真互联趋势下的音视频技术

2020 年底，“元宇宙”还未成为风靡全球的概念，腾讯集团出品了一本《三观》特刊，在特刊的前言中，马化腾说道：“移动互联网十年发展，即将迎来下一波升级，我们称之为全真互联网”，抛出“全真互联”的新概念。

何谓“全真互联”

随着 VR（虚拟现实）、AI（人工智能）、5G、云计算、IoT（物联网）技术的日益成熟，新的硬件和软件在各种不同场景的推动及应用，目前某些产业链和产品中已经显现出了一些特征，实现电影《头号玩家》中的场景，也成为一个可以实现的目标。如同移动互联网颠覆传统互联网一样，全真互联的到来也将改变移动互联网，带来新的生活方式。

在“全真互联”的概念中，“真”代表着真实世界，而和“真实世界”相对应的是虚拟世界或数字世界，“全真”意味着虚拟世界和现实世界一样，两者密不可分，线上线下全面一体化，实体和电子方式更深度地融合，从而将人、信息、物、服务、制造越来越紧密地连接到一起。相对于 2021 年被全球热议的“元宇宙”来说，“全真互联”的画面更加清晰、具象。

提到全真互联，大部分人会想到游戏、娱乐方面的应用，而如果仅仅把游戏当做全真互联的载体，未免过于狭隘。通过对数据的串联，全真互联可以将虚拟的数据接入到真实的生活中，在物联网、车联网、智慧城市等行业帮助人们改善生活方式。

实现全真互联需要一个量变到质变的过程，在实现互联网“全真”之前，实体经济数据化是一切的核心。疫情期间，在线课堂、直播购物、线上协同办公、云上健身、在线问诊等需求爆发，后疫情时代，以往多在线下发生的场景，现在在线上都能找到对应的解决方案和产品，全真互联的“量”正在稳步积累，而我们也从中获得了实实在在的便利和益处。

全真互联下的音视频技术

打通虚拟和现实需要三大基础能力：算力、云原生以及音视频，其中，音视频能力是实现全真互联的关键技术之一。

在构建全真互联的虚拟世界的过程中，音视频是一个重要角色：搭建线上世界需要以音视频技术作为承载，同时，线上新应用和数字能力也将通过音视频技术以 AR 形式融入线下。未来线上世界会出现虚拟人物、虚拟场景、虚拟交互，通过更高质量的音视频能力，达到和现实世界深度融合、真假难辨的“全真”效果。

面向“全”，需要打通消费互联网和产业互联网，为满足更多业务场景可能需要更具兼容性和标准化的产品或者服务，例如 RTC 等技术的多端互通；面向“真”，则需要低延时、超高清的音视频等作为基础，换言之，音视频厂商需要思考如何将真实体验真实无损地复刻到线上。

而作为基础服务，音视频已经渗透进生活的方方面面。目前，行业中已经通过 VR 技术，让我们可以足不出户在手机上看房、旅游，实现简单的全真互联体验。如今，音视频正在重构三重连接，一是科技与社会的连接，二是人与人的连接，三是人与世界的连接。贯穿重构过程的技术趋势，也是音视频应用变得更高清、更实时、更无处不在的过程。

全真互联时代的来临，将更关注“沉浸式体验”的人机交互，音视频采集、编解码、传输、渲染等将成为音视频技术的关键能力。显然，实时音视频技术已经到了迭代升级的关键时期，这个过程中的难点在于通过什么样的手段达到更低时延、更高流畅度和更强的互动性，同时更好地应对海量并发。

音视频技术探索与应用

伴随着移动互联网的发展，音视频技术作为底层支撑技术显得尤为重要，如今，行业和企业的发展，以及“全真互联”的新概念，都对音视频能力提出了新要求；5G 时代的到来，也对实时音视频技术提出了低时延、强互动、超高清等高要求。

目前，大多数音视频厂商主攻的技术主要有 RTC、IM 以及 CDN：

RTC 实时音视频通讯，主要承载音视频实时通信业务，如语音、视频通话，在线会议等功能；
IM 即时通信，负责即时通信消息和业务信令，如文字聊天、语音消息发送、音视频播放，如今也包含直播场景下的直播弹幕、送礼物等功能；
CDN 流媒体分发网络，CDN 应对海量大并发直播、点播内容的分发，短视频应用、直播带货、大型赛事直播。

以直播带货为例，观众通过商品链接下单，用到了 IM 即时通讯的能力，当主播与观众连麦互动，用到了 RTC 实时音视频通讯能力，当带货直播面向的观众数量较多，将会用到 CDN 流媒体的分发能力。随着行业中对音视频通信服务低延时、强互动的要求越来越高，越来越多的应用场景需要同时运用以上三种能力，目前已有厂商将三种技术打包整合。

今年 5 月，腾讯云音视频推出了整合 TRTC 实时音视频通信网络、IM 即时通信网络、CDN 流媒体分发网络的“三合一”音视频通信基础网络——RT-ONE™，通过复用三张网络的“云、边、端”基础设施，形成技术叠加，帮助客户获得高质量、低成本的“三合一”服务，满足客户各种多变实时互动场景下的需求。例如，快直播是 RTC 技术和 CDN 技术组合而成的产品、云游戏是基于 TRTC 的技术，再加上低延时和大码率的优化而产生的产品。通过技术的组合，将技术共享、复用，助力开发者在一个月内甚至更短的时间里创造出新玩法。

由于企业对音视频需求呈现多元化，厂商往往根据不同需求提供定制化服务，标准化产品较少，因此音视频服务的成本也居高不下。在“降本增效”的企业需求主线下，腾讯云音视频推出了“腾讯云视立方”与“腾讯明眸·极速高清”，同时也分别满足了音视频的“全”“真”体验。

前者集成了视频采集 / 推流、移动直播、互动直播、短视频编辑、视频通话、即时通信、美颜动效等多套 SDK 于一体，提供 all in one 的 SDK 腾讯云视立方 RT-Cube™ 供开发者集成，并提供 iOS、android 原生以及 Web 端、小程序、Flutter、Electron、ReactNative 等跨平台多端接入，实现了集成一次 SDK 即可实现所有音视频通信终端功能的开发体验。

后者将智能场景识别、动态编码匹配、画质修复增强相结合打造智能动态编码技术，在视频画质质量不变的情况下，平均可以降低 50% 的码率，减少视频传输存储成本。此外，历经 20 多年技术沉淀的腾讯云音视频，凭借在编解码、极速高清、TRAE 音频引擎等技术创新，持续支持国内 90% 的音视频客户实现云上创新。