全真互联趋势下的音视频技术

2020 年底,“元宇宙”还未成为风靡全球的概念,腾讯集团出品了一本《三观》特刊,在特刊的前言中,马化腾说道:“移动互联网十年发展,即将迎来下一波升级,我们称之为全真互联网”,抛出“全真互联”的新概念。

何谓“全真互联”

随着 VR(虚拟现实)、AI(人工智能)、5G、云计算、IoT(物联网)技术的日益成熟,新的硬件和软件在各种不同场景的推动及应用,目前某些产业链和产品中已经显现出了一些特征,实现电影《头号玩家》中的场景,也成为一个可以实现的目标。如同移动互联网颠覆传统互联网一样,全真互联的到来也将改变移动互联网,带来新的生活方式。


在“全真互联”的概念中,“真”代表着真实世界,而和“真实世界”相对应的是虚拟世界或数字世界,“全真”意味着虚拟世界和现实世界一样,两者密不可分,线上线下全面一体化,实体和电子方式更深度地融合,从而将人、信息、物、服务、制造越来越紧密地连接到一起。相对于 2021 年被全球热议的“元宇宙”来说,“全真互联”的画面更加清晰、具象。

提到全真互联,大部分人会想到游戏、娱乐方面的应用,而如果仅仅把游戏当做全真互联的载体,未免过于狭隘。通过对数据的串联,全真互联可以将虚拟的数据接入到真实的生活中,在物联网、车联网、智慧城市等行业帮助人们改善生活方式。

实现全真互联需要一个量变到质变的过程,在实现互联网“全真”之前,实体经济数据化是一切的核心。疫情期间,在线课堂、直播购物、线上协同办公、云上健身、在线问诊等需求爆发,后疫情时代,以往多在线下发生的场景,现在在线上都能找到对应的解决方案和产品,全真互联的“量”正在稳步积累,而我们也从中获得了实实在在的便利和益处。

全真互联下的音视频技术

打通虚拟和现实需要三大基础能力:算力、云原生以及音视频,其中,音视频能力是实现全真互联的关键技术之一。

在构建全真互联的虚拟世界的过程中,音视频是一个重要角色:搭建线上世界需要以音视频技术作为承载,同时,线上新应用和数字能力也将通过音视频技术以 AR 形式融入线下。未来线上世界会出现虚拟人物、虚拟场景、虚拟交互,通过更高质量的音视频能力,达到和现实世界深度融合、真假难辨的“全真”效果。

面向“全”,需要打通消费互联网和产业互联网,为满足更多业务场景可能需要更具兼容性和标准化的产品或者服务,例如 RTC 等技术的多端互通;面向“真”,则需要低延时、超高清的音视频等作为基础,换言之,音视频厂商需要思考如何将真实体验真实无损地复刻到线上。


而作为基础服务,音视频已经渗透进生活的方方面面。目前,行业中已经通过 VR 技术,让我们可以足不出户在手机上看房、旅游,实现简单的全真互联体验。如今,音视频正在重构三重连接,一是科技与社会的连接,二是人与人的连接,三是人与世界的连接。贯穿重构过程的技术趋势,也是音视频应用变得更高清、更实时、更无处不在的过程。

全真互联时代的来临,将更关注“沉浸式体验”的人机交互,音视频采集、编解码、传输、渲染等将成为音视频技术的关键能力。显然,实时音视频技术已经到了迭代升级的关键时期,这个过程中的难点在于通过什么样的手段达到更低时延、更高流畅度和更强的互动性,同时更好地应对海量并发。

音视频技术探索与应用

伴随着移动互联网的发展,音视频技术作为底层支撑技术显得尤为重要,如今,行业和企业的发展,以及“全真互联”的新概念,都对音视频能力提出了新要求;5G 时代的到来,也对实时音视频技术提出了低时延、强互动、超高清等高要求。


目前,大多数音视频厂商主攻的技术主要有 RTC、IM 以及 CDN:

  • RTC 实时音视频通讯,主要承载音视频实时通信业务,如语音、视频通话,在线会议等功能;

  • IM 即时通信,负责即时通信消息和业务信令,如文字聊天、语音消息发送、音视频播放,如今也包含直播场景下的直播弹幕、送礼物等功能;

  • CDN 流媒体分发网络,CDN 应对海量大并发直播、点播内容的分发,短视频应用、直播带货、大型赛事直播。

以直播带货为例,观众通过商品链接下单,用到了 IM 即时通讯的能力,当主播与观众连麦互动,用到了 RTC 实时音视频通讯能力,当带货直播面向的观众数量较多,将会用到 CDN 流媒体的分发能力。随着行业中对音视频通信服务低延时、强互动的要求越来越高,越来越多的应用场景需要同时运用以上三种能力,目前已有厂商将三种技术打包整合。

今年 5 月,腾讯云音视频推出了整合 TRTC 实时音视频通信网络、IM 即时通信网络、CDN 流媒体分发网络的“三合一”音视频通信基础网络——RT-ONE™,通过复用三张网络的“云、边、端”基础设施,形成技术叠加,帮助客户获得高质量、低成本的“三合一”服务,满足客户各种多变实时互动场景下的需求。例如,快直播是 RTC 技术和 CDN 技术组合而成的产品、云游戏是基于 TRTC 的技术,再加上低延时和大码率的优化而产生的产品。通过技术的组合,将技术共享、复用,助力开发者在一个月内甚至更短的时间里创造出新玩法。


由于企业对音视频需求呈现多元化,厂商往往根据不同需求提供定制化服务,标准化产品较少,因此音视频服务的成本也居高不下。在“降本增效”的企业需求主线下,腾讯云音视频推出了“腾讯云视立方”与“腾讯明眸·极速高清”,同时也分别满足了音视频的“全”“真”体验。

前者集成了视频采集 / 推流、移动直播、互动直播、短视频编辑、视频通话、即时通信、美颜动效等多套 SDK 于一体,提供 all in one 的 SDK 腾讯云视立方 RT-Cube™ 供开发者集成,并提供 iOS、android 原生以及 Web 端、小程序、Flutter、Electron、ReactNative 等跨平台多端接入,实现了集成一次 SDK 即可实现所有音视频通信终端功能的开发体验。

后者将智能场景识别、动态编码匹配、画质修复增强相结合打造智能动态编码技术,在视频画质质量不变的情况下,平均可以降低 50% 的码率,减少视频传输存储成本。此外,历经 20 多年技术沉淀的腾讯云音视频,凭借在编解码、极速高清、TRAE 音频引擎等技术创新,持续支持国内 90% 的音视频客户实现云上创新。

写在最后

随着音视频领域技术的突破,类似《头号玩家》电影里的场景很可能成为现实,而越来越多的传统场景均有可能被颠覆。当虚拟音画如同身临其境,会对我们的生活产生什么样的影响?又会催生哪些新需求和新产业?我们无法预估距离实现全真互联有多远,但它已然带来了新话题和新风口,让人们对科幻场景画面的实现充满期待。

本文文字及图片出自 InfoQ

余下全文(1/3)
分享这篇文章:

请关注我们:

发表评论

邮箱地址不会被公开。 必填项已用*标注