10月25日，由声网和 RTE 开发者社区联结主办的 RTE2024 第十届实时互联网大会在北京正式揭幕，本届大会主题为“AI 爱”，笼罩AI、出海、社交泛文娱、IoT、Voice AI、空间计算等20+行业及技术分论坛。往年是声网成立的十周年，也是 RTE 大会的第十届。十年间，实时互动从“理念”开展成一个“行业”。实时互动技术不只助力社交泛文娱、在线教育、IoT、企业服务等几十个行业、数百个场景成功了超越式生长，也撑持了诸多互联网风口的退化，从过去的电商直播、互联网医疗、秀场直播到如今的大模型，都离不开 RTE 才干的介入和赋能。
在全新的生成式 AI 时代，RTE 与 AI 也将迎来更多或者性。25日上午的 RTE2024 主论坛中，声网开创人兼 CEO 赵斌、Lepton AI 开创人兼 CEO 贾扬清、声网首席迷信家、CTO 钟声区分带来主题演讲。赵斌分享了声网十年以来专一实时互动行业的深入洞察，以及他对 RTE 在生成式 AI 时代下未来开展的趋向判别。贾扬清则站在 AI 基础设备的视角下，分享了他对 AI 运行、云、和 GPU 算力云技术的独到观念。钟声的主题演讲聚焦在对实时 AI 基础设备的讨论上，并分享了 AI 与 RTE 结合的前沿技术通常。
赵斌：生成式 AI 将驱动 IT 行业四大改革生成式 AI 正在驱动 IT 行业出现大改革，赵斌以为，这一趋向关键体如今四个层面：终端、软件、云和人机界面。在终端上，大模型才干将驱动 PC 和 Phone 往 AI PC 和 AI Phone 的方向退化。在软件上，一切的软件都可以、也将会经过大模型从新成功，并从 Software with AI 开展至 AI Native Software 。在云的层面，一切云都须要具有对大模型训练和推理的才干，AI Native Cloud 将成为干流。此外，人机界面的干流交互模式也将从键盘、鼠标、触屏变成人造言语对话界面（LUI）。
随着生成式 AI 成为下个时代 IT 行业退化的主题，RTE 也成为了多模态运行和基础设备中一个关键的局部。10月初，声网的兄弟公司 Agora 作为语音 API 协作者，出如今了OpenAI 发布的 Realtime API 地下测试版中。在此次大会中，赵斌示意，声网与 MiniMax 正在打磨中国第一个Realtime API。赵斌也展现了声网基于 MiniMax Realtime API 打造的人工默认体。在演示视频中，人与默认体轻松流利的启动实时语音对话。当人类打断默认体并提出新的不懂时，默认体也能够十分灵便的极速反响，成功了与人类人造流利的对话。
在生成式 AI 的大潮下，RTE 将会提供更为宽广的空间。赵斌也在分享中发表，声网正式发布了 RTE+AI 才干全景图。在全景图中，声网从实时 AI 基础设备、RTE+AI 生态才干、声网 AI Agent、实时多模态对话式 AI 处置打算、RTE+AI 运行场景五个维度，明晰出现了当下 RTE 与 AI 相结合的技术才干与运行打算。生成式 AI 与RTE 结合带来的场景翻新，将成为下一个十年的主题。过去十年，声网不只见证并推进了 RTE 从一个理念变成一个行业的环节，更身体力行的打破了国际实时音视频畛域的三有形态。赵斌称，10年前行业内没有行业会议、专业书籍、以及专业媒体和社区。如今，RTE 大会迈入第10年，声网也于往年8月正式出版行业首本系统引见实时互动的技术型科普图书《读懂实时互动》，同时，RTE开发者社区也继续兴盛，减速推进
贾扬清：AI 是云的第三次浪潮
随着 AI 技术的开展，AI 时代的大模型运行开发、AI 云、以及 GPU 等基础设备树立逐渐成为抢手话题，也成为了撑持整个行业开展、催生新运行降生、新商业价值成功的基本底座 Lepton AI 开创人兼 CEO 贾扬清在 RTE2024 主论坛上区分从 AI 运行、云、GPU 算力云技术以及企业大模型自主性等层面带来了他对 AI 基础设备退化的解读。
针对 AI 运行，贾扬清指出，当天是最容易树立 AI 运行的时代，越是繁复的 AI 模型思绪越容易发生低劣的成果。AI 才干加持后，运行自身的开发范式也在从数据、模型、运行构建三个维度出现变动，未来的运行开发将从“以流程为中心” 转化为“以模型为中心”。
除了 AI 运行层面，传统的云架构也在大模型、GPU 优化等需求的催化下出现了天翻地覆的变动。贾扬清以为，AI 是云的第三次浪潮，继 Web 云、数据云之后，AI 将成为第三朵云。AI 云有以下三个特色：算力会成为默认的基础、AI 云须要少量计算与大规模的异构集群，以及大批但高品质的通讯。总体而言，云的产品外形，实质是计算和传输的平衡。贾扬清指出，在 AI 云的外形下，实时的交换和默认的结合在用户体验环节十分关键。毫不夸张的说，实时将间接与消费劲划下等号。企业在构建自己的大模型自主性上，究竟该如何决策？贾扬清强调，企业应该将开源和闭源大模型都归入思考范围。驳回开源模型+定制化的长处不只仅是具有更强的可定制性，还有更低的老本以及更高的速度，开源+定制化能够到达比闭源模型更好的成果。
钟声：散布式端边云结合的AI系统将成为现代基础设备的基本外形
在曾经来到的 AI 时代，现代化基础设备应该是什么样？声网首席迷信家、CTO钟声提到，少量用户设备往往会先接入边缘节点、并在须要的时刻再接入云端，数据将在端设备、边缘节点和云之间往复传递。AI 时代的数据中心会蕴含以少量异构算力组成的超级计算集群（SuperScaler）。然而，逗留在仅依赖超级计算集群的系统是远远不够的，万亿参数、多模态引入所形成的高昂计算老本、不足机制解放的数据隐衷包全、几秒钟的延时都将阻碍大模型的普惠，极大地限度其在很多场景下的运行。
钟声以为，散布式端边云结合的 AI 系统将有效处置这些痛点。这个系统将把计算和传输在各节点做正当地性能，系统会默认地以自顺应的模式把义务编排到端与边上口头，十分有效地降落了老本，同时提供了更低延时（低于1秒级的照应速度）、更高网络颤抖容忍度、低劣的抗噪声才干，并且完整的用户数据只会保管在端上。
分享环节中，钟声还在大会现场演示了一个由STT、LLM、TTS 、RTC四个模块组成的端边结合实时对话AI默认体，这也是环球初次有厂商在比日常实践场景更具应战的环境下展理想时AI 对话才干。大会现场观众规模超越千人，面临复杂的噪声、回声、麦克风提前等艰巨，但默认体与钟声的互动依然体现出了低劣的对话才干，在个别5G网络环境下成功了流利、人造、幽默的双向实时对话，对话模型的极快照应速度、及时打断与被打断的人造水平、反抗噪声才干、遵照语音指令做期待才干都十分突出。正如钟声在最后分享的，随着端设备的多样化以及才干的优化，AI 基础设备会变得更优化正当，使得 AI 无处不在，AI助理、AI分身协助咱们有效缓解期间稀缺性，改善上班效率和生存体验。
圆桌：AI 的6000亿难题，从基础设备到商业化落地
AI 的6000亿美元难题，不时都是整个行业十分关心的话题，在圆桌讨论环节中， Lepton AI 开创人兼 CEO 贾扬清、MiniMax 合伙人魏伟、面壁默认联结开创人＆CTO 曾国洋、Hugging Face 工程师王铁震、Agora 联结开创人 Tony Wang 五位嘉宾一同讨论了从 AI 基础设备到 AI 商业化落地的时机与应战。
针对商用大模型和开源大模型未来的开展趋向，贾扬清分享了两个**观念：其一，等同品质模型的Size会变得越来越小，计算效率会越来越高，模型架构也会变得愈加放开和规范。其二，除了极少数头部公司之外，越来越多的企业会驳回开源架构来做下一代模型。因此，开源架构的运行会变的越来越广泛，经过开源架构训练进去的模型也都会有各自不同的格调。王铁震则示意，咱们将在未来看到越来越多 Infra 和 Realtime 的上班，大家不只须要关注开源模型自身，还须要注重开源模型的基础设备和数据闭环，才干把开源模型跑得更好、更快。Realtime 须要TTS、也须要大模型，假设能够经过一些模式放在一同，放在边缘侧、离用户更近的中央，才干发生十分好的成果。
对于如何看待音视频多模态模型的实践运行后劲，魏伟示意，随着多模态的出现，生成式人工默认的边界必定会被继续拓展，并减速这一产业的改革。从产品和用户服务环节中魏伟发现，文本、语音、音乐、视频这些模型可以很好的协助艺术、影视、音乐等畛域的创作者极大地提高效率，并为他们提供新的思绪和方法。
针对大模型技术渺小的老本经常使用疑问，曾国洋分享到，随着技术的行进，算力必定会变得越来越廉价，相反才干的模型规模也会变得越来越小，但算力老本优化会最终转化为训练更弱小的模型。真正到达 AGI 水平之前，咱们只能感遭到模型在变得越来越强，很难感遭到老本的变动。他还提到，因为面壁默认是做端侧模型的，所以很关注如何让模型在端上跑得更快，在实践部署环节中，他们会用各种量化紧缩甚至是稠密化方法去优化实践部署的开支。
总结来说，Tony Wang 以为想要推进 AI Infra 到模型、再到商业化落地，技术驱动和老本是最**的两个点。此外，在产品真正走向市场的环节中，流量和口碑也是关键。
过去十年，声网不只见证并推进了 RTE 从一个理念变成一个行业的环节，更身体力行的打破了国际实时音视频畛域无行业会议、无专业书籍、无专业媒体及社区的三有形态。自此，RTE 大会迈入第10年，行业首本系统引见实时互动的技术型科普图书《读懂实时互动》于往年8月正式出版，RTE开发者社区也正在秉持着“放开、衔接、共创” 的理念减速实时互动和 AI 的共生。
未来，声网将继续和大家一同，站在全新的终点、拥抱兴盛且充溢应战的 AI + RTE 新时代。