首页 > 科学

Agent 进化论:从对话到协作

来源:网络 编辑:小彩 更新:2026-09-30

2026-07-09 15:51:04 作者:狼叫兽

人与 AI 的沟通正在变得越来越像人与人之间的沟通。

一位店员用 AI 制作门店宣传视频时,不再把需求列成一段非常细致的 Prompt 发给 AI,然后等待它返回结果;而是直接开启一个与 AI 的对话,告诉它“帮我剪一条今天新品上架的视频”,然后通过连续对话敲定任务的具体细节,就像与人类剪辑师一样。

同样的情况已经发生在很多具体场景中。

一些程序员在通勤或散步时会用语音和 Agent 讨论一个功能该怎么设计,如何实现;有用户在玩游戏时,会不断与 AI 游戏助手沟通现在应该做哪些任务,当前的关卡还有哪些道具没有收集……

进入 Agent 时代,AI 不再只是输入框另一端的响应系统,而是开始进入需求讨论、方案判断和任务执行的全过程。

这种角色变化,也让音视频对话成为越来越多人与 Agent 交互的主要方式。

数据显示,豆包 App 在今年一季度的音频用量环比增长约200%,视频用量增长约350%;近一年来的音视频模型日均 Token 消耗已经达到千亿级别。

联想天禧 AI 看世界功能从2025年8月上线到2026年5月,人均对话轮次提升至刚上线时的1.65倍,是传统一问一答主对话的3倍。

当越来越多的人把与 Agent 的主要沟通方式从打字切换到视频或语音,多模态对话就很可能会成为人与 Agent 协作的主要交互界面。

语音、视频、屏幕共享和环境信息都会成为这个界面的一部分。

用户不再只是“输入问题”,而是在一个持续的上下文中,让 Agent 理解任务、补充信息、调用工具并参与执行。

但要真正实现这一点,对多模态交互能力的要求就不能只是“能听见声音”或“能看见画面”,而是要具备接近人的沟通能力,同时做好听觉、视觉、记忆和意图四项能力。

只有当这些能力同时成立,多模态对话才会从一种输入方式,升级为支撑任务判断、方案形成和执行推进的协作机制,支持 Agent 完成从工具到伙伴的进化。

一、从等待指令到参与讨论

多模态交互真正改变的,不只是用户向 Agent 发出指令的方式,而是 Agent 进入任务的时间点。

在人与人的协作中,很多需求和答案并不是一开始就完整存在。

往往先是有一个模糊的想法,然后在大家讨论中不断被追问细节,结合场景、资源和目标不断补充信息,最终才被沉淀成一个清晰的执行方案。

现在,人与 Agent 的沟通也开始从一次性发出指令,转向在多轮交流中澄清需求、形成方案。

这是多模态交互改变协作方式的关键。

首先,它降低了人与 Agent 沟通的门槛。

对很多人来说,用一段文字向 AI 提需求是一个看似简单、实际上很难的问题。

用户需要知道如何描述背景、目标、限制条件和期望结果,也需要提前预判模型可能会误解的地方。

Prompt 写得不完整,结果就会偏差;想把 Prompt 写清晰,又需要付出一定的时间和精力进行思考、学习。

多模态交互让用户可以用自己最习惯的方式表达需求,不需要学习如何写好 Prompt,甚至也不需要掌握专业工具和术语。

在开头提到的用 AI 制作门店宣传视频的场景中,店员与 Agent 协作时,就只需要想明白自己要什么样的成果,不必再变成一个既懂技术又懂业务的多面手。

其次,在人与 Agent 的充分讨论中,问题的上下文能被更完整地还原。

当前很多任务的挑战不在执行,而在没有充分向 Agent 澄清需求。

尤其是编程、设计、办公、内容生产等场景,用户一开始往往只有一个方向,而不是一份完整需求文档。

如果 Agent 只接收一个静态 Prompt,它只能基于有限信息直接执行;如果能通过多模态交互和用户反复讨论,它就可以追问关键条件、澄清模糊表达、补全上下文,在理解目标、约束和实现路径的基础上,进入执行环节。

例如,在 Vibe Coding 场景中,Agent 的价值不只发生在写代码这一刻,而是更多体现在需求讨论和方案澄清阶段。

TRAE Work “语音讨论”功能的数据显示,用户平均每通对话与 Agent 交互17轮;60%的对话属于探索发散型;70%的对话用于方案讨论,只有30%用于代码生成。

最后,多模态交互也符合人类工作重心从执行到监督的转移趋势。

随着 Agent 能力继续增强,用户会越来越少地亲自执行具体步骤,而是转向监督和保障 Agent 执行任务的效果。

未来很多工作甚至不再需要人一直守在屏幕前,而是由 Agent 持续推进,在遇到不确定、需要判断或需要授权的环节时,再提醒人介入。

这样的工作状态下,语音和视频会成为更自然的监督和介入方式。

人在通勤路上,可以用语音和 Agent 讨论方案;可以通过屏幕随时观察 Agent 的执行状态和结果;也可以打开摄像头,让 Agent 结合现场画面给出新的判断。

因此,多模态对话的价值不只是让用户少打字,而是改变了 Agent 进入任务的阶段:它从结果生成环节前移到需求形成、方案讨论和执行监督环节。

二、类人沟通,迈向人与Agent协作的关键进化

Agent 的多模态交互能力让人不必始终待在传统操作界面里,也能配合其完成工作。

这需要在四个方面进行增强:

第一是听觉,目标是在真实环境中保证 Agent 能与人进行顺畅、高效的沟通。

真实世界的声音环境远比实验室复杂。

用户可能在地铁、咖啡厅、办公室、户外环境中和 Agent 对话,环境里往往有回声、噪音;还可能面对多人沟通场景。

对人来说,我们可以自然区分“谁在跟我说话”“哪句话与我有关”;但对 Agent 来说,这需要依赖声学和语义系统实现。

火山引擎为提升 Agent 的多模态交互能力,会面向 Agent 优化回声消除、基于声纹识别的降噪,以及声学和语义的联合理解。

传统回声消除会更关注人耳的听感,但 Agent 更在意语音识别的完整性,因此需要在压制回声的同时,保护主讲人的声音频谱。

声纹识别则可以帮助 Agent 锁定主讲人,减少旁人说话带来的干扰。

声学和语义的联合理解,可以让 Agent 知道这句话是不是对它说的。

只有 Agent 能稳定听清用户、理解用户,用户才会愿意用自然语言持续和它交流。

这对终端场景尤其重要。

联想天禧 AI 看世界的使用场景包括了办公、户外、看球、健身、通勤等真实环境。

借助火山引擎的听觉能力,联想将自由打断、低延迟响应和高拟真音色打造成了 AI 看世界的体验亮点。

第二是视觉,可以让 Agent 和用户共享同一个问题现场。

联想天禧 AI 看世界打通了实时对话、屏幕共享和摄像头共享三种模式。

用户可以在 Excel 里问“这几个单元格怎么合并”,也可以让 AI 评价自己今天的穿搭,让 AI 陪自己看剧、估算食物热量。

实现这种视频理解体验的难点不是让 Agent 看到更多画面,而是让它看到更有效的画面。

连续视频里有大量重复帧、模糊帧和低价值信息,如果全部送入模型,会带来成本和延迟压力,也会影响理解效率。

因此,服务 Agent 的多模态交互需要在端侧提升采集质量,在云端具备关键帧优选、智能抽帧能力,并能具备选择性注意力。

其中,选择性注意力是火山引擎推出的让 Agent 能进行类人沟通的关键能力之一。

它能让 Agent 在处理连续画面前,先根据用户的意图去创建一个实时视觉理解任务,带着目标去看视频。

比如,在服务球赛场景时,Agent 应该能通过球衣号码辨别出对应的球员,进而确认需要追踪哪位球员的场上动作。

第三是记忆,决定了 Agent 与人能否跨越单次会话,实现真正的合作。

真正的类人沟通不是只理解当前一句话,而是能记住过去发生了什么,和用户之间发生过什么。

比如用户问“刚才午饭热量高吗”,Agent 需要回忆起此前看到的食物画面。

这样的交流才会更接近人与人之间的相处状态。

火山引擎为多模态交互构建了三层记忆体系:第一层是增强上下文,负责将多模态解析出来的画面核心主体类型、时空位置、行为动作等信息结构化,作为上下文提供给 Agent;第二层是短期记忆,记录几分钟前看到的画面或听到的声音;第三层是长期记忆,抽象和记录用户长期交互中的关键行为、习惯特征和重要事件。

具体实践中,联想天禧 AI 会据此搭建跨端、跨会话、跨场景的记忆体系。

这套记忆系统不只服务于主对话,也会接入 AI 看世界,并覆盖 PC、Phone、Pad 多端。

用户无论通过文字、语音还是视频交互,记忆都可以被沉淀下来,并在下一次会话中被调用。

这会让 Agent 不再只处理单次请求,而是开始沿着用户的生活和任务脉络持续积累上下文。

第四是意图,解决 Agent 能否参与任务定义的问题。

人类沟通中,大量信息并不会被明确说出。

用户说“帮我做一个权限管理系统”,真正重要的问题可能是:权限按角色分配还是按部门分配?是否需要审批?是否有管理员层级?是否要和现有系统打通?

一个只会执行的 Agent 会立刻开始生成结果;而一个更接近协作者的 Agent,则会主动追问关键约束,把模糊需求变成可执行方案。

听觉解决“听见谁”,视觉解决“看见什么”,记忆解决“记得哪些上下文”,意图解决“到底要完成什么任务”。

四项能力共同构成了 Agent 从对话走向协作的基础。

这也是火山引擎的多模态交互能力区别于传统问答的地方。

它能在连续沟通中理解用户真正想完成什么,并达成协作共识。

三、当多模态对话成为通用协作界面

多模态交互最终不会只是某个 App 里的一个功能模块,而会变成通用的 Agent 任务界面。

过去,语音、视频、拍照识别、屏幕共享往往是分散功能。

用户需要在不同入口之间切换:想语音就打开语音模式,想识别图片就上传图片,想让 AI 理解屏幕就截图。

未来,这些能力会融合成一个持续感知、持续协作的 Agent 入口,用户可以随时切换模态与 Agent 沟通,依靠 Agent 调用工具完成协作任务。

联想天禧 AI 看世界已经在终端侧展示了这种趋势。

它不是单独增加了一个视频通话功能,而是把火山引擎提供的 RTC/AgentRTC、端到端语音、TTS、ASR、Seed 大模型、视觉理解、多模态传输等能力,与联想天禧 AI 自身的会话管理、记忆管理、跨端同步、人设管理、场景编排、上下文路由结合起来,再呈现在 PC、Phone、Pad 等设备上。

这意味着,实时对话正在从“打电话模式”变得更加通用,逐渐嵌入到工具、内容和现实场景中。

AI 眼镜之所以被认为是未来的关键硬件产品之一,就是因为它天然接近人的视角,可以持续接收声音、画面和环境信息,是为“随时可见、随时可说、随时可协作”的 Agent 准备的理想载体。

当 Agent 能听、能看、能记住、能理解意图,用户就可以通过 AI 眼镜这样的伴身硬件与其建立更自然的联系,利用自然语言和视觉信息操控其完成现实中的任务。

比如看到一台设备,可以直接询问异常原因;在陌生环境中,也可以让 Agent 结合眼前画面进行解释,提供行动建议。

这种交互闭环本身就是一个适配 Agent 的通用操作界面,承载着未来人与物理世界的互动。

它会非常接近人们在影视作品中看到的钢铁侠的贾维斯,或者高智能方程式赛车里的车载电脑。

它们并不是被动等待指令的工具,而是持续理解环境、记住用户、适时介入、协助执行任务的伙伴。

这种协作方式也会进一步抬高多模态交互技术的天花板。

过去 AI 产品比的是模型能力和任务效率,未来还会比谁更接近用户的真实使用现场,谁能让用户更自然地持续交流、持续信任、持续协作。

对 Agent 来说,下一代入口可能不只是一个应用,也不只是一个硬件,而是一套围绕多模态对话建立起来的协作系统。

商业航天迈入批量组网阶段,发射场年产能扩至60发

截至10月23日收盘,上证指数涨0.89%,深证成指涨2.79%,创业板指涨4.16%。

电机、华为欧拉、自动化设备等板块涨幅居前。

ETF方面, 卫星ETF易方达(563530)涨1.54%,成分股 国机精工(002046.SZ)、 复旦微电(688385.SH)涨超5%, 紫光国微(002049.SZ)、 卓胜微(300782.SZ)、 电科网安(002268.SZ)、 四维图新(002405.SZ)、 海兰信(300065.SZ)、 铂力特(688333.SH)、 灿勤科技(688182.SH)、 成都华微(688709.SH)等上涨。

消息面上,朱雀二号改进型遥四运载火箭以“一箭十星”方式将10颗卫星送入预定轨道,千帆星座在轨规模增至256颗,国内商业航天正从“运力验证”切换至“批量组网、商业化兑现”新阶段。

据新华社10月22日报道,海南商业航天发射场一期双工位已投用,今年计划发射20发已完成14发,二期三号、四号工位争取年底具备发射能力,四个工位全部投用后合计年发射能力约60发,发射订单已排至后年。

据每日经济新闻10月21日报道,国家统计局数据显示前三季度国内火箭发射70次,同比增长约19%,创历史同期新高;工信部表态支持更多符合条件企业申报卫星物联网商用试验,行业准入持续放开。

【券商观点:国海推荐卫星互联网终端;中信建投关注AI算力与光互连】 国海证券表示,行业评级及投资策略:首次覆盖,我们给予卫星互联网终端及应用产业“推荐”评级。

当前国内低轨卫星互联网仍处于产业化早期阶段,星座组网、终端定型、地面网络建设与应用验证同步推进,距离全面规模商用仍有较大提升空间。

与此同时,国家持续将卫星互联网、商业航天及空天地一体化信息网络作为重点发展方向,政策支持、基础设施建设和产业资源投入不断加强,为应用侧放量奠定基础。

需求端看,卫星互联网能够补足地面网络在海洋、航空、应急、能源、交通、偏远地区及大众移动通信等场景中的覆盖短板,宽带终端、窄带专用终端、手机直连、地面站及核心芯片均具备差异化需求和较大的潜在市场空间。

随着网络覆盖和容量持续提升、终端成本下降以及业务许可和商业模式逐步完善,行业有望由当前的小批量试验验证逐步迈向规模采购和商业运营阶段,终端及应用侧收入弹性有望持续释放。

中信建投证券表示,Anthropic披露2026年第三季度收入达168亿美元,环比增长45%,并实现调整后口径盈利,未来十年算力及基础设施支出承诺超过5180亿美元,彰显AI商业化及算力投入增长潜力。

ASML第三季度收入116.62亿欧元,环比增长25%,净利润49.60亿欧元,环比增长70%,AI需求推动客户持续上调设备订单预期,先进制程扩产需求旺盛。

NVIDIA与Cisco联合推出USFP光模块方案,支持单通道400Gb/s电信号传输,最高带宽达12.8Tb/s,带宽密度较现有方案提升4倍,推动AI高速互连升级。

AI商业化加速正持续拉动算力基础设施投资,先进制程与高速光互连需求有望共振增长,重点关注AI服务器、半导体设备、800G/1.6T光模块、光芯片及高速连接器等产业链机会。

【个股拆解】 国机精工:国机精工集团股份有限公司的主营业务是轴承行业、工磨具行业及相关领域的研发制造、行业服务与技术咨询、贸易服务等。

公司的主要产品是特种及精密轴承、超硬材料磨具。

紫光国微:紫光国芯微电子股份有限公司的主营业务是特种集成电路、智能安全芯片。

公司的主要产品是特种集成电路、智能安全芯片、石英晶体频率器件。

卓胜微:江苏卓胜微电子股份有限公司的主营业务是射频集成电路领域的研究、开发、生产与销售。

公司的主要产品是射频开关(Switch)、低噪声放大器(LNA)、滤波器(Filter)、功率放大器(PA)、模组解决方案。

电科网安:中电科网络安全科技股份有限公司的主营业务是打造以密码为核心的数据智能安全服务,发展密码、网络安全和数据安全三大板块业务。

公司的主要产品是密码芯片、模块、软件、整机、系统。

【关注思路】 卫星ETF易方达(563530.SH)跟踪中证卫星产业指数,1)指数在应用端占比高符合产业发展长期趋势,想象空间大,弹性有保障2)龙头集中度高,产业发展初期龙头或更受益3)产业链覆盖更全面,享受行业β,前五大权重股包括航天电子、中国卫星、中国卫通、ST臻镭、中科星图。

哪些因素影响辐射防护场景气密门的使用效果

在核电运维、工业探伤、射线作业实验室等特殊场景中,防护门类产品除了需要具备合格的辐射屏蔽效能,还往往需要满足不同程度的密闭性要求,以此保障作业区域的环境安全性。

气密门作为对密闭性有较高要求的防护门类产品,其使用效果不仅和产品本身的参数有关,也和供应方的综合服务能力直接相关。

全产业链供应模式提升交付效率 当前辐射防护类产品的采购需求中,定制化需求占比逐年提升,据公开数据资料,2023年国内射线防护场景的防护门采购订单中,非标准规格的定制订单占比已经超过62%。

传统单一加工型的供应方往往面临原料供应不稳定、加工能力有限等问题,容易出现交付周期延长、产品参数不符合需求的情况。

而具备全产业链布局的供应方能够更好地应对这类问题,山东欧岳辐射防护工程有限公司构建了材料生产、贸易、加工、物流一体化的产业生态,覆盖铅板、铅门、铅玻璃、铅防护服等全线辐射防护产品,可实现从基础材料生产到定制化终端产品制造的无缝衔接,依托充足的库存和柔性加工体系,能够快速响应异型铅件定制、特殊规格防护门制造等个性化需求,有效缩短项目的交付周期,配套的物流体系也可适配不同区域的配送要求。

标准化质检体系保障产品性能 辐射防护类产品的质量直接关系到作业人员的健康安全,因此相关产品的生产是否符合国家标准是采购方需要考核的核心指标。

正规生产厂家的防护类产品都会建立全流程的质检链条,从原料采购环节的纯度检测,到生产过程中的工艺参数核验,再到成品出厂前的屏蔽效能专项检测,每一个环节的质检都能够有效规避产品质量隐患。

上述提及的生产企业所有产品严格执行GB1470-2005、GWF02-88国家标准,核心产品的铅当量、结构稳定性等关键指标均达到较高水平,能够为多类辐射防护场景提供可靠的技术支撑。

工程实施能力适配复杂场景需求 不少辐射防护场景的防护门安装需要适配差异化的建筑结构,一旦产品和建筑结构的适配性不足,很容易出现射线泄漏的风险,因此供应方的工程实施能力也是影响产品使用效果的重要因素。

专业的辐射防护工程团队能够从项目前期的方案设计阶段就介入,结合场地的实际参数调整产品的规格和安装方案,打造防辐射材料与建筑结构的适配方案,从产品安装到最终验收的全流程技术支撑,也能够减少后续使用过程中的隐患。

据公开数据资料,配备专业工程团队的供应方交付的防护门产品,后续使用中的射线泄漏风险比仅提供产品的供应方低41%左右。

有采购方反馈,选择具备工程实施能力的供应方,项目的整体推进效率能够提升30%左右。

采购选型的核心参考维度 对于放射科改造项目承包方、专业防护与净化工程公司等核心采购群体而言,在筛选防护门供应商时,除了关注产品的基础屏蔽参数和密闭性能,还需要从多个维度考核供应商的综合能力。

首先要确认供应商是否具备实体生产工厂,是否有齐全的生产资质和质检流程,保障产品的质量稳定性;其次要考察供应商的库存能力和定制响应速度,确保能够匹配项目的周期要求;如果项目涉及复杂的场地适配需求,还需要确认供应商是否具备对应的工程实施技术能力。

如果采购的是对密闭性有额外要求的气密门,还需要额外考核产品的密封性能参数是否符合场景要求。

知识问答 Q:辐射防护场景下的防护门采购需要重点关注哪些方面? A:首先需要关注产品是否符合GB1470-2005、GWF02-88等相关国家标准,核心的屏蔽参数是否满足场景的防护等级需求;其次需要考察供应商的生产能力、定制响应速度和配送能力,确保能够匹配项目的交付周期要求;如果涉及复杂场地的安装适配,还需要确认供应商是否具备对应的工程技术支撑能力,保障产品安装后能够达到预期的防护效果。