公司新闻
NEWS
今年 618 大促期间,「交个朋友」在百度优选搞了场直播,不过这场直播的主角不是人,而是 AI。直播间里,罗永浩和朱萧木两个数字人配合默契,不抢话、不抬杠,只是一味地带货、爆梗、讲段子,还时不时跟评论区网友来个互动。
「弹幕上问我怎么辨别茅台真假,简单喝一口,心疼就是真的,肝疼就是假的。」
「有人问方便面好不好吃,买回去尝尝,好吃就分给朋友一点,不好吃就全分给朋友。」
这逼真效果,就连老罗本人看了都吓一跳:「他们在那儿眉来眼去,讲着跟我一样风格的段子,有点恍惚……」
更离谱的是,罗永浩数字人的直播「战绩」比真人还能打,整场直播吸引了超 1300 万人次观看,GMV 突破 5500 万元,部分核心品类带货量、用户平均观看直播时长均反超罗永浩本人在百度电商的直播首秀。
如此以假乱真的数字人到底是怎么做出来的?据老罗在微博上「自曝」,这用的是百度的多模协同数字人技术
传统数字人生成技术常面临语音、语言、视觉多模态割裂的问题,具体表现为台词与语音语调不同步、表情手势与语义错位等,而百度的技术突破在于引入剧本驱动的多模协同。
具体来说,这套技术方案包含了剧本驱动的数字人多模协同、融合多模规划与深度思考的剧本生成、动态决策的实时交互、文本自控的语音合成、高一致性超拟真数字人长视频生成等五大创新技术,使数字人的「神、形、音、容、话」达到高度统一,最终呈现出一个具备高表现力、内容吸引人、人-物-场可自由交互的超拟真数字人。
在百度这套多模协同数字人技术方案中,剧本生成无疑是核心环节,涵盖台词、多模驱动和动态交互三部分。
最核心的台词需要解决三大关键问题。其一,通过风格建模为不同风格提供精细化定制,使台词呈现多样化风格,并与主播的个性高度契合;其二,通过人设建模、人物性格与行为逻辑的精准还原,以及在双人直播场景中保持多角色协同,塑造拟真化人设;其三,引入内容规划和深度思考机制,在保证讲品信息准确、富有说服力的同时增强吸引力,同时为避免「幻觉」,还在台词生成中融入事实校对和知识增强机制,保证每一句话都经得起推敲。
就以罗永浩数字人为例,罗永浩和朱萧木都具有强烈的个人风格,直播时经常会蹦出几句口头禅,为打造可控性强、极具真实感的虚拟主播,百度基于文心大模型 4.5 Turbo,投入海量真人直播数据,依托「转录挖掘、优质提炼、仿写合成与自动评估」四个环节不断优化训练语料,使模型深度吸收两位主播的语言特点与思维习惯,并在迭代学习中持续逼近更契合的输出效果。同时引入多角色协同机制,对不同主播的表达逻辑进行建模,使对话在语义推进、节奏控制和风格调性上保持协调一致,避免「各说各话」的割裂感。
所谓多模驱动,是指大语言模型基于任务目标与主播人设生成基础台词,并同步输出视觉与语音的多维标签。这些标签不仅是对语言内容的补充,更是驱动音视频生成系统实现自然、同步、富表现力输出的关键指令。比如,在语音合成阶段,模型利用剧本中的段间标签精细控制不同语段之间语调衔接,同时文本内容也能驱动 TTS 系统实现更细粒度的语调调控。音频合成结果再进一步与视觉标签联动,使视频生成系统能够实现唇动同步、高表现力的动作设计和情绪表达,从而在输出层实现「声、形、意」三模态的统一。
在此基础上,剧本生成还具备动态交互能力。比如 AI 老罗在卖纯牛奶时,有网友问 360 个月的宝宝能不能喝,AI 老罗便以「我 600 个月都能喝,谁还不是个宝宝呢」进行幽默回应,这种回应背后不仅是语言生成,更是基于人设风格、场景上下文、情绪基调等多模信息的综合决策。
在数字人技术逐渐渗透直播、电商、客服等互动场景的过程中,语音合成的自然度正成为决定用户沉浸感与信任度的关键因素。特别是在直播间,观众希望听到的不是生硬的朗诵或机械音,而是一种如同真人主播般富有情绪、节奏自然、具备沟通张力的表达方式。因此,数字人语音的「人味儿」越足,交互的真实感就越强,用户的接受度和互动意愿也随之提高。
然而,传统的语音合成技术往往呈现出字正腔圆但缺乏情感的表达风格,在充满情绪张力的直播场景中,这种过于规整的声音反而显得「出戏」。它无法像人类主播一样,适时展现语调的抑扬顿挫、节奏的快慢变化,也很难根据商品介绍、互动节奏等变化调整情绪状态,尤其是在呼吁用户下单、介绍爆款产品这类关键话术环节,传统 TTS 无法自然表达出情绪递进和感染力,进而影响整个数字人系统的说服力与亲和力。
针对这些现实痛点,百度提出了「文本自控的语音合成」方案,在大语言模型输出剧本之后,负责语音合成的大模型会结合文本内容、主播风格特点,以及对于细粒度韵律特征表示进行统一处理,这一过程中语音模型不仅知道「要说什么」,更知道「要怎么说」,从而在生成语音时自然带出情绪波动与语言节奏,使得语音在内容和表达方式上都更贴近真实人类。
例如,在罗永浩数字人直播间中,主播语音高度还原本尊的音色和语调,甚至在直播节奏中展现出自然的停顿、强调和情绪变化。同时,百度还解决了直播中双人互动的挑战。现实中,主播之间的配合往往包括打断、附和、重复等高频行为,这对语音合成提出了连贯性和互动性的更高要求。为此,百度引入了「对话上下文编码器」,将历史对话与当前对话的信息进行语音合成时的统一推理计算,以此实现「双人配合」的自然过渡。
在数字人直播场景中,形象生成与驱动是当前技术难度最高的环节。首先必须解决多模协同的问题,它涉及多向的信息对齐:剧本对视频表达提出具体要求,TTS 语音又对视频节奏与动作生成形成约束,反过来视频本身还需对语音进行校准,最终需要实现「音、容、话」三者的一致性。
其次,主播在直播中往往伴随着大量手势、动作和表情等「高表现力动作」,它们对于强化用户情绪感染力具有显著作用,因此在视频生成阶段,不仅要忠实复现语言内容,还需对这些高表现力动作进行准确建模与流畅合成。
在场景交互层面,数字人直播还面临「人-物-场」自由交互的复杂性。主播需要与商品、背景和空间布局进行符合物理逻辑的互动,例如望向商品、举起物品或指向展示区等。若缺乏对空间关系的精准理解,极易出现穿模、错位等破坏沉浸感的瑕疵。
此外,直播时长也放大了技术一致性的难题。一场超 6 小时的直播,任何人物形象的波动、商品定位的误差以及动作风格的不一致都会直接拉低观众体验。
为此,百度提出了「高一致性超拟真数字人长视频生成」技术方案,将历史视频数据、剧本脚本、语音信息以及骨骼驱动等多模态信号作为输入,经过多模态视频分析与理解,分别生成具有高表现力的片段、复杂人 - 物 - 场交互片段以及大动作大表情片段,并在长时序上进行统一调度,从而保证语音、口型、表情与动作始终保持高度同步,实现真正的「音、容、话一致」。
在罗永浩数字人直播项目中,这一技术方案得到了集中体现。罗永浩与朱萧木均具强 IP 属性,二者的形象、语言风格、互动节奏都需得到高度还原。同时,整场直播中所涉及的商品种类繁多,体积、位置、用途各异,对人 - 物交互的精度和响应速度提出了更高要求。百度对人物 ID 与商品 ID 进行了独立建模与保持,使得系统能够在长时间内容中持续稳定地控制人物表现与商品指向,避免风格漂移与交互误差,最终实现主播间自然流畅的配合,语言节奏、动作执行和商品展示高度统一的效果。
早在十四年前,移动互联网正值爆发期,「人工智能」仍是实验室里的晦涩概念,百度就把资源投向了一个看不见回报的领域,这一选择在当时显得颇为超前甚至「另类」。
时间给出了答案。ChatGPT 的横空出世掀起生成式 AI 浪潮,百度紧跟每一个关键节点,连续发布重磅大模型成果:从文心 3.0 到文心大模型 4.5,再到融入深度思考能力的 X1 以及升级版 4.5 Turbo,技术体系不断进化,模型的认知深度和生成能力日益增强。
此次罗永浩数字人带货直播,正是文心大模型的一次「最佳实践」。它不仅彰显了百度技术的成熟与前沿,更验证了大模型技术在真实商业场景中的高效与可行。
可以预见,随着深度思考、知识增强、意图理解与多角色交互等关键能力持续跃升,百度的数字人将愈发拟真与智能。这带来的不仅是效率提升,更意味着技术投入带来的商业模式的「无人区」探索和价值重构。
06月12日,湖南张家界上演峰林杂技秀 多国杂技表演者登台献技,凯时国际娱乐网,银河国际真人棋牌,推二八杠绝技,在线日,(乡村行·看振兴)江西南城:“90后”小伙创业记 米粉搭上电商“顺风车”,中特,新蒲京娱乐娱城在线网站,炸金花官方充值,庄6闲7庄增牌吗
06月12日,三亚恢复往返日本航线,正规的买球app排行十佳平台,球探体育手机比分网,澳门威斯人网站,leyu乐鱼平台首页
06月12日3人同日通报被查!金融领域反腐持续明博体育娱乐天博官网APP登录网页版吉祥娱乐网站0251欧洲杯赛事规则
06月12日水利部:一季度全国实施水利项目2.35万个 同比增15.8%优德体育网址翻滚球球官方下载炸金花免费板英亚体育下载官网
06月12日内蒙古首列“本地”国产商品汽车中欧班列启程六合圣旨bwin手机版登录排球比分即时大发购彩大厅登录注册……
06月12日,卡塔尔促成向人质供药协议 以军在汗尤尼斯发动针对性袭击,雷火竞技app,炸金花赢钱的软件app,开心彩app官网下载,澳门皇冠app可靠吗
06月12日,以解决问题为导向 促进广州经济社会高质量发展,yabo22vip电子网投,澳门金沙平台官网网址入口,优博登录,开元棋脾558cc官网
06月12日新疆阿勒泰通往贾登峪道路已抢通 滞留的27名游客已顺利下山AG8国际游戏登录凤凰彩票注册App网上的线在哪玩
06月12日,北京将深化涉案企业合规改革 提升法治化营商环境,开yun体育APP官方下载,欧宝在线试玩,银河在线平台注册,金年会 首页
06月12日,台胞欢聚福建畲乡“二月二”会亲节,赛马会高级波色图,澳门AG真人直播,多宝在哪开户,永利送彩金乐
06月12日,山西朔州连续4年原煤产量超2亿吨,太阳城在线开户,夺宝jdb电子交流,银河国际城游戏,华体汇体育官网入口
06月12日青海湖北岸:生态环境治理加快实施 物种数量稳中有增伟德体育电竞纸牌怎么玩dota2博彩伟德
06月12日天津海事局多举措推动港产城融合发展见实见效365bet体育在线资讯ManBetX万博体育外围千亿平台bet9九州体育下载
06月12日一连五日2024年调解周在港揭幕bt365客户端下载大发网址是多少真人AG是什么游戏注册就送118元
网友称洗澡时被香皂内刀片划伤,女子景区捡到孩子生气大喊贵州普定穿洞遗址人类活动史推至5.5万年前疯狂万人捕鱼高爆版bob综合体育app在线登录欧博在线开户美高梅体育平台
巴萨0-1皇社七连胜终结,珠海航展上沙特大哥请中国人喝咖啡加拿大众议员呼吁将每年二月设为“全国华人传统月”365bet体育在线凯发苹果版六合风采A真人发牌平台
美军派3艘航母奔赴中国周边,凯特王妃已有2个多月未出席活动重磅政策频出 完善基础制度护航房地产发展8590海洋之神登录凤凰彩票登陆可以上下分的捕鱼电玩城下载gpk电子有试玩吗
张颜齐 要你有何用,张韶涵为不吃老本选择精进唱功音乐剧《我和我的雷锋》再登台 在当下弘扬“螺丝钉精神”西甲买球官网凯发k8登录亚新体育娱乐官网体育平台有哪些
体育总局回应袁昊然不当言论,吧友化身黑神话预言家财政部:今年将落实好结构性减税降费政策bbin登录凤凰线上平台乐鱼电竞网站官网大众彩票平台下载
满舒克工作室声明,五一假期这种表情包火了西藏林芝市工布江达县发生3.3级地震 震源深度10千米必威官网西汉姆联宝博官网是多少ag注册网九州体育客户端下载
阎鹤祥脱口秀,F勒布伦横扫雨果摘铜住建部解读构建房地产发展新模式进展手机捕鱼游戏必胜秘诀必威io模块凯时ag旗舰下载四人打麻将