京东云:要让大模型听见“炮火声”

声明:本文来自于微信公众号 光子星球(ID:xxxxx),作者:吴先之吴坤谚,授权转载发布。

京东云:要让大模型听见“炮火声”

业内关于如何最大限度激发大模型潜力,以及打造“新质生产力”的争论似乎将在今年落下帷幕。眼下,大模型成为 “爆改”千行百业的抓手,让一切相关技术的突破都来得热闹且快速。

不过,大多数突破都只是停留在基础模型层面和浅层应用,我们能看到无数大模型的落地妙想,只是于生产力的本质和商业化程度而言,却与此前大差不差。究其原因在于这些技术性的突破大多停留在Demo阶段,技术产品化难言成熟,以至于有人用“期货”调侃。

比如于年初掀起多模态革命的Sora,这款产品迄今都未曾正式发布。而引爆全球的LLaMA3.1,仍旧是基于Scaling Law的基础模型。就算其为开源派壮了不少声势,但受限于Meta一次性可调用的GPU数量,这个爆点对渴望落地的国内大模型赛道的推动亦有限。

在众多卷基础大模型能力的企业中,我们发现京东云选了不一样的路径。

7月30日,京东云峰会上,京东集团技术..主席、京东云事业部总裁曹鹏提出,通用大模型算力堆起来,企业大模型要靠业务跑出来。供应链是京东跑马大模型前沿技术和产业应用的天然练兵场,当其他企业还在训练大模型或攻坚智能体时,京东内部已经上了“手”。

据了解,过去一段时间中,京东在超100AI场景已经全面铺开大模型应用,近35万京东自有配送员、超23万商家、5万副主任级别以上医生、超2万采销运营、超1万研发人员都在使用,并拿下了大模型时代的首个大规模商业化应用里程碑——京东云言犀数字人。

透过数字人的商业化突破,京东言犀大模型无论是技术能力还是应用落地,都得到了来自大量实际场景专业数据的“喂养”。可以说,本次京东云在峰会上发布的包括言犀数字人3.0..、言犀智能体..以及企业构建大模型全栈服务等产品,不过是其基于深度产业knowhow和供应链场景的水到渠成。

让大模型在产业里先跑起来,数字人吹响前哨

“数字人实际上是诸多技术融合的载体”,京东探索研究院院长、京东科技人工智能业务负责人、IEEE Fellow何晓冬博士提到,文案生成、语音融合、形象渲染、多模态等能力高低都会影响数字人的实际落地情况。

因此,数字人才被视为当下大模型多模态技术落地的诸多场景中,跑得最快,商业化最成熟,且实际应用频率最高的一个。

众所周知,不论是大模型的技术产业适配还是多模态的技术内需,其面对的一大挑战便是需要不同类型的数据对齐,以及围绕同类型的能力需要不同建模。这需要一个标准化的interface作为校验多模态能力以及持续迭代,就是数字人。

而今距离“采销东哥”数字人进入直播间已过去三个多月,一大批大中小商家在此期间入局。一个重要原因是数字人降低了直播电商的门槛。对于零售电商而言,以数字人为代表的AI技术,很大程度上实现降本提效;对于AI而言,零售电商则是一众大模型服务商突破场景壁垒的关键钥匙。

从品类、客单价、场域的不断突破,我们能看见数字人突破场景边界的清晰脉络。无论是大模型能力还是产品化后的AI应用,场景都是最好的试金石。

据了解,京东云言犀数字人上个阶段初步解决了大姿态、交互等贴合实际直播场景中的问题,到目前言犀数字人3.0..已经上线了100+个性化角色,50+特色行业属性场景并以..化形态落地。而转动起场景飞轮的言犀大模型,也在以极快的速度不断解锁新能力,逐渐成长为有情感、个性化的数字人。

语言方面,在不同场景中积累了更多数据,放大了模型参数量,让言犀数字人在零售、金融等领域的长文本理解和推理能力。语音合成方面,超20万小时训练量,让京东数字人音色的自然表现度上有了明显提升,一些带口音的微妙变化都能捕捉到。

京东云言犀技术团队提到,在数字人之间的交互已经可以做到让其表现出聆听状态。聆听姿态让数字人直播从“单口”到“群口”,真人与数字人混播以及多数字人直播将变成可能。此外,言犀数字人大模型有更好的通识理解能力,实现“零样本”数字人生成,这意味着生成新形象,将不再需要预训练。

实际场景又为大模型提供了更精准的数据来源,从而转动京东大模型的数据飞轮,加速应用生长。短短几个约时间,语音合成所需时间从6月份的6秒,缩短到如今的3-5秒左右。

何晓冬博士表示,大模型的核心人机交互介质是智能体、数字人、具身智能分别满足了云、端、线下不同场景的交互需求,共同构建起下一代智能交互的完整触点。

Meta创始人扎克伯格亦在访谈中提到,未来的AI智能体甚至可能会比人类还多,人们会以各种方式与之互动。

智能体、数字人、具身智能是满足不同场景需求,但本质上都是基于同一套大模型“底座”“。借由数字人这项业务单点突破而后全面铺开,在业务中生长与进化,这是京东云独有的产业驱动导向的大模型落地路径。

由点及面,大模型应用全面铺开

“虽然我们面向B端服务,但落脚点却始终在用户体验升级上”,京东云言犀团队认为,数字人B2B2C的底层逻辑让这项技术的应用落地可以被快速复制到京东业务的方方面面,甚至开辟新的业务线,为京东开拓更多AI试验田。

比如,以AI社交为代表的泛娱乐应用固然可以在一定助推甚至是冷启动的情况下,透过年轻化的公域快速裂变,但这类应用的留存率却相对“感人”。工具类应用一定程度上平衡了留存与推荐的权重,然而缺乏快速裂变的能力,也限制了应用本身的场景宽度。

近段时间,一众AI应用层的创业独角兽均被曝寻求收购,很大程度上便源自于此。如用户大量流失的AI社交应用Character.AI,以及无法仅依靠订阅跑通商业模式的AI搜索明星Perplexity。

大模型应用的可靠性,场景和数据飞轮究竟能不能转起来,呈现互为因果的关系。这也是京东认为“企业大模型靠业务跑出来”的底层逻辑。

从数字人这个点来看,电商场景的应用宽度、深度构建了京东大模型的鲁棒性,而不同品类的商详知识、不同行业领域知识、大规模交互数据则完成了数据的互补。这便是应用深度为大模型能力带来的快速跃升。

消费是距离用户最近的场域之一,数字人在零售电商泛场景的锤炼让京东的多模态大模型技术由点及面成为可能——除电商直播场景外,京东云言犀数字人还在文旅、金融、智能服务、政务咨询等更广泛的场景应用落地,通过与亿级用户智能交互,带来下一代交互体验。

比较典型的案例是,京东数字人的多模态情感识别能力顺畅地延展到了客服场景。我们自京东方面了解到,金融业务目前已有超过半数的用户在客服场景由数字人接待,迄今已服务超过500万用户,24小时问题解决率高达85%,满意度超90%。

高质量的垂域知识也让京东加快了云端交互为主的智能体的产品化步伐。本次峰会上正式发布了新一代一站式 AI Agent 开发..——言犀智能体..。..已接入数十个大模型,用户可以低成本快速搭建基于 AI 模型的各类智能体。如今,活跃在京东内部的智能体超3300个,..还沉淀了100多个行业解决方案模版。

从产业中来,到产业中去。业务与问题驱动的京东言犀大模型无意间加速了技术迭代的进度,这反倒催生了以往未被人注意到的需求。线下文旅场景,基于京东大模型能力的山西大同花木兰数字人、江西新余数字人、云南楚雄数字人小彝妹以展示大屏、短视频等终端为载体,丰富游客体验并提速景区商业化;企业侧,不少大型企业也萌生了定制数十万员工数字人形象的需求。

基于大模型这个“大脑”,多模态技术让用户的交互界面的变革悄然发生。

“从文字走向视频化,再走向行业。我们验证了数字人大规模商业化的突破口,形成了行业标杆的效应”,被问及数字人乃至京东大模型的应用前景时,京东云言犀团队难掩兴奋。

毕竟,长期让规模跑在商业化前头的大模型赛道,可算有了能让两者并驾齐驱的方法论。

边用边训,转动产业应用技术飞轮

越来越多的大模型应用,正在京东供应链上生长,并于京东内部超100个AI场景全面铺开。我们可以随意像报菜名一样拉出智能体..、总裁数字人、智能客服、AI外呼,还是面向商家的商家客服京小智、AIGC商品图生成乃至京东供应链之内小哥终端智能助手、编程助手Joycoder、康康健康助手等一系列应用。

不过,应用只是大模型服务商能力输出的前端,如何授人以渔才是重头戏。包括训练、精调、压缩、拉升等在内的大模型能力构建才是AIGC时代下,新质生产力的内生力量。

京东有别于其他模型服务商的不同在于,其将夯实基座模型作为过程,目的是从基础设施到Agent应用,构建全场景的大模型服务能力,持续推动大模型落地产业,输出供应链的行业knowhow

就像上半年卷疯了的长文本,该技术路径是大模型接受大量文本数据的输入后,将信息处理并分析推理,最终按不同应用场景和需求输出多种多样的结果。

京东透过应用,让大模型这个新质生产力在产业内跑起来是输入,那么其对外开放的企业模型构建能力便是输出。

我们了解到,京东的大模型技术在产品化前,都会率先在内部完全跑通。尤其是业已为其所..化的数字人与智能体两大人机交互介质,无论是数字人的生成还是智能体的构建,京东都做到了让零经验的运营们抛开算法部门独立搭建。

强易用性、“零”样本、“零”幻觉是京东大模型技术栈产品化的先决条件——可靠性是前提,易用性是基础。

如果我们再向底层基建下探,就能发现言犀大模型技术栈中与产业完全适配的关键,在于其大模型渐进式拉升与压缩技术。好比科幻电影《黑客帝国》中的Neo,是架构师(Architect)眼中的“唯一”。

去年末起,为了捅破大模型与产业间的那层窗户纸,大模型的拉升与压缩能力成为AI军备竞赛的赛点。这本质上是针对企业关于大模型的通用能力、垂域能力、响应时间等不同需求的一种大模型“场景适配”。更重要的是,京东在基础的拉升与压缩之上,还做到了同步灌注垂域知识,甚至实现领域数据自进化并注入模型中。

海量垂域数据的灌输必将产生过拟合,好比一个学生,平时做习题做得很好,考试成绩却很差。为了让大模型能“举一反三”,只好不断增加训练集,然而这又将导向费时费力的人工标注。如何以较低成本解决过拟合问题,是捅破前述窗户纸的关键。

自技术路径上看,京东的做法与此前的深度学习框架fast.ai异曲同工。只不过而fast.ai是在数据层,透过渐进式图像分类数据集,而京东则是在模型层发力。

一般来说,多模态大模型相对更注重全局理解,垂类、细颗粒度理解与情感识别是“短板”。京东之所以能在数字人、智能体等应用上率先取得商业化的突破,根源便在于“边训边用”,让京东同时转起了产业和技术的飞轮。

在寻找新质生产力的历史叙事中,京东云凭借产业供应链深度,已然率先跑通了应用乃至基础设施构建的全链路。随着面向公众的言犀智能体..与言犀数字人3.0..的正式发布,来自产业的knowhow又将触及更广阔的场景,打造更全面的生态。

角逐基座模型、Demo与某项技术之巅,或许会将行业引入垃圾时间,更多创新与确定性的未来,诞生于产业之中。

标签:

最新文章

  1. 北体大新生拔河拔断绳子 网友:展现惊人力量2024-09-11
  2. 江西新余上空现巨型蘑菇云:持续约一个多小时 逐渐消散2024-09-11
  3. 阳澄湖大闸蟹中秋节大迟到:预计九月下旬开捕2024-09-11
  4. 华为三折叠Mate XT被炒9万起 线下用户排长龙等买:手机被罩着 想摸预约2024-09-11
  5. “支小宝”出世,AI生活服务听起来很美2024-09-11
  6. iPhone 16最佳伴侣!Apple Watch S10开启预购:2999元起2024-09-11
  7. A18芯片才是苹果的杀手锏,为AI手机而生的移动芯片?2024-09-11
  8. 猫卡车里保时捷车主果断拆车救猫 网友对车主善举表示赞赏2024-09-11
  9. iPhone 16/Pro系列搭载新一代超瓷晶面板:硬度较初代提升50%2024-09-11
  10. 有爱一幕!苹果店员工到华为店观看新品发布会 网友称三折叠比苹果16香2024-09-11
  11. 「这个男人能嫁吗」AI预测婚姻相亲适配度网站地址入口2024-09-11
  12. 你的拖延症给丰巢贡献了超8亿营收:家门口的丰巢要上市了2024-09-11
  13. 小米米家体脂秤S400 Pro开启众筹:179元 自带3.5英寸彩屏2024-09-11
  14. 小猫卡车里保时捷车主果断拆车救猫 网友:怪不得能开保时捷2024-09-11
  15. AI毕业论文系统:引爆开学季!(开源+无限SaaS多开)2024-09-11
  16. 有渠道商称38万卖出华为新手机:声称提供直飞送货服务2024-09-11
  17. 三证已齐全!vivo新一代顶级旗舰X200蓄势待发:将搭载最新蓝科技2024-09-11
  18. 滴滴:今年上半年垫付1.29亿元给司机 均为乘客未支付车费2024-09-11
  19. 一加13是安卓性能王者!李杰:能跟苹果A18 Pro掰手腕2024-09-11
  20. 苹果下架停售Lightning接口AirPods Pro 2:仅保留USB-C款 售价1899元2024-09-11
  21. 必须展开使用!华为Mate XT非凡大师天通卫星通信仅在三屏态支持2024-09-11
  22. 马斯克嘲讽iPhone16无新意:研发费用500亿美元 变化却微小2024-09-11
  23. 索尼PS5Pro正式公布:美版定价699美元 支持PSSR超分辨率技术2024-09-11
  24. 19999元起售!华为Mate XT非凡大师三折叠屏幕刷新率90Hz2024-09-11
  25. iPhone16跑分出炉:A18芯片单核性能优势明显2024-09-11
  26. 抖音医疗新规11月1日生效:严打借同质化等虚假内容导流获利2024-09-11
  27. 工具起家、探索合成,又一家北京厂商的Merge3有望月流水过千万?2024-09-11
  28. 当五毛钱的乌龟,成为“超级主播”2024-09-11
  29. 大厂硬件梦:字节、腾讯“向首”,华为、小米“向手”2024-09-11
  30. 200美元的ChatGPT Pro正式上线,聪明N倍的新模型草莓要来了。2024-09-11
徒钰家
徒钰家 微信号:徒钰家 扫描二维码关注公众号
优质自媒体

小编推荐

  1. 1 【关注·学习】深刻把握进一步全面深化改革的主题——二论学习贯彻党的二十届三中全会精神

    新华社北京7月21日电 党的二十届三中全会强调,必需自发把改造摆在加倍凸起位置,紧紧环绕推进中国式现代化进一步周全深化改造。进修贯彻全会

  2. 2 参考文献类型(常用的参考文献类型)

    大家好,小豪今天来为大家解答参考文献类型以下问题,常用的参考文献类型很多人还不知道,现在让我们一起来看看吧!1、参考文献通常包括以下

  3. 3 360邮箱(360邮箱登陆入口)

    大家好,小乐今天来为大家解答360邮箱以下问题,360邮箱登陆入口很多人还不知道,现在让我们一起来看看吧!1、首先打开360安全浏览器。2、在36

  4. 4 乒乓球比赛的双打规则

    奥运会接近尾声,乒乓球整体赛事最后决赛光降,双打竞赛的划定相对复杂,‌这里简洁介绍一下其划定,以便更好的观战竞赛。从以下几个步

  5. 5 团队管理计划书怎么写(团队管理计划怎么写)

    大家好,小娟今天来为大家解答团队管理计划书怎么写以下问题,团队管理计划怎么写很多人还不知道,现在让我们一起来看看吧!1、问题一:团队

  6. 6 深圳奥特莱斯哪个最好知道(深圳奥特莱斯那家好)

    大家好,小丽今天来为大家解答深圳奥特莱斯哪个最好知道以下问题,深圳奥特莱斯那家好很多人还不知道,现在让我们一起来看看吧!1、深圳的奥

  7. 7 轩字五行属什么(萱字五行属什么)

    大家好,小娟今天来为大家解答轩字五行属什么以下问题,萱字五行属什么很多人还不知道,现在让我们一起来看看吧!1、轩五行:土。2、轩字五行

  8. 8 沸点医药(沸点医药视频1168网治多病)

    大家好,小伟今天来为大家解答沸点医药以下问题,沸点医药视频1168网治多病很多人还不知道,现在让我们一起来看看吧!1、当你浏览沸点分类网时

  9. 9 社会关注 | 今日处暑:袅袅秋风起,最美人间秋

    8月22日22点54分48秒将迎来处暑骨气。处暑秋色,最丽人间!瞻仰最高远的天,欣赏最澹泊的云,注视最柔情的水,聆听最美妙的雨……六合有大美而

  10. 10 剪力墙图片(剪力墙图片cad图示)

    大家好,小豪今天来为大家解答剪力墙图片以下问题,剪力墙图片cad图示很多人还不知道,现在让我们一起来看看吧!1、短肢剪力墙,指的是截面厚

Copyright 2024 优质自媒体,让大家了解更多图文资讯!