AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

10月1日消息，AMD发布了自己的首个小语言模型(SLM)，名为AMD-135M”。

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。

AMD-135小模型隶属于Llama家族，有两个版本：

一是基础型AMD-Llama-135M”，拥有多达6700亿个token，在八块Instinct MIM250 64GB加速器上训练了六天。

二是延伸型AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。

创建与部署流程

它使用了一种名为推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。

这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。

AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。

比如在MI250加速器上，性能可提升最多约2.8倍，锐龙AI CPU上可提升最多约3.88倍，锐龙AI NPU上可提升最多约2.98倍。

推测解码

AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。

按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

标签：
  1. 上一篇：锐龙7 9800X3D缓存不变还是104MB：频率大涨！
  2. 下一篇：稳居主流纯电前三！广汽埃安汽车9月销量35780辆

最新文章

  1. 特斯拉发布Robotaxi演示视频：一键召唤 车辆可24小时不间断运行2024-10-10
  2. 实体“贾维斯” vivo发布PhoneGPT：可自动打电话定餐厅2024-10-10
  3. 创历史！vivo连续15个季度国内国产手机销量第一：华为小米都卖不过它2024-10-10
  4. 董宇辉回应讲解居里夫人时口误：已及时纠正 人非圣贤孰能无过2024-10-10
  5. 互联网档案馆遭遇黑客攻击，3100 万用户信息泄露！2024-10-10
  6. 一手体验传说中的豆包AI耳机，我觉得这才是最酷的未来。2024-10-10
  7. 年薪最高近百万！小鹏重金扩充Robotaxi团队：须有全球一线公司任职经验2024-10-10
  8. 180万跑分远超高通竞品！联发科天玑8400现身：小米有望首发2024-10-10
  9. 百度地图宣布上线鸿蒙智行车辆：问界M5增程、问界M7增程首批上线2024-10-10
  10. 刚从理想离职：前iQOO产品经理宋紫薇现身vivo开发者大会2024-10-10
  11. 快手双11购物节正式开启预售 “抽免单”活动已上线2024-10-10
  12. 博主240头羊被烧死：抚养6孩成难题 十多分钟内就被火焰吞噬2024-10-10
  13. 东北雨哥回应蹭流量：天生的 并非有意模仿2024-10-10
  14. GR-2登场！ByteDance Research提出机器人大模型，具备世界建模和强大泛化能力2024-10-10
  15. 对话yoyo | 小红书万粉博主如何做到月入五位数？2024-10-10
  16. 2天一充告别续航焦虑！荣耀X60系列首次搭载6600mAh青海湖电池2024-10-10
  17. 00后开户投资：进场后见不得绿色 甚至利用AI获取市场信息2024-10-10
  18. 游戏+文旅彻底出圈，下一步该怎么走？2024-10-10
  19. 花几万给宠物办葬礼，年轻人图什么2024-10-10
  20. 史上最长双十一来了！今年电商购物节10月14日开启：提前10天2024-10-10
  21. 2024京东双11活动时间公布： 10 月 14 日晚 8 点提前开始2024-10-10
  22. 雷军亲自澄清“雷军骂友商”名场面：被网上断章取义误导2024-10-10
  23. 哪些AI产品，真的有人在用？2024-10-10
  24. 杀疯了！诺贝尔又把化学奖颁给AI大模型，谷歌成最大赢家2024-10-10
  25. 千万粉丝大蓝，街头股神上海爷叔，能否爱在深秋？2024-10-10
  26. 出海只卷价格没有赢家，直达用户内心才是出路2024-10-10
  27. “洋萝卜”上路，“土萝卜”跑向全球2024-10-10
  28. 抖音神话还在上演，一天涨粉百万，又一网红在抖音爆火2024-10-10
  29. 苹果最贵iPad遇冷！曝iPad Pro出货量下调：需求低于预期2024-10-10
  30. 影视飓风视频下架引热议 爱奇艺客服回应：会安排专员核实2024-10-10
酆奕楚
酆奕楚 微信号：酆奕楚 扫描二维码关注公众号
优质自媒体

小编推荐

  1. 1 关于冥王星早餐的介绍（冥王星时刻的含义）

    大家好，小丽今天来为大家解答关于冥王星早餐的介绍以下问题，冥王星时刻的含义很多人还不知道，现在让我们一起来看看吧！1、《冥王星早餐》

  2. 2 吊丝男是什么意思（吊丝的意思）

    大家好，小娟今天来为大家解答吊丝男是什么意思以下问题，吊丝的意思很多人还不知道，现在让我们一起来看看吧！1、屌丝男：主要是指大多出身

  3. 3 八连杀歌词完整版（八连杀歌词歌曲）

    大家好，小娟今天来为大家解答八连杀歌词完整版以下问题，八连杀歌词歌曲很多人还不知道，现在让我们一起来看看吧！1、歌名：《八连杀》歌手

  4. 4 温州有几个动车站（温州所有的动车站）

    大家好，小豪今天来为大家解答温州有几个动车站以下问题，温州所有的动车站很多人还不知道，现在让我们一起来看看吧！1、温州共有三个动车站

  5. 5 大麦若叶青汁哪个牌子好（大麦若叶青汁哪款好）

    大家好，小伟今天来为大家解答大麦若叶青汁哪个牌子好以下问题，大麦若叶青汁哪款好很多人还不知道，现在让我们一起来看看吧！1、大麦若叶青

  6. 6 发酵乳制品（发酵乳制品有哪些食品）

    大家好，小美今天来为大家解答发酵乳制品以下问题，发酵乳制品有哪些食品很多人还不知道，现在让我们一起来看看吧！1、发酵乳和酸奶的区别

  7. 7 掘金宝（掘金宝）

    大家好，小美今天来为大家解答掘金宝以下问题，掘金宝很多人还不知道，现在让我们一起来看看吧！1、掘金宝挖的是数字资产。2、掘金宝里边的视

  8. 8 沙巴天气下雨（沙巴气温）

    大家好，小丽今天来为大家解答沙巴天气下雨以下问题，沙巴气温很多人还不知道，现在让我们一起来看看吧！1、沙巴地处热带，常年温度在23～3

  9. 9 金相显微镜价格（金相显微镜）

    大家好，小豪今天来为大家解答金相显微镜价格以下问题，金相显微镜很多人还不知道，现在让我们一起来看看吧！1、进口金相显微镜的价格因品牌

  10. 10 明星演唱会门票在哪里买（明星演唱会门票在哪里买最容易抢到）

    大家好，小伟今天来为大家解答明星演唱会门票在哪里买以下问题，明星演唱会门票在哪里买最容易抢到很多人还不知道，现在让我们一起来看看吧

Copyright 2024 优质自媒体，让大家了解更多图文资讯！