文章摘要
百度近日发布新架构下首个正式纯文本大模型文心5.5 Flash Preview,总参数2800亿,推理速度最高超每秒200token,可完成游戏开发、3D建模、多类办公文件生成、视频创作等任务。目前其API已上线且限时五折,权重将于11月25日开源,后续将推出正式版。

近日,某AI企业推出了一款全新的纯文本大模型——文心5.5 Flash Preview,这是上周开源的基础模型经过首次后训练后的版本,也是该企业新架构下的首个正式模型。

该模型总参数达2800亿,激活参数140亿,支持100万的上下文窗口,推理输出速度最高可达每秒200个token以上。算上本次发布,该企业在一周内接连推出三款模型:11月5日开源基础权重,11月9日公开自动研究系统,11月11日正式推出这款Preview版本。

本次发布的核心要点如下:

  • 模型特性:纯文本MoE架构,总参数280B,激活参数14B;
  • 性能表现:达到可用级别,但相比当前前沿模型仍有明显差距;
  • 推理速度:经过深度优化,最高可达每秒200个token;
  • API服务:已上线相关平台,模型权重将于11月25日开放开源;定价为每百万token输入忙时2元、闲时1元,输出忙时8元、闲时4元,目前限时五折;
  • 部署方式:对应平台模型ID为ernie-5.5-flash-preview,支持自行部署。

官方发布了该模型的测试结果,包含简版和完整的20项测试。在编程相关的Terminal-Bench 4.0测试中,模型得分46.5,排在多个国产模型之前。由于该模型仅支持纯文本输入,相关的图形类测试均采用了纯文本子集进行。

作为纯文本模型,该模型也能完成游戏开发任务。例如其制作的第三人称东方武侠游戏《云岫行》,场景设定在云雾缭绕的张家界石峰与崖顶古寺,模型通过将试玩中发现的问题转化为可测量的代码测试,反复迭代优化,最终仅用11小时就完成了整个游戏的代码编写,其中山脉场景和女侠角色使用了现成的素材包。对于手机小游戏,该模型也能支持多种题材,包括弹幕射击、肉鸽、塔防、卡牌RPG等。

针对3D场景建模,该企业对Blender和CAD工具进行了专项训练,模型可通过文字描述推断物体的形状、比例和空间关系,并用程序化建模生成对应内容。例如,两个由该模型驱动的智能体可在Blender中分别完成机场和飞机的建模,再统一工程的尺度、位置和镜头,完成动画编排与渲染;还能自主检索资料,搭建法隆寺等古建筑群,细化建筑的逐层收分、梁柱支承和屋瓦结构;在影视制作中,可快速生成白模预演场景,用于规划镜头布局;此外,还能生成可编辑的CAD模型,如W16发动机、月球概念车、企业办公塔楼等。

在办公类任务中,该模型可交付可直接使用的各类文件,覆盖40多种类型,包括研究报告、财富规划表、行业分析报告、原创音频等。例如可生成20页的美国AI数据中心电费研究PPT,可修改参数的个人财富规划Excel,24页的自动驾驶对比PDF,以及6分34秒的原创交响乐MP3。

在视频创作领域,该企业面向科普、漫剧等场景搭建了15万多个创作环境,累计生成视频约5300分钟。例如可完成116秒的2D动画短片,如绘制骑自行车的鹈鹕;可根据问题制作科普视频,如“地球如果有环会看到什么”;还能制作75秒的科普视频,讲解特斯拉Roadster的工程原理。

该模型的核心优势之一是高效的推理速度。其MoE架构采用了多独立路由器的设计,相比传统路由器,选择的专家与实际效果的相关性更高;在长上下文处理上,43层中仅6层会逐token处理全部上下文,其余37层将每128个token压缩为一条缓存,大幅减少了KV缓存的占用;解码阶段采用ECHO设计,替换了传统的多token预测模块,让主干最后一层预测更远的token,推理时作为投机解码的草稿模型。此外,该模型的部分推理优化由AI自主完成,相关技术已应用于该模型的推理优化任务中,在多项公开任务中的表现超过了现有公开验证的最好成绩。

文心5.5 Flash Preview是后训练过程中的中间版本,后续还会继续优化,正式版的文心5.5 Flash将在之后推出。API价格方面,每百万token输入在忙时为2元,闲时为1元;输出在忙时为8元,闲时为4元,目前正处于限时五折优惠期。

以上内容不代表本平台立场,仅供读者参考