文章摘要

近期,专业信息服务领域的头部企业推出了全新的专属大语言模型系列,该模型针对法律、金融、税务等专业领域优化,能够比通用大模型提供更准确、更完整的领域相关回答。

这款名为Thomson的模型系列基于Qwen模型架构开发,通过定制化的数据工程和重新训练流程打造。它将首先部署在企业现有产品CoCounsel Legal中,这款工具主要用于法律文档的研究、分析和起草工作,后续还将逐步拓展到企业的其他产品线中,具体上线时间尚未公布。

产品核心规格与落地计划

从核心能力来看,该系列支持最长262000token的文本输入,输出形式为纯文本;采用专家混合架构的Transformer模型,基础版本参数规模达3970亿,每个token仅激活其中170亿参数。在专业领域性能表现突出,Large版本在税务、法律和新闻内容的完整性与事实性上,小幅领先GPT-5.4和Claude Sonnet5,在开放网络内容的事实性评测中比同类模型高出约15分;Small版本则同样优于Gemma4-31B和Claude Haiku4.5。

该模型仅面向企业客户提供服务,其中Large版本为专有模型,而350亿参数的Small版本将作为开源权重模型在Hugging Face平台发布,仅供学术和非商业用途使用,具体的产品定价尚未对外披露。

技术实现细节

研发团队以经过指令微调的开源模型Qwen3.5-397B-A17B为基础构建Large版本,采用了持续学习的训练方案,结合全权重中期训练和微调流程,并在企业专属的大型专业语料库子集上完成训练。根据企业公开的信息,该模型三个月的总训练成本达到4000万美元。

为了让模型更好适配企业的风格和价值观,包括新闻客观性要求,研发团队通过直接偏好优化方法将模型对齐到一套开源的准则框架,这套框架可以开放给其他类似项目进行适配和调整。

为了强化领域专业能力,企业联合合作伙伴从19万亿token的候选数据集中筛选出2000亿token作为中期训练数据集,训练数据主要包含三类:精选的专有文档,如新闻、监管文件、判例法和合同;专业任务的合成数据对;以及经过挑选的通用能力训练材料。

在最终训练阶段,团队再次通过直接偏好优化完成模型对齐,提升了智能体式深度研究的准确性和效率,同时使用组序列策略优化来管理上下文压缩和文档缓存,避免上下文窗口过载或触发冗余的API调用。Small版本的Thomson则采用了类似的训练流程,基座模型为Qwen3.6-35B。

企业团队还表示,未来的Thomson版本可能会更换基座模型,例如考虑使用其他高性能基座,同时训练数据集的规模也会比当前使用的语料库扩大10%以上。

市场竞争与落地场景

从市场背景来看,该企业长期以来就在面向法律、金融专业人士和政府机构的产品中应用AI技术,而Thomson是其首款自研的大语言模型产品。当前企业正面临双重竞争压力:一方面是新兴AI原生专业服务公司的冲击,另一方面则是通用大模型厂商推出的通用产品的替代威胁。

相比其他聚焦法律领域的专业模型,Thomson的覆盖范围更广,涵盖了新闻、商业、税务和金融等多个领域,不过在部分特定的法律基准测试中的表现聚焦度稍低。

CoCounsel Legal作为企业的现有AI助手产品,能够利用专有信息和用户自有文档完成法律研究、文档对比、事件时间线创建等任务,目前该产品的客户规模已经超过百万。Thomson将作为该产品部分功能的底层模型,其余功能仍将依赖其他专有模型。

产品核心优势

研发团队认为,Thomson代表了一种企业级的主权AI方案,区别于国家层面的主权AI。企业无需将敏感数据交给第三方AI公司,也不受限于第三方的基础设施和数据保留政策,客户可以在自有硬件上运行该模型,确保敏感数据完全留存于本地环境。

同时,依托该模型的中期训练方法,客户还可以在自有私有数据上进一步微调模型,无需承担高额的预训练成本,也不必使用成本较低但效果有限的轻量级微调方案。

行业观察

从行业视角来看,模型定制化仍是AI应用领域的重要发展方向,开源权重模型的普及也为团队开展相关试验提供了良好基础。不过对于这类专业领域的AI产品来说,厂商仍需要向客户证明,尽管性能提升幅度有限,其产品依然具备足够的价值来匹配对应的价格。

以上内容不代表本平台立场,仅供读者参考