电信领域AI小模型选型评测：参数规模与落地实操指南

在电信领域部署生成式AI模型时，合理选型与评测是落地的关键环节。针对同时需要Agent功能与问答能力的场景，可从模型参数规模入手逐步验证。

对于参数规模较小的模型（如3B到4B级别），可先验证其意图识别、任务路由、字段抽取等基础能力，这类模型不适合预设复杂跨文档推理或长链规划的需求。

7B到9B级别的模型可作为RAG问答、单步及少量多步工具调用的首个基线，不过涉及复杂网络变更的场景需单独评估控制。

14B左右的模型可用于技术理解、工具参数与证据整合的质量对照，此时需测算该规模模型带来的收益是否值得额外的成本投入。

27B到32B及以上的大模型，可作为处理困难样本、复杂Agent任务的候选对照，选型时需同时测试其吞吐、时延、并发与显存占用等多项指标。

显存资源的规划需先明确权重存储需求，再预留运行空间。对于FP16或BF16格式的纯权重，理想估算为每个参数占用2字节，因此8B参数模型约需16GB显存，9B约18GB，14B约28GB。若采用四位权重量化，理论存储量可降至四分之一，但实际部署时还需考虑量化元数据、KV缓存、模型附加组件与框架开销，长上下文处理和批处理操作也会增加显存占用。因此，14B模型的28GB权重，不能直接推断32GB显卡即可满足目标并发需求，显存预算需结合实际输入长度与负载情况验证。另外，混合专家模型需区分总参数与每token激活参数，不能简单按总参数估算部署资源，具体含义可参考相关模型的技术说明，且参数量也无法直接换算为吞吐或并发承诺。

针对问答场景，可先接入检索增强生成系统，观察错误类型。电信领域的标准、操作规程、设备手册等文档会持续更新，第一版可设计如下处理流程：先识别用户问题对应的任务类型与访问权限，再检索经授权的电信领域文档，随后按版本、日期或适用范围整理相关证据，最后由小模型生成带来源标注的回答，若证据不足则明确说明“不确定”。知识库需保留文档的来源、版本、日期、适用范围与访问权限信息，同一参数可能受厂商、网络制式或软件版本限制，回答需引用实际命中的材料。模型标称支持长上下文，并不代表将全部规范一次性塞入更可靠。RAG接入后，仍需测试无结果、文档过期或冲突、仅部分证据时的表现，观察模型能否正确拒答、说明冲突并保留不确定性。若检索证据正确但模型仍出现实体抽取不稳、格式不合格、特定参数填错等问题，可考虑使用审查过的指令样本进行微调，并与原模型对照，以此定位微调带来的收益。

Agent功能可从只读接口开始部署。先让模型判断是直接回答、检索，还是调用只读接口获取最新数据。例如，可设计查询网络告警摘要的只读接口，模型需能理解接口的功能、参数要求，应用层负责校验身份、资源权限与参数范围，模型仅需解释工具返回的数据。相关技术文档可帮助接通调用，但JSON格式仅为基础要求，选对接口、填对参数与获得授权需分别验证。涉及配置下发、工单关闭、策略调整等操作时，需按操作影响范围规划权限、动作预览、必要审批、幂等保护、审计与失败回滚机制。第一阶段可先实现读取、诊断建议与操作计划草稿功能，便于在不直接修改生产系统的条件下评估Agent能力。

模型选型需用统一任务进行对比测试。可准备脱敏或合成任务，作为起步示例的任务数量可根据实际情况调整，无需严格遵循行业标准。评测集可分为多个维度：术语与规范问答（测试正确性、引用支持、版本识别）、多文档排障问答（测试排查顺序、证据冲突处理、合理拒答）、单步工具调用（测试工具选择、参数完整性、JSON合法性、权限条件）、多步Agent流程（测试调用顺序、失败恢复、无越权动作）、特殊场景处理（无答案、越权、过期资料，测试拒答准确率与信息泄漏防护）。用户请求进入评测前，需完成敏感数据审批、访问控制与脱敏处理。对比模型时需固定文档版本、检索管线、工具列表、上下文预算与可接受的资源配置，加入明确反例。第一轮可对比7B-9B与14B模型在问答及只读Agent任务上的成功率，失败时需分别记录失败原因：检索未找到、模型理解错误、工具选错、工具执行失败或权限阻止。第二轮需按接近真实的输入长度与并发情况，测试p50/p95时延、请求成功率、GPU显存、实际吞吐、超时与恢复能力。第一版系统可由8B-9B模型、受控文档检索、少量只读工具、权限校验与评测日志组成，回答统一标注来源，不确定或高风险请求需交由人工复核。当小模型达到验收要求后，可进一步对比增加模型规模带来的质量提升与成本增加，若错误集中在长链推理与多步执行，可保留大模型处理困难请求；若错误主要为检索或参数格式问题，可先修复对应环节，再决定是否引入更大规模模型。

相关参考资料可参考ITU-T发布的电信生成式AI技术报告，以及Qwen模型的相关技术文档等公开资料，选型与评测数量为起步建议，尚无现场实测结果。