文章摘要
针对AI智能体开发中常见的延迟高、Token消耗大、显存不足等工程瓶颈,哈佛大学今秋开设研究生级课程CS2680《现代AI系统:智能体与系统优化》,以Mads智能体系统为主线分两阶段授课,不设期末考试,通过5个递进式作业考核,有明确先修要求,目前课件、大纲等资料已全部公开,可供相关技术人员参考学习。

开发AI智能体的过程中,从输入第一句提示词到物理显卡输出最终内容,中间涉及多层技术链路。很多开发者在构建复杂智能体系统时会遇到瓶颈,这些瓶颈并非来自提示词设计的优劣,而是真实工程场景中的现实问题:不可控的延迟、高昂的Token消耗、长程规划能力不足,以及多轮交互下快速耗尽的显存。想要打造可靠且高性能的智能体,仅掌握上层框架或底层CUDA算子都不够,需要从整体技术栈出发进行系统性优化。

今年秋季,哈佛大学开设了一门聚焦智能体系统优化的硬核研究生课程,课程编号为CS2680,名称为《现代AI系统:智能体与系统优化》。该课程的核心特色在于以名为Mads的智能体系统为贯穿主线,将14周的学习内容清晰划分为两大阶段,避免了零散知识点的堆砌。

课程前半程(第1至7周)聚焦智能体的设计与评估,从Claude代码工具的运行机制切入,依次讲解多智能体协作、上下文与工具管理(ReAct框架)、长期记忆机制(记忆增强GPT)、评测体系,以及智能体开发中的成本与性能权衡。后半程(第8至14周)则深入底层推理系统,从GPU与CUDA基础出发,逐层拆解批处理调度、分页注意力技术、投机推理、KV缓存优化与量化压缩,最终落脚到智能体请求调度与负载均衡的实践。

这门课程不设置期末考试,而是通过5个环环相扣的作业,引导学习者从上层应用一直深入到底层推理引擎:

1. Mads-Lens(搭建可视化监控台,占比10%):基于Claude代码工具开发Web前端,实时展示智能体运行轨迹,包括工具调用的入参与返回结果、派生子智能体的树状结构、报错定位,以及每次调用的Token消耗与成本统计。

2. Mads-Loop(手写核心运行时,占比10%):脱离现成客户端,围绕模型API实现自定义智能体运行时,涵盖结构化工具调用、上下文滑动窗口管理、报错重试与退出判定,需通过隐藏测试集的容错性测试。

3. Mads-Opt(压榨成本与延迟,占比20%):在调用商业API的前提下进行端到端优化,在保持任务成功率的基础上,减少多余Token消耗、将简单任务分流至低成本小模型、实现工具并发调用并重构上下文,最终撰写技术复盘博客。

4. Mads-Serve(接管本地推理引擎,占比20%):替代外部商业API,学生将获得独立GPU(RTX PRO 4500,32GB显存),需在硬件上部署开源模型,将自定义智能体接入本地推理服务,通过优化批处理调度与KV缓存复用解决显存与排队瓶颈,并参与班级实时排名。

5. Mads-Stack(全栈解封打榜,占比10%):放开上层智能体架构、开源模型选型与底层推理内核的修改权限,统一通过终端基准测试2.0评测,跑过基线即可获得基础分,前26项任务的综合排名还会有额外加分。

这是一门研究生级别的系统课程,不适合零基础学习者。官方要求完成过计算机系统导论课程(CS61)以及至少一门研究生级别的系统课程,且需熟练掌握Python与PyTorch。课程的所有课件幻灯片均已按周次公开,海外技术社区也推出了针对该课程的逐讲视频拆解,适合配合课件同步学习。

在大模型时代,智能体的开发已从单纯比拼提示词设计,转向智能体架构与推理基础设施协同优化的深水区。无论你正在开发智能体应用,还是搭建模型推理服务,这门课程所呈现的工程演进路线,都值得每一位技术人员深入研读。目前课程主页的教学日历、课件与论文清单均可自由访问,建议收藏学习。

以上内容不代表本平台立场,仅供读者参考