Harness 与运行时2026-04-08
Agent Traces
定义
Agent Trace(代理执行轨迹)是一次 Agent 运行的完整结构化记录:它串起所有用户请求、模型输入输出、工具调用、中间状态变化与最终结果。Trace 不是"日志"的美化版——它是让 Agent 系统可以被评估、被调试、被用来改进自身的核心数据资产。
要点
- Trace 是一切持续学习的起点:无论是训练模型、改进 harness 还是更新 context,流程都从"先把 trace 拉出来"开始
- 三种用法对应 三层持续学习:
- 喂给训练流程 → 模型层改进
- 喂给 coding agent 读取 → harness 层改进(Meta-Harness 模式)
- 喂给离线 dreaming 或在线 memory 更新 → context 层改进
- 为什么要结构化:纯文本日志难以按 step 重放、难以聚合统计;trace 通常是嵌套 JSON,每一步都有 input / output / metadata
- 观测性基础设施:LangSmith、Langfuse、Phoenix 这类工具本质是 trace 收集 + 检索 + 评估的平台
- Trace 是新时代的"点击流":就像 web 产品迭代靠埋点数据,Agent 产品迭代靠 trace
示例
- LangSmith trace 视图里可以看到每一步工具调用的完整 request/response,支持"选一段 → 生成 eval dataset"
- Deep Agents 就是用 LangSmith 收集 trace → 让 coding agent 读 trace → 改 harness 代码的方式在 terminal bench 上持续改进的
相关概念
参考资料
- Harrison Chase, Continual learning for AI agents (2026-04-05)
- LangSmith Observability Concepts
被这些概念引用
来自本站知识库 · 全部概念