gongwenxin 1901cf611e 集成
2025-07-24 17:22:36 +08:00

3.1 KiB
Raw Blame History

产品上下文

问题陈述:传统测试框架的“天花板”

随着 API 数量的增多和合规性规则日益复杂,我们现有的、基于代码的合规性测试框架正面临一个难以突破的“天花板”。

  1. 僵化与脆弱: 每当出现一个新的合规规则,我们就必须编写一个新的、硬编码的测试用例。这种紧耦合的设计使得框架越来越臃肿,修改一处就可能引发意想不到的连锁反应。
  2. 扩展性差: 添加一种新的测试能力(比如,集成一个新的静态分析工具)需要深入修改核心的测试编排器逻辑。这个过程不仅耗时,而且对开发人员的水平要求很高,阻碍了社区贡献和团队协作。
  3. 可维护性噩梦: 测试逻辑、工具调用、报告生成等所有功能都混杂在一起,使得代码难以理解和维护。排查一个简单的 bug 可能需要在多个模块之间来回跳转,心智负担极重。
  4. 智能程度低: 传统框架只能执行预先定义好的、线性的测试路径。它无法理解规则的“意图”,也无法在遇到预期外情况时进行动态调整或探索性测试。

解决方案:一个“会思考”的测试平台

我们提出的基于 MCP 的 AI Agent 框架,旨在从根本上解决上述问题,将我们的测试工具从一个死板的“执行器”升级为一个会思考、可扩展的“平台”。

  1. 从“硬编码”到“软编排”: 我们不再编写固定的测试流程。取而代之的是,我们给 Agent 一个目标“验证这个API是否符合这条规则”然后由 Agent 自主地、动态地编排和调用一系列原子化的工具来达成这个目标。这种灵活性是革命性的。
  2. 无限的扩展能力: 想要增加一个新的测试能力?非常简单,只需开发一个独立的、符合 MCP 规范的工具 Server 即可。这个新工具会自动被 Agent 发现并使用,完全不需要修改 Host 或 Client 的核心代码。这为框架的生态发展打开了无限可能。
  3. 清晰的关注点分离: Host 只关心“流程”Client 只关心“思考”Server 只关心“执行”。这种架构上的清晰性使得每个组件都变得简单、可独立开发和测试,极大地降低了维护成本。
  4. 涌现的智能: Agent 不仅能执行已知的测试,未来还有可能通过推理,发现规则之间隐藏的关联,或者设计出人类工程师没有想到的测试路径,从而找到更深层次的 bug。

用户体验目标

  • 对于规则制定者: 他们可以用更接近自然语言的方式来定义合规性规则,而无需关心具体的测试代码实现。
  • 对于工具开发者: 他们可以轻松地将自己的工具(如静态扫描器、安全检查器等)封装成 MCP Server无缝集成到我们的测试生态中。
  • 对于测试工程师: 他们将得到一个高度自动化且结果可信、过程透明的测试伙伴,能将他们从繁琐的脚本编写中解放出来,专注于更有创造性的测试策略分析。