更新memory
This commit is contained in:
gongwenxin
parent
3d8b83e992
commit
38cfb67325
@ -2,7 +2,7 @@
|
||||
|
||||
## 当前工作焦点
|
||||
|
||||
我们正在维护和改进DDMS合规性测试工具，该工具用于自动化API合规性测试。目前系统已经具备基本功能，支持通过Web界面和命令行方式使用。用户可以提供API规范文件（YAPI或Swagger格式），指定目标服务的Base URL，并配置自定义测试用例目录和报告输出位置等参数。
|
||||
我们正在维护和改进DDMS合规性测试工具，该工具用于自动化API合规性测试。目前系统已经具备基本功能，支持通过Web界面和命令行方式使用。用户可以提供API规范文件（YAPI或Swagger格式），指定目标服务的Base URL，并配置自定义测试用例目录和报告输出位置等参数。最近我们把系统进行了重构，将测试执行与历史记录查看拆分为两个独立的应用程序。
|
||||
|
||||
### 优先任务
|
||||
1. **功能完善**：确保所有核心功能正常工作，包括API规范解析、测试用例执行和报告生成。
|
||||
@ -14,14 +14,19 @@
|
||||
## 最近变更
|
||||
|
||||
### 代码变更
|
||||
- **系统架构重构**：将原本集成在一起的测试执行和报告查看功能分离，现在使用 `run_api_tests.py` 专门负责执行测试，并在 `test_reports` 目录下创建带时间戳的子文件夹来保存报告；使用新的 `history_viewer.py` 作为独立的Web应用来查看历史测试报告。
|
||||
- **测试报告改进**：测试报告现在按时间戳组织，每次测试运行生成一个独立的文件夹，便于管理和查看历史数据。
|
||||
- **历史记录查看功能**：添加了直观的历史记录列表，可根据测试成功率显示不同的颜色渐变，并支持详情查看。
|
||||
- **LLM配置界面**：增加了易用的LLM合规性标准在线配置页面，支持从Web界面动态添加、编辑和删除规则。
|
||||
- **报告下载功能**：在测试详情页面添加了下载原始JSON摘要和Markdown详情报告的功能。
|
||||
- **增强导航体验**：添加了浮动导航按钮，方便在长详情页面中快速跳转到不同部分。
|
||||
- 实现了用户认证系统，使用SQLite存储用户信息
|
||||
- 添加了LLM集成功能，支持使用大模型生成测试数据
|
||||
- 改进了测试报告格式，提供更详细的API调用信息
|
||||
- 优化了错误处理逻辑，提高了系统稳定性
|
||||
- 增强了Web界面的响应性和用户体验
|
||||
- 新增了数值越界错误处理测试用例 (TC-ERROR-4002)，用于验证API在接收到超出范围的数值参数时是否按预期返回特定业务错误码。
|
||||
|
||||
### 架构调整
|
||||
- 从单一的Web应用变为"命令行执行 + Web查看"的分离架构，提高了系统灵活性和扩展性。
|
||||
- 改进了测试报告的存储结构，采用时间戳命名的子目录层次式存储，便于历史数据管理。
|
||||
- 重构了测试编排器(APITestOrchestrator)，提高了代码可维护性
|
||||
- 引入了更灵活的插件机制，便于扩展测试用例和测试阶段
|
||||
- 改进了API规范解析器，增强了对不同格式的兼容性
|
||||
@ -31,10 +36,12 @@
|
||||
## 活动决策和考虑
|
||||
|
||||
### 当前决策
|
||||
1. **LLM集成策略**：决定使用兼容OpenAI API的通义千问大模型作为测试数据生成的后端，同时保留传统的基于Schema的数据生成方法作为备选。
|
||||
2. **测试报告格式**：采用JSON格式作为摘要报告，Markdown格式作为详细报告，平衡了机器可读性和人类可读性。
|
||||
3. **用户认证方案**：使用基于Flask session的简单认证系统，结合SQLite数据库存储用户信息，避免过度复杂化。
|
||||
4. **部署模式**：支持本地部署，使用简单的Python命令启动，不依赖复杂的容器或云服务。
|
||||
1. **分离执行与查看**：决定将测试执行和历史记录查看分开，使系统更加模块化，也避免了Web服务器在执行大型测试时可能出现的性能问题。
|
||||
2. **LLM集成策略**：继续使用兼容OpenAI API的通义千问大模型作为测试数据生成的后端，同时通过Web界面提供便捷的规则配置功能。
|
||||
3. **测试报告格式**：采用JSON格式作为摘要报告，Markdown格式作为详细报告，平衡了机器可读性和人类可读性。
|
||||
4. **用户认证方案**：使用基于Flask session的简单认证系统，结合SQLite数据库存储用户信息，避免过度复杂化。
|
||||
5. **用户体验优先**：关注用户体验的细节改进，如颜色渐变的状态显示、浮动导航按钮、报告文件下载等。
|
||||
6. **部署模式**：支持本地部署，使用简单的Python命令启动，不依赖复杂的容器或云服务。
|
||||
|
||||
### 开放问题
|
||||
1. **多线程执行**：是否应该支持并行执行测试用例以提高性能？需要权衡速度提升与稳定性风险。
|
||||
@ -45,10 +52,11 @@
|
||||
## 下一步计划
|
||||
|
||||
### 短期目标 (1-2周)
|
||||
- 修复已知的bug和稳定性问题
|
||||
- 优化命令行测试工具的报告输出
|
||||
- 为历史记录查看器添加搜索和过滤功能
|
||||
- 增强LLM配置功能，支持规则集的导入/导出
|
||||
- 添加更多可视化统计功能
|
||||
- 完善用户文档和开发指南
|
||||
- 优化Web界面的响应速度和用户体验
|
||||
- 增加更多预定义的测试用例
|
||||
|
||||
### 中期目标 (1-2个月)
|
||||
- 实现测试结果的历史记录和比较功能
|
||||
|
||||
@ -20,6 +20,13 @@
|
||||
- ✅ Web界面的高级配置选项
|
||||
- ✅ 基于标签/分类的API端点筛选
|
||||
- ✅ 实现了多种错误处理场景的测试用例（如类型不匹配、缺失必填字段、数值越界等）
|
||||
- ✅ 系统架构重构 (命令行执行+Web查看分离)
|
||||
- ✅ 带时间戳的历史测试记录管理
|
||||
- ✅ 历史记录查看Web应用 (history_viewer.py)
|
||||
- ✅ 基于成功率的渐变色状态显示
|
||||
- ✅ LLM规则在线编辑界面
|
||||
- ✅ 测试报告原始文件下载功能
|
||||
- ✅ 页面内导航浮动按钮
|
||||
|
||||
### 文档和支持
|
||||
- ✅ 用户手册 (MANUAL.md)
|
||||
@ -37,10 +44,11 @@
|
||||
- 🔄 改进测试报告的可视化展示
|
||||
|
||||
### 新功能开发
|
||||
- 🔄 测试结果历史记录和比较功能
|
||||
- 🔄 历史记录搜索和高级过滤功能
|
||||
- 🔄 LLM规则集的导入/导出功能
|
||||
- 🔄 更多预定义测试用例的开发
|
||||
- 🔄 支持更复杂的测试场景和数据依赖
|
||||
- 🔄 API端点搜索和过滤功能
|
||||
- 🔄 测试结果可视化统计图表
|
||||
|
||||
## 待完成工作
|
||||
|
||||
@ -88,10 +96,13 @@
|
||||
- 完成初步测试和bug修复
|
||||
|
||||
### 里程碑2：增强功能版本 (进行中)
|
||||
- 添加LLM集成
|
||||
- 改进用户界面和体验
|
||||
- 增加更多预定义测试用例
|
||||
- 优化性能和稳定性
|
||||
- ✅ 添加LLM集成
|
||||
- ✅ 改进用户界面和体验
|
||||
- ✅ 实现系统架构重构
|
||||
- ✅ 增强历史记录管理和查看功能
|
||||
- 🔄 增加更多预定义测试用例
|
||||
- 🔄 优化性能和稳定性
|
||||
- 🔄 增强可视化和统计功能
|
||||
|
||||
### 里程碑3：企业就绪版本 (计划中)
|
||||
- 实现高级安全特性
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user