项目 |
说明 |
|---|---|
产品名称 |
QualityPilot |
产品形态 |
Web 对话工作台 + 知识库管理后台 + Agent 工作流 |
版本状态 |
MVP 已上线,可用于个人演示与低频使用 |
目标用户 |
产品经理、研发工程师、测试工程师 |
核心任务 |
需求评审、测试用例生成、历史知识问答、报告追问与版本化重生成 |
1 产品概述
QualityPilot 是面向产品、研发和测试团队的需求质量协作 Agent。产品以多任务对话为入口,结合当前 PRD、历史知识库、Prompt 型 Skill、Dify 专业工作流和 DeepSeek Planner,帮助团队在需求提出、评审、研发理解和测试设计过程中形成更统一、更完整、更可验证的需求认知。
它不是单纯的文档问答工具,也不是只服务测试人员的用例生成器。系统会根据输入、附件、会话历史、当前文档、已有报告和待处理任务选择合适工具,并在执行后进行结构验收和必要的修复重试。
2 背景与问题
- PRD 中常见异常流程、状态流转、边界条件和验收口径缺失,问题通常到研发或测试阶段才暴露。
- 历史业务规则分散在不同文档和个人经验中,新需求评审时难以及时召回并统一口径。
- 测试用例设计高度依赖个人经验,容易只覆盖主流程,缺少异常、权限、边界和回归影响。
- 普通 AI 助手面对多轮追问、弱指代、附件补交和报告修改时,容易丢失上下文或错误理解任务。
- 一次生成的报告不是最终结果,团队需要围绕同一产物持续讨论、修改并保留版本。
3 产品目标
目标 |
说明 |
|---|---|
需求质量前置 |
在进入研发前发现遗漏、歧义、冲突和不可验收描述。 |
经验复用 |
把历史 PRD、业务规则和测试经验变成可检索、可校验、可复用的知识资产。 |
连续协作 |
支持围绕同一文档和同一报告持续追问、细化和重生成。 |
结果可信 |
输出可追溯到当前 PRD、有效历史知识或用户补充要求。 |
工作流闭环 |
从 PRD 上传到评审、用例生成、报告导出和版本管理形成完整闭环。 |
4 用户角色与权限
角色 |
核心诉求 |
关键权限 |
|---|---|---|
产品经理 |
提前发现 PRD 漏洞、补齐验收口径、减少评审会反复沟通。 |
上传 PRD、需求评审、知识问答、报告追问、导出产物。 |
研发工程师 |
快速理解业务规则、边界和历史兼容要求,减少实现偏差。 |
查询知识库、讨论报告、查看历史结果。 |
测试工程师 |
生成贴合业务的测试方案和用例,覆盖异常、边界、权限与状态流转。 |
上传 PRD、生成用例、导出 Markdown CSV XMind。 |
管理员 |
维护知识库和 Skill,控制进入 AI 链路的知识质量。 |
知识库入库、删除、清空、操作日志、Skill 审批与启停。 |
普通用户 |
完成日常对话任务并复用已有知识。 |
可使用对话能力和只读查看知识库,不可写入知识库或审批 Skill。 |
5 核心使用场景
5.1 需求知识问答
用户围绕历史 PRD、业务规则或测试经验提问。系统先检索知识库,再对结果进行重排和适用性校验,只使用可用引用进行总结回答;没有依据时明确说明未找到,不用低相关片段拼凑答案。
5.2 需求评审
用户上传 PRD 并提出评审要求后,系统执行六维评审:完整性、明确性、一致性、可测试性、隐含假设和用户体验。每条评审意见包含定位与依据、风险说明、修改建议和可验证的验收口径。
5.3 测试用例生成与迭代
用户上传 PRD 后,系统基于当前需求和可用历史知识生成结构化测试方案与测试用例,覆盖主流程、异常、边界、权限、状态流转和回归风险。产物支持 Markdown、CSV 和 XMind 导出,并支持围绕上一版报告继续追问和重生成。
6 Agent 工作流
阶段 |
系统行为 |
产品价值 |
|---|---|---|
用户输入 |
接收自然语言、附件、报告引用和任务模式。 |
降低用户操作门槛,不要求用户理解底层工具。 |
上下文组装 |
读取会话历史、当前文档、当前报告、Pending 和最近主题。 |
让系统理解“刚才那份”“基于这个”等自然表达。 |
Planner 决策 |
由 DeepSeek Planner 判断任务关系并选择工具。 |
从固定按钮流程升级为连续协作。 |
工具执行 |
调用知识问答、文档总结、需求评审、用例生成、报告讨论或重生成能力。 |
把自然语言请求落到明确业务动作。 |
RAG 增强 |
检索历史知识,经过重排和适用性校验后保留可用引用。 |
避免无关知识污染评审或用例生成。 |
专业工作流 |
Dify 专注执行需求评审和测试用例生成。 |
把专业 SOP 封装为稳定能力。 |
结果验收 |
检查结构、覆盖、用户显式要求和版本继承。 |
不是生成完就交付,而是先判断是否可用。 |
修复与交付 |
未通过时带具体缺口修复;通过后保存报告版本并生成导出产物。 |
支持持续迭代和可追溯交付。 |
7 知识库与 RAG 设计
知识库不是简单把整篇文档丢给模型,而是先把文档处理成可管理、可检索、可追溯的知识片段。
模块 |
设计要求 |
|---|---|
文档解析 |
稳定支持 Markdown、TXT 和常见 DOCX;DOCX 需保留标题、段落、嵌套列表和表格顺序。 |
结构化切分 |
先按文档结构和段落切分,单片正文约 800 字,重叠约 120 字,保留最近 2 至 3 级标题上下文。 |
字段设计 |
区分 content、embeddingText、headingPath、metadata 和权重字段,保证展示、检索和治理各自有依据。 |
向量入库 |
使用 BGE-M3 生成 1024 维向量,写入 PostgreSQL 和 pgvector。 |
重排与过滤 |
向量召回后结合词面相关性、权重、去重和同文档限额进行重排,再做知识适用性校验。 |
知识治理 |
管理员可预览、确认入库、删除单篇、清空全部并查看操作日志。 |
8 报告与版本管理
- 需求评审报告以 Markdown 产物展示和下载,报告卡片不展示内部检索调试信息。
- 测试方案支持 Markdown、CSV 和 XMind 三类产物,适配不同团队的交付习惯。
- 首次生成创建新的 reportId 和 v1;基于报告重生成沿用 reportId 并递增版本。
- 重生成时保留原始 PRD、上一版报告和本轮修改要求,避免用户要求细化后丢失有效内容。
- XMind 从任意版本入口打开时展示该报告组最新版本。
9 结果质量控制
对象 |
验收要求 |
|---|---|
需求评审 |
findings 字段合法,维度和风险等级可解析;每条问题具备定位、风险、建议和验收口径。 |
测试用例 |
至少包含有效测试套件和用例;每条具备模块、优先级、前置条件、操作步骤和期望结果。 |
知识引用 |
只允许通过领域、文档类型、知识角色和业务实体校验的引用进入生成链路。 |
报告重生成 |
默认继承上一版有效内容,并覆盖用户明确要求补充的场景。 |
失败修复 |
验收失败时只把具体缺口写入修复上下文,避免把完整日志和无关内容塞回模型。 |
10 状态与异常处理
场景 |
产品行为 |
|---|---|
缺少 PRD |
保存 Pending 并提示用户上传文档。 |
用户补交附件 |
若使用弱指代则恢复原任务;若明确提出新任务则以新任务为准。 |
知识依据不足 |
明确说明未找到可用依据,不虚构历史规则冲突。 |
找到多份候选报告 |
列出候选供用户选择,不盲目猜测。 |
用户取消任务 |
停止当前 requestId,晚到结果不得保存为成功报告。 |
会话切换 |
任务继续执行,结果只能写回发起会话。 |
上游失败或超时 |
在预算内重试或修复,最终返回具体原因。 |
11 非功能需求
- 安全:DeepSeek、Dify 和数据库凭据仅存放在服务端环境变量,不写入前端或代码仓库。
- 权限:所有用户产物查询带 userId;会话资源同时带 conversationId;管理端操作进行服务端角色校验。
- 可追溯:保留 requestId、conversationId、报告 ID、版本、知识库操作记录和 Agent trace 摘要。
- 性能:普通问答尽量在 15 秒内返回;评审和用例生成属于长任务,需要阶段进度和取消能力。
- 可维护:Planner 负责语义判断,服务端负责协议、安全和所有权守卫,避免不断堆叠正则路由。
12 核心验收标准
- 产品经理上传 DOCX PRD 后,可获得六维需求评审报告,并能定位遗漏、歧义和不可验收内容。
- 测试工程师上传需求后,可获得与具体业务相关的测试方案、Markdown、CSV 和 XMind 产物,而不是固定通用用例。
- 研发工程师可围绕当前需求追问业务规则、状态流转、异常处理和历史兼容要求,回答需基于有效依据。
- 不同会话的文档、报告、Pending 和后台任务互相隔离,不发生跨任务上下文污染。
- 用户围绕上一份报告继续追问或要求细化时,系统能定位当前报告并支持生成下一版本。
- 教育类 PRD 不会引用无关金融规则作为事实依据;被拒绝引用只保留在内部 trace 中。
- 知识库入库前可预览切分结果;表格和嵌套列表切分后语义关系不丢失。
- 线上环境启用 BGE-M3、PostgreSQL 和 pgvector,所有知识片段完成 1024 维向量化。
13 当前限制与后续规划
方向 |
当前状态 |
后续规划 |
|---|---|---|
并发与长任务 |
当前适合个人演示和低频使用。 |
引入异步任务队列、断点恢复和任务通知。 |
文件解析 |
稳定支持 Markdown、TXT、DOCX。 |
扩展 PDF、Excel、接口文档和原型文档解析。 |
知识检索 |
已有向量召回、本地重排和适用性校验。 |
建设离线评测集,必要时接入模型 reranker。 |
Skill |
支持 Prompt 型 Skill 导入、审批、启停和版本。 |
实现脚本沙箱、权限声明和运行审计。 |
团队化 |
演示级用户和权限。 |
接入正式认证、团队空间、项目级隔离和审计看板。 |