163 lines
5.1 KiB
Markdown
163 lines
5.1 KiB
Markdown
---
|
||
type: validation_process
|
||
tags: [Agent, 检索, 知识库更新, 验证流程]
|
||
aliases: [知识库更新验证, Agent检索验证, 补充文档验证流程]
|
||
source: manual
|
||
status: active
|
||
owner: 内部技术团队 / 产品经理
|
||
updated: 2026-05
|
||
---
|
||
|
||
# 知识库持续更新与验证流程
|
||
|
||
## 1. 目标
|
||
|
||
确保业务规则、业务需求和流程补充后，Agent 能通过文件检索命中新内容，并基于知识库给出可追溯回答。
|
||
|
||
## 2. 更新入口
|
||
|
||
业务新增或修订时，优先使用：
|
||
|
||
- `03_规范与模板/业务规则与需求补充模板.md`
|
||
- `03_规范与模板/需求说明模板.md`
|
||
- `03_规范与模板/业务流程梳理模板.md`
|
||
|
||
补充后的正式需求文档统一保存到：
|
||
|
||
- `05_需求文档/`
|
||
|
||
如果文档已经沉淀为稳定业务流程，再同步拆解或引用到：
|
||
|
||
- `01_业务流程/`
|
||
|
||
推荐命名：
|
||
|
||
```text
|
||
业务域_规则或需求名称_YYYYMMDD.md
|
||
```
|
||
|
||
示例：
|
||
|
||
```text
|
||
采购_供应商准入规则_20260526.md
|
||
库存_出入库审批规则_20260526.md
|
||
销售_客户授信额度规则_20260526.md
|
||
```
|
||
|
||
## 3. 标准更新流程
|
||
|
||
### 步骤 1：新增补充文档
|
||
|
||
1. 复制 `业务规则与需求补充模板.md`。
|
||
2. 保存到 `05_需求文档/`。
|
||
3. 补全 Frontmatter：`type`、`tags`、`aliases`、`source`、`status`、`owner`、`updated`。
|
||
4. 补全正文中的业务规则、流程、异常、权限、验收口径和 Agent 检索字段。
|
||
|
||
### 步骤 2：更新索引
|
||
|
||
新增业务文档后，同步更新：
|
||
|
||
| 文件 | 更新内容 |
|
||
|---|---|
|
||
| `05_需求文档/需求文档索引.md` | 增加需求/规则名称、业务域、来源文件、状态和验证状态 |
|
||
| `01_业务流程/业务规则索引.md` | 增加规则名称、业务域、适用场景、来源文件 |
|
||
| `01_业务流程/业务对象字典.md` | 增加新增或变更的业务对象、字段、状态 |
|
||
| `04_Agent检索/关键词索引.md` | 增加关键词到新文件的映射 |
|
||
| `04_Agent检索/同义词表.md` | 增加口语问法与标准术语映射 |
|
||
| `04_Agent检索/来源文件索引.md` | 登记新增知识条目来源 |
|
||
|
||
### 步骤 3：执行文件级检查
|
||
|
||
检查项：
|
||
|
||
- 文件是否位于 `05_需求文档/`。
|
||
- 文件名是否包含业务域、规则/需求名称、日期。
|
||
- Frontmatter 是否完整。
|
||
- 是否包含 `业务规则`、`业务流程`、`验收口径`、`Agent 检索字段`。
|
||
- 索引文件是否已同步更新。
|
||
|
||
### 步骤 4：执行关键词检索验证
|
||
|
||
用新增文档中的关键词、别名、口语问法进行检索。
|
||
|
||
验证标准：
|
||
|
||
- 至少 1 个正式关键词能命中新文档。
|
||
- 至少 1 个口语问法能通过 `同义词表.md` 或 `关键词索引.md` 定位到新文档。
|
||
- 检索结果能定位到具体文件，而不是只命中模板。
|
||
|
||
### 步骤 5：执行 Agent 问答验证
|
||
|
||
每次新增文档至少准备 3 类问题：
|
||
|
||
| 类型 | 示例 | 通过标准 |
|
||
|---|---|---|
|
||
| 规则类 | `供应商准入有什么条件？` | 能回答规则条件、触发条件、处理结果 |
|
||
| 流程类 | `供应商准入流程怎么走？` | 能按步骤回答主流程和分支流程 |
|
||
| 异常类 | `供应商资料不完整怎么办？` | 能回答异常处理方式和负责人 |
|
||
|
||
Agent 回答必须满足：
|
||
|
||
1. 结论来自新增文档或已索引文件。
|
||
2. 回答末尾注明来源文件名。
|
||
3. 如果文档未记录，明确回答“知识库未明确记录”。
|
||
4. 不得凭经验补充没有来源的业务规则。
|
||
|
||
### 步骤 6：记录验证结果
|
||
|
||
在新增业务文档末尾的 `变更记录` 或单独验证记录中记录：
|
||
|
||
| 日期 | 验证问题 | 是否命中 | 来源文件 | 结果 | 待补充 |
|
||
|---|---|---|---|---|---|
|
||
| | | 是/否 | | 通过/失败 | |
|
||
|
||
## 4. 验证用例模板
|
||
|
||
复制以下内容到新增业务文档的 `Agent 检索字段` 或验证记录中：
|
||
|
||
```markdown
|
||
## Agent 检索验证
|
||
|
||
| 编号 | 用户问题 | 期望命中文件 | 期望答案要点 | 实际结果 | 状态 |
|
||
|---|---|---|---|---|---|
|
||
| Q1 | | | | | 未验证 |
|
||
| Q2 | | | | | 未验证 |
|
||
| Q3 | | | | | 未验证 |
|
||
```
|
||
|
||
## 5. 通过/失败判定
|
||
|
||
### 通过
|
||
|
||
- 新文档能被关键词检索到。
|
||
- Agent 能引用新文档回答至少 3 个验证问题。
|
||
- 回答没有明显幻觉。
|
||
- 来源文件引用正确。
|
||
|
||
### 失败
|
||
|
||
出现任一情况视为失败：
|
||
|
||
- 新文档只保存了，但没有更新关键词索引或同义词表。
|
||
- Agent 命中了旧文件，未命中新文档。
|
||
- Agent 回答没有引用来源。
|
||
- Agent 编造了文档中不存在的业务规则。
|
||
- 问题能检索到模板，但不能检索到正式业务文档。
|
||
|
||
失败后处理：
|
||
|
||
1. 补充 `aliases`、`tags`、推荐关键词和同义词。
|
||
2. 更新 `关键词索引.md` 和 `同义词表.md`。
|
||
3. 将标准问答补充到新增文档的 `Agent 检索字段`。
|
||
4. 重新执行验证。
|
||
|
||
## 6. Agent 验证提示词
|
||
|
||
```text
|
||
请只基于 D:\AIcoding\WishFulfilled\知识库\如愿知识库 下的 Markdown 文件回答。
|
||
优先检索 05_需求文档、01_业务流程、02_项目管理流程、04_Agent检索。
|
||
如果知识库没有明确记录，请回答“知识库未明确记录”，并说明建议补充到哪个文件。
|
||
回答末尾必须列出来源文件。
|
||
现在验证问题是：{用户问题}
|
||
```
|