Add under-anything knowledge dashboard
This commit is contained in:
162
wishfulfilled-wiki/04_Agent检索/知识库持续更新与验证流程.md
Normal file
162
wishfulfilled-wiki/04_Agent检索/知识库持续更新与验证流程.md
Normal file
@@ -0,0 +1,162 @@
|
||||
---
|
||||
type: validation_process
|
||||
tags: [Agent, 检索, 知识库更新, 验证流程]
|
||||
aliases: [知识库更新验证, Agent检索验证, 补充文档验证流程]
|
||||
source: manual
|
||||
status: active
|
||||
owner: 内部技术团队 / 产品经理
|
||||
updated: 2026-05
|
||||
---
|
||||
|
||||
# 知识库持续更新与验证流程
|
||||
|
||||
## 1. 目标
|
||||
|
||||
确保业务规则、业务需求和流程补充后,Agent 能通过文件检索命中新内容,并基于知识库给出可追溯回答。
|
||||
|
||||
## 2. 更新入口
|
||||
|
||||
业务新增或修订时,优先使用:
|
||||
|
||||
- `03_规范与模板/业务规则与需求补充模板.md`
|
||||
- `03_规范与模板/需求说明模板.md`
|
||||
- `03_规范与模板/业务流程梳理模板.md`
|
||||
|
||||
补充后的正式需求文档统一保存到:
|
||||
|
||||
- `05_需求文档/`
|
||||
|
||||
如果文档已经沉淀为稳定业务流程,再同步拆解或引用到:
|
||||
|
||||
- `01_业务流程/`
|
||||
|
||||
推荐命名:
|
||||
|
||||
```text
|
||||
业务域_规则或需求名称_YYYYMMDD.md
|
||||
```
|
||||
|
||||
示例:
|
||||
|
||||
```text
|
||||
采购_供应商准入规则_20260526.md
|
||||
库存_出入库审批规则_20260526.md
|
||||
销售_客户授信额度规则_20260526.md
|
||||
```
|
||||
|
||||
## 3. 标准更新流程
|
||||
|
||||
### 步骤 1:新增补充文档
|
||||
|
||||
1. 复制 `业务规则与需求补充模板.md`。
|
||||
2. 保存到 `05_需求文档/`。
|
||||
3. 补全 Frontmatter:`type`、`tags`、`aliases`、`source`、`status`、`owner`、`updated`。
|
||||
4. 补全正文中的业务规则、流程、异常、权限、验收口径和 Agent 检索字段。
|
||||
|
||||
### 步骤 2:更新索引
|
||||
|
||||
新增业务文档后,同步更新:
|
||||
|
||||
| 文件 | 更新内容 |
|
||||
|---|---|
|
||||
| `05_需求文档/需求文档索引.md` | 增加需求/规则名称、业务域、来源文件、状态和验证状态 |
|
||||
| `01_业务流程/业务规则索引.md` | 增加规则名称、业务域、适用场景、来源文件 |
|
||||
| `01_业务流程/业务对象字典.md` | 增加新增或变更的业务对象、字段、状态 |
|
||||
| `04_Agent检索/关键词索引.md` | 增加关键词到新文件的映射 |
|
||||
| `04_Agent检索/同义词表.md` | 增加口语问法与标准术语映射 |
|
||||
| `04_Agent检索/来源文件索引.md` | 登记新增知识条目来源 |
|
||||
|
||||
### 步骤 3:执行文件级检查
|
||||
|
||||
检查项:
|
||||
|
||||
- 文件是否位于 `05_需求文档/`。
|
||||
- 文件名是否包含业务域、规则/需求名称、日期。
|
||||
- Frontmatter 是否完整。
|
||||
- 是否包含 `业务规则`、`业务流程`、`验收口径`、`Agent 检索字段`。
|
||||
- 索引文件是否已同步更新。
|
||||
|
||||
### 步骤 4:执行关键词检索验证
|
||||
|
||||
用新增文档中的关键词、别名、口语问法进行检索。
|
||||
|
||||
验证标准:
|
||||
|
||||
- 至少 1 个正式关键词能命中新文档。
|
||||
- 至少 1 个口语问法能通过 `同义词表.md` 或 `关键词索引.md` 定位到新文档。
|
||||
- 检索结果能定位到具体文件,而不是只命中模板。
|
||||
|
||||
### 步骤 5:执行 Agent 问答验证
|
||||
|
||||
每次新增文档至少准备 3 类问题:
|
||||
|
||||
| 类型 | 示例 | 通过标准 |
|
||||
|---|---|---|
|
||||
| 规则类 | `供应商准入有什么条件?` | 能回答规则条件、触发条件、处理结果 |
|
||||
| 流程类 | `供应商准入流程怎么走?` | 能按步骤回答主流程和分支流程 |
|
||||
| 异常类 | `供应商资料不完整怎么办?` | 能回答异常处理方式和负责人 |
|
||||
|
||||
Agent 回答必须满足:
|
||||
|
||||
1. 结论来自新增文档或已索引文件。
|
||||
2. 回答末尾注明来源文件名。
|
||||
3. 如果文档未记录,明确回答“知识库未明确记录”。
|
||||
4. 不得凭经验补充没有来源的业务规则。
|
||||
|
||||
### 步骤 6:记录验证结果
|
||||
|
||||
在新增业务文档末尾的 `变更记录` 或单独验证记录中记录:
|
||||
|
||||
| 日期 | 验证问题 | 是否命中 | 来源文件 | 结果 | 待补充 |
|
||||
|---|---|---|---|---|---|
|
||||
| | | 是/否 | | 通过/失败 | |
|
||||
|
||||
## 4. 验证用例模板
|
||||
|
||||
复制以下内容到新增业务文档的 `Agent 检索字段` 或验证记录中:
|
||||
|
||||
```markdown
|
||||
## Agent 检索验证
|
||||
|
||||
| 编号 | 用户问题 | 期望命中文件 | 期望答案要点 | 实际结果 | 状态 |
|
||||
|---|---|---|---|---|---|
|
||||
| Q1 | | | | | 未验证 |
|
||||
| Q2 | | | | | 未验证 |
|
||||
| Q3 | | | | | 未验证 |
|
||||
```
|
||||
|
||||
## 5. 通过/失败判定
|
||||
|
||||
### 通过
|
||||
|
||||
- 新文档能被关键词检索到。
|
||||
- Agent 能引用新文档回答至少 3 个验证问题。
|
||||
- 回答没有明显幻觉。
|
||||
- 来源文件引用正确。
|
||||
|
||||
### 失败
|
||||
|
||||
出现任一情况视为失败:
|
||||
|
||||
- 新文档只保存了,但没有更新关键词索引或同义词表。
|
||||
- Agent 命中了旧文件,未命中新文档。
|
||||
- Agent 回答没有引用来源。
|
||||
- Agent 编造了文档中不存在的业务规则。
|
||||
- 问题能检索到模板,但不能检索到正式业务文档。
|
||||
|
||||
失败后处理:
|
||||
|
||||
1. 补充 `aliases`、`tags`、推荐关键词和同义词。
|
||||
2. 更新 `关键词索引.md` 和 `同义词表.md`。
|
||||
3. 将标准问答补充到新增文档的 `Agent 检索字段`。
|
||||
4. 重新执行验证。
|
||||
|
||||
## 6. Agent 验证提示词
|
||||
|
||||
```text
|
||||
请只基于 D:\AIcoding\WishFulfilled\知识库\如愿知识库 下的 Markdown 文件回答。
|
||||
优先检索 05_需求文档、01_业务流程、02_项目管理流程、04_Agent检索。
|
||||
如果知识库没有明确记录,请回答“知识库未明确记录”,并说明建议补充到哪个文件。
|
||||
回答末尾必须列出来源文件。
|
||||
现在验证问题是:{用户问题}
|
||||
```
|
||||
Reference in New Issue
Block a user