OpenSPG/KAG 0.8发布:可配置知识库索引 x 拥抱接入MCP x 系统接口完善,多跳问答效果持续领先
文章目录
总体摘要#
我们正式发布KAG 0.8版本,本次更新旨在持续提升大模型利用知识库推理问答的一致性、严谨性和精准性,并引入了多项重要功能特性。
首先,我们升级了KAG 知识库的能力。扩展了私域知识库(含结构化、非结构化数据)、公网知识库 两种模式,支持通过MCP 协议引入LBS、WebSearch 等公网数据源。此外,升级了私域知识库索引管理的能力,内置Outline、Summary、KnowledgeUnit、AtomicQuery、Chunk、Table 等多种基础索引类型,支持开发者自定义索引 & 产品端联动 的能力。用户可根据场景特点选择合适的索引类型,在构建成本&业务效果之间取得平衡。
其次,我们优化了产品体验、完善了系统集成接口。产品方面,将知识库和应用解耦,知识库管理私域数据(结构化 & 非结构化)、公网数据;应用可关联多知识库,基于知识库构建阶段的索引类型,自动适配对应的检索器完成数据召回;应用/知识库 独立管理模型依赖、任务调度,以提升灵活性。系统集成方面,完善了KAG召回 & 问答接口,新增对业务应用中嵌入推理问答页面的支持;全面拥抱MCP,提供在agent 流程中接入KAG 推理问答(基于MCP 协议)的能力。
再次,KAG 完成了对KAG-Thinker 模型的适配。通过复杂问题的广度拆分和深度求解、知识边界判定、检索结果抗噪等优化,在多轮迭代式思考范式的牵引下,提升了KAG框架推理范式的稳定性,推理逻辑的严谨性。KAG-Thinker 模型的发布和使用请关注我们后续的公告。
除了上述框架和产品优化外,我们还提升了问答效率&流式输出稳定性。本次更新以Qwen2.5-72B为基础模型,完成了各RAG框架及部分KG数据集的效果对齐。发布的整体榜单效果可参考图1~图3,榜单细节详见open_benchmark部分。

图1 Performance of KAG V0.8 and baselines on Multi-hop QA benchmarks


图2 Performance of KAG V0.8 and baselines(from OpenKG OneEval) on Knowledge based QA benchmarks

图3 Performance of KAG V0.8 on NetOperatorQA benchmarks
框架优化#
1.索引配置化管理#

图4 KAG Framework Optimization in V0.8
索引抽取和索引检索是知识库类应用的核心能力,KAG v0.8 对架构进行了升级,以支持索引构建和检索的配置化管理。每种索引类型拥有独立的抽取器(Extractor)和检索器(Retriever),通过IndexManager 进行管理。
KAG 内置KnowledgeUnit(图谱三元组的升级版)、Outline、Summary、Chunk、AtomicQuery、Table 等基础索引类型,以及对应的索引抽取器、检索器。知识库构建阶段,平台根据用户选择的索引类型,调用对应的抽取器完成索引抽取;知识库应用阶段,根据应用关联的知识库,平台自动调用对应检索器完成graph/chunk/doc 的召回,并联动KAG-Solver pipeline 实现推理问答。
开发者可扩展IndexManager,实现/组合 对应的索引抽取器、检索器,完成KAG 打包并替换openspg-server 镜像中对应的安装包,在知识库构建的产品页面即可勾选自定义索引类型,实现自定义索引类型&产品的联动。
2.KAG-Thinker 工程化#
请关注我们即将发布的KAG-Thinker 模型公告。
OpenBenchmark#
1.多跳事实问答#
1.1benchMark
-
musique
| Method | EM | F1 | llm_accuracy |
| Naive Gen | 0.033 | 0.074 | 0.083 |
| Naive RAG | 0.248 | 0.357 | 0.384 |
| HippoRAGV2 | 0.289 | 0.404 | 0.452 |
| PIKE-RAG | 0.383 | 0.498 | 0.565 |
| KAG-V0.6.1 | 0.363 | 0.481 | 0.547 |
| KAG-V0.7LC | 0.379 | 0.513 | 0.560 |
| KAG-V0.7 | 0.385 | 0.520 | 0.579 |
| KAG-V0.8 | 0.432 | 0.569 | 0.626 |
-
hotpotqa
| Method | EM | F1 | llm_accuracy |
| Naive Gen | 0.223 | 0.313 | 0.342 |
| Naive RAG | 0.566 | 0.704 | 0.762 |
| HippoRAGV2 | 0.557 | 0.694 | 0.807 |
| PIKE-RAG | 0.558 | 0.686 | 0.787 |
| KAG-V0.6.1 | 0.599 | 0.745 | 0.841 |
| KAG-V0.7LC | 0.600 | 0.744 | 0.828 |
| KAG-V0.7 | 0.603 | 0.748 | 0.844 |
| KAG-V0.8 | 0.625 | 0.772 | 0.857 |
-
twowiki
| Method | EM | F1 | llm_accuracy |
| Naive Gen | 0.199 | 0.310 | 0.382 |
| Naive RAG | 0.448 | 0.512 | 0.573 |
| HippoRAGV2 | 0.542 | 0.618 | 0.684 |
| PIKE-RAG | 0.63 | 0.72 | 0.81 |
| KAG-V0.6.1 | 0.666 | 0.755 | 0.811 |
| KAG-V0.7LC | 0.683 | 0.769 | 0.826 |
| KAG-V0.7 | 0.684 | 0.770 | 0.836 |
| KAG-V0.8 | 0.692 | 0.784 | 0.847 |
1.2各种方法参数配置
| Method | 数据集 | 基模 (构建/推理) | 向量模型 | 参数设置 |
| Naive Gen | hippoRAG 论文提供的1万 docs、1千 questions; | qwen2.5-72B | bge-m3 | 无 |
| Naive RAG | 同上 | qwen2.5-72B | bge-m3 | num_docs: 10 |
| HippoRAGV2 | 同上 | qwen2.5-72B | bge-m3 | retrieval_top_k=200 linking_top_k=5 max_qa_steps=3 qa_top_k=5 graph_type=facts_and_sim_passage_node_unidirectional embedding_batch_size=8 |
| PIKE-RAG | 同上 | qwen2.5-72B | bge-m3 | tagging_llm_temperature: 0.7 qa_llm_temperature: 0.0 chunk_retrieve_k: 8 chunk_retrieve_score_threshold: 0.5 atom_retrieve_k: 16 atomic_retrieve_score_threshold: 0.2 max_num_question: 5 num_parallel: 5 |
| KAG-V0.6.1 | 同上 | qwen2.5-72B | bge-m3 | 参见https://github.com/OpenSPG/KAG/tree/v0.6 examples 各子目录的kag_config.yaml |
| KAG-V0.7LC | 同上 | 构建:qwen2.5-7B 问答:qwen2.5-72B | bge-m3 | 参见https://github.com/OpenSPG/KAG open_benchmarks 各子目录kag_config.yaml |
| KAG-V0.7 | 同上 | qwen2.5-72B | bge-m3 | 参见https://github.com/OpenSPG/KAG open_benchmarks 各子目录kag_config.yaml |
| KAG-V0.8 | 同上 | qwen2.5-72B | bge-m3 | 参见https://github.com/OpenSPG/KAG open_benchmarks 各子目录kag_config.yaml |
2.运营商知识库问答#
| Method | EM | F1 | llm_accuracy | 方法论 | 指标来源 |
| Naive_RAG | - | - | 78.6% | 基于向量的知识库检索 | 蚂蚁KAG团队 |
| KAG-V0.8 | - | - | 93.9% | 基于KAG 框架自定义 NetOperatorQA pipeline | 蚂蚁KAG 团队 参见 https://github.com/OpenSPG/KAG/kag/examples/NetOperatorQA |
3.结构化数据集#
-
PRQA(人物关系问答)
| Method | EM | F1 | llm_accuracy | 方法论 | 指标 来源 |
| deepseek-v3 (OpenKG oneEval)) | - | 2.60% | - | Dense Retrieval+LLM Generation | |
| qwen2.5-72B (OpenKG oneEval) | - | 2.50% | - | Dense Retrieval+LLM Generation | |
| GPT-4o (OpenKG oneEval) | - | 3.20% | - | Dense Retrieval+LLM Generation | |
| QWQ-32B (OpenKG oneEval) | - | 3.00% | - | Dense Retrieval+LLM Generation | |
| Grok 3 (OpenKG oneEval) | - | 4.70% | - | Dense Retrieval+LLM Generation | |
| KAG-V0.7 | 45.5% | 86.6% | 84.8% | 基于KAG 框架自定义AffairQA pipeline+ cypher_solver | 蚂蚁KAG 团队 |
| KAG-V0.8 | 47.6% | 89.3% | 91.0% | 基于KAG 框架自定义AffairQA pipeline+ cypher_solver | 蚂蚁KAG 团队 |
-
AffairQA(政务信息问答)
| Method | EM | F1 | llm_accuracy | 方法论 | 指标提供者 |
| deepseek-v3 | - | 42.50% | - | Dense Retrieval + LLM Generation | |
| qwen2.5-72B | - | 45.00% | - | Dense Retrieval + LLM Generation | |
| GPT-4o | - | 41.00% | - | Dense Retrieval + LLM Generation | |
| QWQ-32B | - | 45.00% | - | Dense Retrieval + LLM Generation | |
| Grok 3 | - | 45.50% | - | Dense Retrieval + LLM Generation | |
| KAG-V0.7 | 77.5% | 83.1% | 88.2% | 基于KAG 框架自定义AffairQA pipeline | 蚂蚁KAG 团队 |
| KAG-V0.8 | 78.4% | 84.7% | 97.5% | 基于KAG 框架自定义AffairQA pipeline | 蚂蚁KAG 团队 |
产品优化#
1.系统集成#
本次升级提供了三种将KAG 集成到业务系统的方式:HttpAPI、MCP Protocol、前端页面嵌入。
KAG HttpAPI 提供了召回、推理问答两类接口,开发者可选择将KAG 作为一路检索源、或者作为完整的推理问答能力使用。KAG MCP Protocol 提供了推理问答的接口,可嵌入Cursor 等Agent 应用中。此次发版,推理问答 升级为独立的页面,开发者可选择将该页面嵌入业务系统中。
2.用户体验优化#
此次发版,对于社区用户关注的问答耗时、流式输出稳定性、模型配置管理、任务调度稳定性等问题都做了较多优化,感谢社区对KAG 的包容。
后续计划#
近期版本迭代中,我们持续致力于持续提升大模型利用外部知识库的能力,实现大模型与符号知识的双向增强和有机融合,不断提升专业场景推理问答的事实性、严谨性和一致性等,我们也将持续发布,不断提升能力的上限,不断推进垂直领域的落地。
致谢#
此次框架升级得到了以下专家和同仁的鼎力支持,我们深表感激:
-
开源社区热心用户:Novelrui 、thundax-lyp、thesteganos 、Like0x 、unrealise 、J4ckycjl、luzizhuo、hy89
-
特别鸣谢:资深开发者李云鹏,提供IDEA、pycharm、vscode 等插件,极大提升了KAG schema 编写的体验
GitHub
1、OpenSPG github 地址:https://github.com/OpenSPG/openspg
2、KAG github 地址:https://github.com/OpenSPG/KAG
3、KAG 官网文档:https://openspg.github.io/v2/
OpenSPG 和KAG 关系:OpenSPG 是语义增强的可编程知识图谱,KAG 是一个知识增强生成的专业领域知识服务框架,KAG 依赖 OpenSPG 提供的引擎依赖适配、知识索引、逻辑推理等能力。
🌟 欢迎大家 Star 关注~
原文来自 蚂蚁数据 AntData,版权归原作者。
正文采集于 ,内容更新以原文为准。