RAG 端到端：摄入建索引 + 检索组装双通道

RAG 端到端：摄入建索引 + 检索组装双通道 由 Archify 生成的数据流图。 01 / 输入 02 / 加工 / 规划 03 / 向量读写 04 / 精排 05 / 组装出口 文档源 · 文件/URL · 01 / 输入 文档源 文件/URL 用户问题 · RagQuery · 01 / 输入 用户问题 RagQuery 加载清洗 · Loader→Processor · 02 / 加工 / 规划 加载清洗 Loader→Processor QueryPlanner · 改写多变体 · 02 / 加工 / 规划 QueryPlanner 改写多变体 Chunk+Embed · 切块→嵌入→upsert · 03 / 向量读写 Chunk+Embed 切块→嵌入→upsert 混合检索 · Dense+BM25 融合 · 03 / 向量读写 混合检索 Dense+BM25 融合 Reranker · Model/Chat/Noop · 04 / 精排 Reranker Model/Chat/Noop Assembler · TokenAware 预算 · 05 / 组装出口 Assembler TokenAware 预算 RagContext · 上下文+引用→模型 · 05 / 组装出口 RagContext 上下文+引用→模型 ① 加载 doc ② 清洗切块 chunks ③ 原始 query query ④ 改写变体 variants ⑤ 索引可查 index ⑥ RagHit 列表 hits ⑦ topK topk ⑧ 上下文 context 图例 主要数据 异步批处理 数据存储

摄入加工

  • • TextDocumentLoader/TikaDocumentLoader 加载 → OcrTextExtracting/WhitespaceNormalizing 等 Processor 清洗
  • • RecursiveTextChunker 递归切块 + DefaultMetadataEnricher 补元数据 → EmbeddingService 向量化 → VectorStore.upsert

检索融合

  • • ModelRagQueryPlanner 产出多变体改写；DenseRetriever 向量召回 + Bm25Retriever 关键词召回
  • • HybridRetriever 经 RRF/RSF/DBSF 三种 FusionStrategy 合流；Reranker 有 Model/Chat/Noop 三实现

组装与溯源

  • • TokenAwareRagContextAssembler 按 token 预算挑 hit 装 RagContext；DefaultRagContextAssembler 全量装
  • • RagCitation 记录引用来源；RagTrace/RagOnlineEvaluator 支撑评估与审计