Sirchmunk

原始数据到自进化智能，实时：没有向量库的 agentic 搜索引擎

更新于 2026-09-17 · GitHub 数据采集同日 · 论文 arXiv:2608.16185

一句话定位

丢掉向量库，让 LLM 拿着预算直接在原始文件上做 agentic 检索，搜索结果沉淀为可复用的知识簇

ModelScope（阿里）出品的实时搜索引擎：ripgrep-all 无索引扫原始文件，LENS 框架在 token 预算内做证据探索，每次搜索产出 KnowledgeCluster 并随使用自进化（复用 / 合并 / meta-cluster）。适合本地海量文档问答、给 Agent 装搜索能力（MCP）、数据频繁变化无法建静态索引的场景。

核心数据

2025-12-30 建仓 · v0.1.0（2026-08-25）· 143 forks · 32 open issues · 最后 push 2026-09-05 · 30 MB 仓库 · Trendshift 榜单项目

向量 RAG 的三宗罪

Sirchmunk 的答案：不预处理、不建静态索引——文件即索引，检索时才决定读什么。

Traditional RAG vs Sirchmunk

注意：此表来自官方 README，带有营销立场；真实取舍见「风险」页——每次 DEEP 搜索的 LLM 调用成本是隐藏变量。

LENS：预算约束的证据探索

论文把 in-context search 重构为「潜在证据空间上的预算化探索」：证据是潜在的、随查询变化的——先形成低成本先验，再把昂贵的 LLM 调用只花在最值得观测的地方。

核心组件与数据流

三种模式：预算与深度的旋钮

# 初始化时自动检查并安装 ripgrep-all / ripgrep
result = await searcher.search(query="How does transformer attention work?",
                               paths=["/path/to/docs"], mode="DEEP")

KnowledgeCluster：搜索的沉淀物

生命周期：从创建到进化

meta-cluster 的意义：把散点知识图整流为局部连通的语义图，LLM 用子簇查询集合成更高层抽象，降低后续搜索复杂度。

七种接入方式

benchmarks/：ResearchOps 纪律

• 冻结样本：run_sampling.py create 生成固定分层样本 ID + 校验和——论文面结果必须用冻结 ID + 确定性设置，跨系统同样本
• 动态 G_n/D_n 语料：构造嵌套的样本/语料绑定，验证「数据在变」场景（含 stale-index 对照组）
• 全生命周期成本核算：不只比查询质量，还比建索引/存储/维护的 setup 与 lifecycle 成本——这正是它对标向量库的主战场
• 基线矩阵：bm25、bm25_rag（定长分块）、hybrid_rag（BM25+dense RRF 融合）、react（工具调用 agent）、lightrag_v136 全模式、graphrag（预计算导入）
• LENS 机制消融：lens_no_prior / lens_no_seq / lens_no_reuse——分别拆掉先验、顺序推理、簇复用，验证各层贡献
• 评测集：HotpotQA 等，多跳问答天然考验证据探索

8 个月 13 个版本的节奏

需要清醒的地方

• LLM 调用是隐藏成本：「零基础设施」不等于零成本——DEEP 每次 10–30s 多轮 oracle 调用，高频场景 token 账单可能反超向量库的一次性索引成本；缓解靠簇复用与 FAST 档
• 延迟对交互式场景偏重：2–5s（FAST）/ 10–30s（DEEP）适合研究型问答，不适合毫秒级在线检索
• 版本仍在 0.x：API 有 breaking 史（v0.0.5 统一 Search API），生产采用需锁版本跟进 changelog
• README 对比表营销色彩浓：向量库在大语料毫秒检索、成熟生态上有不可替代性；Sirchmunk 的真实优势区间是「数据常变 + 中等规模 + 允许秒级延迟」
• Docker 镜像 tag 滞后：官方镜像停在 0.0.7，新版需源码构建；贡献者集中于 ModelScope 团队（微信公众号/钉钉群运营）