turbovec

10M 文档 31GB 压到 4GB，搜索比 FAISS 还快的向量索引

更新于 2026-07-25 · 基于 Google Research TurboQuant (ICLR 2026)

一句话定位

无训练阶段的向量索引，16× 压缩、搜索快过 FAISS

Rust 向量索引 + Python 绑定，基于 Google Research 的 TurboQuant 算法——data-oblivious 量化器，近最优失真，无单独训练阶段。在线 ingest：加向量即索引，无 train、无参数调优、无重建。手写 NEON/AVX-512BW SIMD 内核。纯本地无托管服务，数据不出机器/VPC。适合内存/延迟/隐私敏感的 RAG 场景，尤其气隙部署。

核心数据

数据截至 2026-07-25。10M 文档 d=1536：float32 31GB → turbovec 4GB。

向量检索的三个痛点

Data-oblivious：数据无关的量化

旋转之后，分布可知，码本可算

TurboQuant 的核心洞察：每个向量是高维超球面上的一个方向。施加随机旋转后，每个坐标独立服从已知分布（Beta，高维收敛到 Gaussian）——与输入数据无关。既然分布已知，最优分桶可从数学直接算出，无需从数据训练码本。这带来：无 train 步骤、语料增长无需重建、近最优失真（Shannon 下界的 2.7×）。

编码六步

手写内核，多架构覆盖

• NEON（ARM）：比 FAISS IndexPQFastScan 快 10–19%
• AVX-512BW（x86）：4-bit 配置胜出；2-bit 略输几个百分点（FAISS 的 AVX-512 VBMI 在短 2-bit 累加循环占优）
• nibble-split LUT：查表评分最大化吞吐，适配 FAISS FastScan 的 pack 布局与 u16 累加策略
• 运行时检测：is_x86_feature_detected! 按硬件启用 AVX-512/AVX2，无则回退标量
• 编译基线 x86-64-v2：SSE4.2（Nehalem 2008+），任意 v2 CPU 可跑整 crate
• 查询域旋转：不解压每个库向量，而是把 query 一次旋转到同域，直接对码本值评分

Allowlist 内核直通

传 id allowlist（或 slot bitmask）给 search()，内核直接尊重——总是从允许集返回最多 k 个结果。

• 块级短路：32-向量块粒度，无允许 slot 的块在 LUT 查询/评分前直接跳过
• slot 级丢弃：已评分块内的非允许 slot 在 heap 插入时丢弃
• 选择性收益：小比例 allowlist 避开大部分 SIMD 成本，而非付完再丢结果
• 精确输出：长度 min(k, len(allowed))，allowlist 小于 k 时返回恰好 len(allowed) 个，无 padding
• 混合检索友好：SQL/BM25/ACL/时间窗先筛候选 id，turbovec 做稠密 rerank

vs FAISS IndexPQ（LUT256, nbits=8）

100K 向量，k=64。FAISS PQ 子量化器数按 TurboQuant 比特率配（2-bit m=d/4，4-bit m=d/2）。注：选 FAISS IndexPQ 而非论文里的 u8-LUT PQ——FAISS 用更高精度 LUT + k-means++ 训练，是更强的基线。

双语言 API + 框架集成

框架 drop-in 替换（同 public surface、同持久化语义、同 retriever/pipeline 接线）：

五行 Python 跑起来

# Python
pip install turbovec

from turbovec import TurboQuantIndex
index = TurboQuantIndex(dim=1536, bit_width=4)
index.add(vectors)          # 在线 ingest，无 train
index.add(more_vectors)     # 语料增长无需重建
scores, indices = index.search(query, k=10)
index.write("my_index.tv")
loaded = TurboQuantIndex.load("my_index.tv")

# Rust
cargo add turbovec
use turbovec::TurboQuantIndex;
let mut index = TurboQuantIndex::new(1536, 4)?;
index.add(&vectors);
let results = index.search(&queries, 10);

# 混合检索：外部系统筛候选 → dense rerank
allowed = np.array(db.execute("SELECT id FROM docs WHERE tenant=?", (t,)).fetchall(), dtype=np.uint64)
scores, ids = idx.search(query, k=10, allowlist=allowed)

Rust 核心 + maturin 桥接

• Rust：核心索引与 SIMD 内核，cargo build --release
• maturin：Python 绑定构建，产出 wheel
• PyO3（隐含）：Rust↔Python FFI
• NumPy：Python 侧数组接口，仅接受 float32（不静默转换，需显式 cast）
• target_feature 门控：AVX-512/AVX2 内核运行时检测启用
• .cargo/config.toml：x86-64-v2 编译基线
• 独立 benchmarks 套件：benchmarks/suite/ 自带脚本 + 数据下载，JSON 结果 + 图表生成

适合谁用

• 内存敏感的 RAG：大语料塞不进内存，需要 16× 压缩又不牺牲太多 recall
• 气隙/隐私部署：纯本地无托管服务，配开源 embedding 做完全离线 RAG
• 混合检索系统：SQL/BM25 先筛 + dense rerank，allowlist 内核直通零 recall 损失
• ARM 服务器/边缘设备：NEON 内核比 FAISS 快 10–19%，Apple Silicon / Graviton 友好
• 流式 ingest 场景：语料持续增长，受够训练+重建循环
• LangChain/LlamaIndex/Haystack/Agno 用户：一行 import 替换 in-tree 向量存储

需要权衡

• 无 ANN 图索引：是暴力扫描量化索引，非 HNSW/IVF——超大规模（亿级）未必比图索引快
• x86 2-bit 略输：AVX-512BW 在 2-bit 配置输 FAISS 几个百分点（VBMI 路径优势）
• 低维场景受限：GloVe d=200 等低维，Beta 渐近假设较松，优势缩小
• 早期项目：182 commits、14.3k Stars，生态尚浅（vs FAISS/LanceDB 成熟度）
• 仅内积/余弦：随机旋转假设向量是超球面方向，非方向性向量（如某些 L2 场景）适用性需验证
• 无分布式：单机索引，无分片/复制，超大规模需上层协调

站在三篇论文肩上

• TurboQuant（arXiv 2504.19874, ICLR 2026）——本项目实现的算法，data-oblivious 在线量化
• RaBitQ（arXiv 2405.12497, SIGMOD 2024）——每向量长度归一化校正的来源（编码第 6 步）
• FAISS FastScan——x86 SIMD 内核借鉴其 pack 布局、nibble-LUT 评分、u16 累加策略

理论扎实：失真因子 2.7× 于 Shannon 信息论下界，长度归一化消除 Lloyd-Max 码本对内积估计器的残余偏差。

未来空间

14.3k Stars 说明「无训练 + 16× 压缩 + 纯本地」的组合击中真实痛点。TurboQuant 论文背书（ICLR 2026）+ 工程化到位（双语言、四框架 drop-in、混合检索 allowlist）构成扎实基座。若能补齐 ANN 图索引路径、扩展分布式，有机会在隐私/边缘 RAG 赛道切开 FAISS/LanceDB 的份额。当下定位精准：内存/延迟/隐私敏感场景的最佳选择之一。