向量化与索引:嵌入模型、ANN 与向量库选型
04 数据摄取 产出了块。这一篇回答:块怎么变成向量,向量怎么被快速找到,以及索引系统怎么选。
索引是什么?像书的目录,帮助你快速定位内容。
索引(index)是根据数据预先建立的查找结构,目的是少翻一些数据,更快找到目标。
| 概念 | 通俗理解 | 在本文里做什么 |
|---|---|---|
| 向量 | 给内容一组“语义坐标” | 表示“住宿每晚 600 元”的意思 |
| 索引 | 提前整理好的“查找路线” | 快速找到与“住宿能报多少”接近的向量 |
| 向量库 | 管理数据的“仓库” | 保存向量、块 ID、元数据,并提供索引和查询能力 |
向量化解决“怎么表示”,建索引解决“怎么快找”。 命中向量后,再通过块 ID 取回原文;索引本身不是答案,也不是原文。
1、向量到底是什么
嵌入模型把一段文字映射成一个固定长度的数字数组:
"住宿标准为每晚 600 元" → [0.013, -0.027, 0.041, ..., 0.008] # 1024 维
"酒店报销上限六百" → [0.011, -0.019, 0.038, ..., 0.012] # 方向接近
"今天天气不错" → [-0.042, 0.067, 0.004, ..., -0.031] # 方向较远它表达的是语义方向,不是字面匹配。因此:
- 同义改写可以互相召回;
- 专有名词、错误码、人名,向量反而不如关键词;
- 向量相似不等于“包含答案”,只等于“主题接近”;
- 向量不是知识库,不能从中还原原文。
相似度常用三种:
| 度量 | 公式直觉 | 特点 |
|---|---|---|
| 余弦 | 看夹角,忽略长度 | 最常用,适合归一化向量 |
| 点积 | 夹角 + 长度 | 模型训练时就使用点积时更合适 |
| 欧氏距离 | 看直线距离 | 与归一化后的余弦排序等价 |
如果向量已归一化(长度为 1),余弦相似度与点积相同。很多向量库默认用余弦或内积,建索引和查询必须用同一种度量,否则排序会错。
2、嵌入模型怎么选
不要只看 MTEB 榜单。榜单上的分数跨模型、跨数据集不一定可比,且与你的语料分布差异很大。按下面顺序筛:
- 语言:中文/多语言是否覆盖,专有名词和领域词表现如何;
- 长度:块有多长,模型最大输入是否够;超长会被截断;
- 维度:向量包含多少个数字,影响存储和检索成本,但不是越高越好;有些模型支持降维,详见 2.5 维度详解;
- 对称性:查询和文档是否需要不同前缀/指令;
- 部署:本地
GPU、CPU、云端API,延迟与数据出域; - 许可:模型权重、商用条款、再分发限制;
- 版本稳定性:升级是否会导致索引不兼容。
2.1 常见模型族
| 模型 | 特点 | 注意 |
|---|---|---|
BGE-M3 | 稠密 + 稀疏 + 多向量(ColBERT),8192 上下文,多语言,MIT | 三种输出可组合;显存与索引复杂度上升 |
Qwen3-Embedding | 提供 0.6B/4B/8B 等规模,多语言 | 大模型效果好但成本高;确认查询指令格式 |
EmbeddingGemma | 轻量、适合本地/边缘 | 维度和语言覆盖需按版本核对 |
E5 系列 | 多语言、检索任务常用 | 通常需要 query:/passage: 前缀 |
jina-embeddings | 长文本、多语言 | 版本与许可按模型卡核对 |
nomic-embed | 开源、长上下文 | 任务前缀与维度需固定 |
云端嵌入 API | 免运维、稳定 | 数据出域、按量计费、版本可能升级 |
这张表不是排行榜。正确做法是:用你自己的 100–300 条查询做小规模对比,看 Recall@20、延迟和成本,而不是抄榜单第一名。
2.2 指标怎么读:Recall@20
Recall@20 衡量的是 该找到的块有没有进入前 20 条候选,而不是“排第一的是不是标准答案”。
Recall@20 = 前 20 条中命中的相关块数 / 该查询的全部相关块数例如一条查询在语料里有 4 个相关块,前 20 条覆盖了其中 3 个,这条查询的 Recall@20 = 3 / 4 = 0.75;把 100–300 条查询的分数取平均,就是本次对比的总分。
为什么看前 20 条而不是第一条:嵌入检索只是 召回层,后面还有阈值过滤、重排和上下文组装。这一层的目标是“别漏”,把候选池铺够大;排序精不精由重排负责。看 top-1 会把召回问题误当成排序问题。
它和几个常混指标的分工:
| 指标 | 回答的问题 | 是否关心顺序 |
|---|---|---|
Recall@20 | 相关块有没有进前 20 条 | 不关心,进了就行 |
Precision@20 | 前 20 条里有多少是相关的 | 不关心 |
MRR | 第一个相关结果排第几 | 关心 |
nDCG@10 | 前 10 条的相关性排得好不好 | 关心(榜单常用) |
自己测的时候要注意:
- 需要 ground truth:每条查询要人工标出应该命中哪些块,没有标注就算不了召回率;
- 相关块超过 20 个时,
Recall@20的上限只有20 / 相关块数,永远到不了1,所以 k 要选得比典型相关块数量大; - 切分策略变了,相关块的粒度和数量也会变,只能在同一套切分下比较不同模型,不能跨数据集、跨切分直接比数值。
所以选型时量的是三件事:漏没漏(Recall@20)、慢不慢(延迟)、贵不贵(成本)。
2.3 查询侧与文档侧不对称
很多检索模型是“非对称”的:查询短、文档长,训练时用了不同前缀。例如:
文档:passage: 一线城市住宿标准为每晚上限 600 元……
查询:query: 出差住宿能报多少?如果模型卡要求前缀而你没加,效果会明显下降,而且不会报错。把“查询前缀/指令”写进索引配置,和模型名一起版本化。
2.4 换模型等于换索引
不同模型的向量空间不可比。即使维度相同,语义坐标也完全不同。因此:
- 索引必须记录模型名、版本、维度、归一化方式、查询指令;
- 查询时校验这些字段;
- 换模型必须全量重建,不能增量混写;
- 重建期间用双索引/别名切换,不要原地覆盖。
2.5 维度图解:从数字个数到存储成本
维度 = 一个向量里的数字个数。 点下面的维度按钮,看看它怎样影响存储。
3、ANN 索引:为什么不能全量扫描
索引就是提前整理好的查找路线。 全量扫描比较每个向量;近似最近邻(ANN)尽量少比较,换取速度。切换按钮,直接看三种路线:
PQ 是压缩向量的办法,不是另一种查找路线,可与 IVF 等组合。具体延迟要实测,不能只由向量数量推断。
3.1 HNSW
分层可导航小世界图。查询从稀疏的顶层开始,逐层向下找近邻。
关键参数:
| 参数 | 作用 | 调大后 |
|---|---|---|
M | 每个节点的邻居数 | 召回↑、内存↑、构建慢 |
efConstruction | 构建时搜索宽度 | 索引质量↑、构建慢 |
efSearch | 查询时搜索宽度 | 召回↑、延迟↑ |
特点:召回高、延迟低、支持增量插入;内存占用较大,删除通常是标记删除,需要定期压缩。
3.2 IVF
先用聚类把向量分到 nlist 个桶,查询时只搜最近的 nprobe 个桶。
| 参数 | 作用 |
|---|---|
nlist | 桶数量,通常按 sqrt(n) 量级调 |
nprobe | 查询时探多少个桶,越大召回越高、越慢 |
特点:内存比 HNSW 省,构建快;对数据分布敏感,需要训练;过滤和增量更新不如 HNSW 灵活。
3.3 PQ(乘积量化)
把高维向量切段、每段用码本压缩,大幅降低内存,但会损失精度。常见组合是 IVF-PQ,适合亿级向量、内存受限的场景。
3.4 怎么选
| 场景 | 建议 |
|---|---|
| 小于几十万块 | 暴力扫描或 HNSW 都行,先简单 |
| 百万级、低延迟 | HNSW |
| 亿级、内存敏感 | IVF-PQ 或磁盘索引 |
| 频繁删除/更新 | 支持增量与压缩的 HNSW 实现 |
| 强过滤条件 | 支持 filtered search 的向量库 |
参数没有通用最优值。用真实数据和查询测“召回 vs 延迟”曲线,再定参数。
4、过滤:ANN 最容易踩的坑
RAG 几乎一定有过滤条件:租户、知识库、文档状态、版本、时间、标签。
三种过滤时机:
| 方式 | 做法 | 风险 |
|---|---|---|
| 后过滤 | 先 ANN 取 top-k,再删不合法 | 过滤后可能不足 k,甚至为空 |
| 前过滤 | 先按条件缩小集合,再 ANN | 需要索引支持,否则退化为扫描 |
| 内联过滤 | ANN 搜索时同时判断条件 | 实现复杂,但最稳 |
最危险的是“先取 top-10,再按租户过滤,只剩 1 条”。正确做法是让过滤参与检索,或者过度召回(比如取 top-100)再过滤,但要接受延迟和成本。
另一个坑是过滤字段的选择性。如果某个租户只有 100 个块,而全库有 1 亿,HNSW 在全局图上搜索可能很难进入这个小分区。支持分区/命名空间/租户隔离的向量库会更合适。
5、向量库选型
| 方案 | 适合 | 不适合 | 注意 |
|---|---|---|---|
pgvector | 已有 PostgreSQL、中等规模、想用事务 | 超大规模、极致低延迟 | 索引参数随版本变化;过滤与事务是优势 |
Qdrant | 服务化、payload 过滤、混合检索 | 只想用一个库搞定所有事 | Apache-2.0;规划分片、备份、快照 |
Milvus | 大规模、多索引、分布式 | 小团队不想运维集群 | 组件多;本地学习不必一上来上集群 |
Weaviate | 内置模块、混合检索 | 想完全自控 | 版本升级与模块依赖要评估 |
Chroma | 原型、本地开发 | 高并发生产 | 轻量易用,生产特性按版本核对 |
FAISS | 离线实验、定制索引 | 想要现成的增删改查服务 | 是库不是数据库,元数据要自己做 |
Elasticsearch/OpenSearch | 已有搜索栈、关键词强 | 纯向量极致性能 | 向量 + BM25 混合是优势 |
| 云托管向量服务 | 免运维、弹性 | 数据出域、成本不可控 | 配额、区域、锁定 |
选型先问五个问题:
- 数据量和增长预期是多少?
- 需要多强的过滤/多租户隔离?
- 是否要关键词混合检索?
- 团队能维护几个分布式组件?
- 备份、恢复、迁移怎么做?
对大多数团队,已有 PostgreSQL 就用 pgvector 起步,规模上来再评估专用向量库,比一开始上集群更稳。
6、索引版本与重建
索引不是一次建完就不变的。以下情况都需要重建:
- 换嵌入模型或版本;
- 改切分策略;
- 改向量维度/归一化;
- 大规模删除后压缩;
- 数据修复。
推荐“蓝绿索引”:
旧索引 v1(线上别名 current)
↑ 查询
新索引 v2 构建中(写双份或离线构建)
↓ 校验:数量、抽样、评估集指标
原子切换别名 current → v2
保留 v1 一段时间,便于回滚要点:
- 查询通过别名/配置指向版本,不硬编码索引名;
- 构建期间新文档要双写或记录增量,切换后补齐;
- 切换前跑评估集,不只看“构建成功”;
- 回滚要能在分钟级完成;
- 旧版本清理延迟执行,避免切换后发现漏数据。
7、容量与成本估算
一个粗略公式:
向量内存 ≈ 块数 × 维度 × 4 字节 × (1 + 索引开销)例如 100 万块、1024 维:
- 原始向量约 4.1 GB;
HNSW图结构、元数据、副本通常还要额外 30%–100%;- 若保留两个版本,再乘 2。
再加上:
- 原文和元数据的存储;
- 关键词索引;
- 备份与快照;
- 嵌入计算的
token成本; - 查询时的
embedding调用成本。
很多团队只算了向量存储,忽略了重复版本和备份,上线后磁盘迅速打满。
8、常见误区
- 维度越高越好:高维增加存储和计算,效果未必提升;先用基线模型测。
- 一个模型打天下:中文、代码、多语言可能需要不同模型或不同索引。
- 混淆度量:余弦本身按模长归一化,单位向量的余弦、点积与欧氏距离排序等价;不要误把未归一化向量的点积当余弦,度量与预处理应遵循模型要求。
- 用
ANN近似值当真实分数:不同索引返回的分数尺度可能不同,融合前要归一化或只用排名。 - 过滤放在检索后:导致结果不足或越权。
- 换模型不重建:查询向量和索引向量不在同一空间,结果不可解释。
- 只看平均延迟:
P95/P99才是用户体验;ANN在坏情况下可能退化。
9、检查清单
- 索引记录了模型、版本、维度、度量、归一化、查询指令;
- 查询侧与文档侧分别按模型要求设置前缀;
ANN参数用真实数据调过,记录了召回/延迟曲线;- 过滤条件在检索时生效,并有越权测试;
- 有索引版本与回滚方案;
- 删除/更新后旧向量不可检索;
- 容量估算包含副本、备份、双版本;
- 有
P95/P99延迟与错误率监控。
10、一句话总结
向量化决定“意思能不能被找到”,索引决定“能不能快速找到”,过滤决定“该不该被找到”。三者缺一不可。
下一步:06 检索与重排,看如何把多路候选变成高质量证据。
评论
正在加载评论…