Skip to content

向量化与索引:嵌入模型、ANN 与向量库选型 ​

04 数据摄取 产出了块。这一篇回答:块怎么变成向量,向量怎么被快速找到,以及索引系统怎么选。

索引是什么?像书的目录,帮助你快速定位内容。

索引(index)是根据数据预先建立的查找结构,目的是少翻一些数据,更快找到目标。

概念通俗理解在本文里做什么
向量给内容一组“语义坐标”表示“住宿每晚 600 元”的意思
索引提前整理好的“查找路线”快速找到与“住宿能报多少”接近的向量
向量库管理数据的“仓库”保存向量、块 ID、元数据,并提供索引和查询能力

向量化解决“怎么表示”,建索引解决“怎么快找”。 命中向量后,再通过块 ID 取回原文;索引本身不是答案,也不是原文。

1、向量到底是什么 ​

嵌入模型把一段文字映射成一个固定长度的数字数组:

text
"住宿标准为每晚 600 元" → [0.013, -0.027, 0.041, ..., 0.008]   # 1024 维
"酒店报销上限六百"       → [0.011, -0.019, 0.038, ..., 0.012]   # 方向接近
"今天天气不错"           → [-0.042, 0.067, 0.004, ..., -0.031]  # 方向较远

它表达的是语义方向,不是字面匹配。因此:

  • 同义改写可以互相召回;
  • 专有名词、错误码、人名,向量反而不如关键词;
  • 向量相似不等于“包含答案”,只等于“主题接近”;
  • 向量不是知识库,不能从中还原原文。

相似度常用三种:

度量公式直觉特点
余弦看夹角,忽略长度最常用,适合归一化向量
点积夹角 + 长度模型训练时就使用点积时更合适
欧氏距离看直线距离与归一化后的余弦排序等价

如果向量已归一化(长度为 1),余弦相似度与点积相同。很多向量库默认用余弦或内积,建索引和查询必须用同一种度量,否则排序会错。

2、嵌入模型怎么选 ​

不要只看 MTEB 榜单。榜单上的分数跨模型、跨数据集不一定可比,且与你的语料分布差异很大。按下面顺序筛:

  1. 语言:中文/多语言是否覆盖,专有名词和领域词表现如何;
  2. 长度:块有多长,模型最大输入是否够;超长会被截断;
  3. 维度:向量包含多少个数字,影响存储和检索成本,但不是越高越好;有些模型支持降维,详见 2.5 维度详解;
  4. 对称性:查询和文档是否需要不同前缀/指令;
  5. 部署:本地 GPU、CPU、云端 API,延迟与数据出域;
  6. 许可:模型权重、商用条款、再分发限制;
  7. 版本稳定性:升级是否会导致索引不兼容。

2.1 常见模型族 ​

模型特点注意
BGE-M3稠密 + 稀疏 + 多向量(ColBERT),8192 上下文,多语言,MIT三种输出可组合;显存与索引复杂度上升
Qwen3-Embedding提供 0.6B/4B/8B 等规模,多语言大模型效果好但成本高;确认查询指令格式
EmbeddingGemma轻量、适合本地/边缘维度和语言覆盖需按版本核对
E5 系列多语言、检索任务常用通常需要 query:/passage: 前缀
jina-embeddings长文本、多语言版本与许可按模型卡核对
nomic-embed开源、长上下文任务前缀与维度需固定
云端嵌入 API免运维、稳定数据出域、按量计费、版本可能升级

这张表不是排行榜。正确做法是:用你自己的 100–300 条查询做小规模对比,看 Recall@20、延迟和成本,而不是抄榜单第一名。

2.2 指标怎么读:Recall@20 ​

Recall@20 衡量的是 该找到的块有没有进入前 20 条候选,而不是“排第一的是不是标准答案”。

text
Recall@20 = 前 20 条中命中的相关块数 / 该查询的全部相关块数

例如一条查询在语料里有 4 个相关块,前 20 条覆盖了其中 3 个,这条查询的 Recall@20 = 3 / 4 = 0.75;把 100–300 条查询的分数取平均,就是本次对比的总分。

为什么看前 20 条而不是第一条:嵌入检索只是 召回层,后面还有阈值过滤、重排和上下文组装。这一层的目标是“别漏”,把候选池铺够大;排序精不精由重排负责。看 top-1 会把召回问题误当成排序问题。

它和几个常混指标的分工:

指标回答的问题是否关心顺序
Recall@20相关块有没有进前 20 条不关心,进了就行
Precision@20前 20 条里有多少是相关的不关心
MRR第一个相关结果排第几关心
nDCG@10前 10 条的相关性排得好不好关心(榜单常用)

自己测的时候要注意:

  • 需要 ground truth:每条查询要人工标出应该命中哪些块,没有标注就算不了召回率;
  • 相关块超过 20 个时,Recall@20 的上限只有 20 / 相关块数,永远到不了 1,所以 k 要选得比典型相关块数量大;
  • 切分策略变了,相关块的粒度和数量也会变,只能在同一套切分下比较不同模型,不能跨数据集、跨切分直接比数值。

所以选型时量的是三件事:漏没漏(Recall@20)、慢不慢(延迟)、贵不贵(成本)。

2.3 查询侧与文档侧不对称 ​

很多检索模型是“非对称”的:查询短、文档长,训练时用了不同前缀。例如:

text
文档:passage: 一线城市住宿标准为每晚上限 600 元……
查询:query: 出差住宿能报多少?

如果模型卡要求前缀而你没加,效果会明显下降,而且不会报错。把“查询前缀/指令”写进索引配置,和模型名一起版本化。

2.4 换模型等于换索引 ​

不同模型的向量空间不可比。即使维度相同,语义坐标也完全不同。因此:

  • 索引必须记录模型名、版本、维度、归一化方式、查询指令;
  • 查询时校验这些字段;
  • 换模型必须全量重建,不能增量混写;
  • 重建期间用双索引/别名切换,不要原地覆盖。

2.5 维度图解:从数字个数到存储成本 ​

维度 = 一个向量里的数字个数。 点下面的维度按钮,看看它怎样影响存储。

01几个数字,就是几维
“忘记密码”嵌入模型[0.12, −0.35, …]
= 768 个数字
一格代表 96 个数字。文字更长,不代表维度更多。
02这些数字,用来比较“意思像不像”
相关文本方向接近的二维示意查询“忘记密码”和文档“重置密码”的夹角较小,文档“明天天气”方向较远。人为示意,不是真实模型输出。真实语义由多个坐标共同表达。忘记密码重置密码明天天气原点
● 查询◆ 相关文档■ 无关文档
夹角越小,方向越近(余弦)。此图仅为示意,高维也能这样计算。
03维度翻倍,原始向量存储翻倍
× 维度 × 4 字节(float32)
384 维
1.54 GB
768 维
3.07 GB
1536 维
6.14 GB
十进制容量;仅算原始向量,不含索引、原文和副本。
数据表
维度单向量 / 字节总量 / 字节
38415361,536,000,000
76830723,072,000,000
153661446,144,000,000

怎么选?不是越高越准;用自己的问题测,够用就好。

能降维吗?按模型说明或统一降维方法处理,再重建索引;别随手删数字。

能混用吗?查询与文档须使用兼容模型、版本、维度和处理规则。

3、ANN 索引:为什么不能全量扫描 ​

索引就是提前整理好的查找路线。 全量扫描比较每个向量;近似最近邻(ANN)尽量少比较,换取速度。切换按钮,直接看三种路线:

HNSW:沿图找的概念示意圆点代表已存文档向量,菱形代表查询,实心圆是示意中参与比较的向量。从入口沿邻居连接逐步接近目标;这里只画一层示意。这是人为路线,不是实际算法运行结果。问题入口
○ 文档向量● 参与比较◆ 问题向量
从入口沿邻居连接逐步接近目标;这里只画一层示意。图仅示意:近似搜索可能漏掉真正的最近邻;向量最近也不等于一定含答案。

PQ 是压缩向量的办法,不是另一种查找路线,可与 IVF 等组合。具体延迟要实测,不能只由向量数量推断。

3.1 HNSW ​

分层可导航小世界图。查询从稀疏的顶层开始,逐层向下找近邻。

关键参数:

参数作用调大后
M每个节点的邻居数召回↑、内存↑、构建慢
efConstruction构建时搜索宽度索引质量↑、构建慢
efSearch查询时搜索宽度召回↑、延迟↑

特点:召回高、延迟低、支持增量插入;内存占用较大,删除通常是标记删除,需要定期压缩。

3.2 IVF ​

先用聚类把向量分到 nlist 个桶,查询时只搜最近的 nprobe 个桶。

参数作用
nlist桶数量,通常按 sqrt(n) 量级调
nprobe查询时探多少个桶,越大召回越高、越慢

特点:内存比 HNSW 省,构建快;对数据分布敏感,需要训练;过滤和增量更新不如 HNSW 灵活。

3.3 PQ(乘积量化) ​

把高维向量切段、每段用码本压缩,大幅降低内存,但会损失精度。常见组合是 IVF-PQ,适合亿级向量、内存受限的场景。

3.4 怎么选 ​

场景建议
小于几十万块暴力扫描或 HNSW 都行,先简单
百万级、低延迟HNSW
亿级、内存敏感IVF-PQ 或磁盘索引
频繁删除/更新支持增量与压缩的 HNSW 实现
强过滤条件支持 filtered search 的向量库

参数没有通用最优值。用真实数据和查询测“召回 vs 延迟”曲线,再定参数。

4、过滤:ANN 最容易踩的坑 ​

RAG 几乎一定有过滤条件:租户、知识库、文档状态、版本、时间、标签。

三种过滤时机:

方式做法风险
后过滤先 ANN 取 top-k,再删不合法过滤后可能不足 k,甚至为空
前过滤先按条件缩小集合,再 ANN需要索引支持,否则退化为扫描
内联过滤ANN 搜索时同时判断条件实现复杂,但最稳

最危险的是“先取 top-10,再按租户过滤,只剩 1 条”。正确做法是让过滤参与检索,或者过度召回(比如取 top-100)再过滤,但要接受延迟和成本。

另一个坑是过滤字段的选择性。如果某个租户只有 100 个块,而全库有 1 亿,HNSW 在全局图上搜索可能很难进入这个小分区。支持分区/命名空间/租户隔离的向量库会更合适。

5、向量库选型 ​

方案适合不适合注意
pgvector已有 PostgreSQL、中等规模、想用事务超大规模、极致低延迟索引参数随版本变化;过滤与事务是优势
Qdrant服务化、payload 过滤、混合检索只想用一个库搞定所有事Apache-2.0;规划分片、备份、快照
Milvus大规模、多索引、分布式小团队不想运维集群组件多;本地学习不必一上来上集群
Weaviate内置模块、混合检索想完全自控版本升级与模块依赖要评估
Chroma原型、本地开发高并发生产轻量易用,生产特性按版本核对
FAISS离线实验、定制索引想要现成的增删改查服务是库不是数据库,元数据要自己做
Elasticsearch/OpenSearch已有搜索栈、关键词强纯向量极致性能向量 + BM25 混合是优势
云托管向量服务免运维、弹性数据出域、成本不可控配额、区域、锁定

选型先问五个问题:

  1. 数据量和增长预期是多少?
  2. 需要多强的过滤/多租户隔离?
  3. 是否要关键词混合检索?
  4. 团队能维护几个分布式组件?
  5. 备份、恢复、迁移怎么做?

对大多数团队,已有 PostgreSQL 就用 pgvector 起步,规模上来再评估专用向量库,比一开始上集群更稳。

6、索引版本与重建 ​

索引不是一次建完就不变的。以下情况都需要重建:

  • 换嵌入模型或版本;
  • 改切分策略;
  • 改向量维度/归一化;
  • 大规模删除后压缩;
  • 数据修复。

推荐“蓝绿索引”:

text
旧索引 v1(线上别名 current)
   ↑ 查询
新索引 v2 构建中(写双份或离线构建)
   ↓ 校验:数量、抽样、评估集指标
原子切换别名 current → v2
保留 v1 一段时间,便于回滚

要点:

  • 查询通过别名/配置指向版本,不硬编码索引名;
  • 构建期间新文档要双写或记录增量,切换后补齐;
  • 切换前跑评估集,不只看“构建成功”;
  • 回滚要能在分钟级完成;
  • 旧版本清理延迟执行,避免切换后发现漏数据。

7、容量与成本估算 ​

一个粗略公式:

text
向量内存 ≈ 块数 × 维度 × 4 字节 × (1 + 索引开销)

例如 100 万块、1024 维:

  • 原始向量约 4.1 GB;
  • HNSW 图结构、元数据、副本通常还要额外 30%–100%;
  • 若保留两个版本,再乘 2。

再加上:

  • 原文和元数据的存储;
  • 关键词索引;
  • 备份与快照;
  • 嵌入计算的 token 成本;
  • 查询时的 embedding 调用成本。

很多团队只算了向量存储,忽略了重复版本和备份,上线后磁盘迅速打满。

8、常见误区 ​

  1. 维度越高越好:高维增加存储和计算,效果未必提升;先用基线模型测。
  2. 一个模型打天下:中文、代码、多语言可能需要不同模型或不同索引。
  3. 混淆度量:余弦本身按模长归一化,单位向量的余弦、点积与欧氏距离排序等价;不要误把未归一化向量的点积当余弦,度量与预处理应遵循模型要求。
  4. 用 ANN 近似值当真实分数:不同索引返回的分数尺度可能不同,融合前要归一化或只用排名。
  5. 过滤放在检索后:导致结果不足或越权。
  6. 换模型不重建:查询向量和索引向量不在同一空间,结果不可解释。
  7. 只看平均延迟:P95/P99 才是用户体验;ANN 在坏情况下可能退化。

9、检查清单 ​

  • 索引记录了模型、版本、维度、度量、归一化、查询指令;
  • 查询侧与文档侧分别按模型要求设置前缀;
  • ANN 参数用真实数据调过,记录了召回/延迟曲线;
  • 过滤条件在检索时生效,并有越权测试;
  • 有索引版本与回滚方案;
  • 删除/更新后旧向量不可检索;
  • 容量估算包含副本、备份、双版本;
  • 有 P95/P99 延迟与错误率监控。

10、一句话总结 ​

向量化决定“意思能不能被找到”,索引决定“能不能快速找到”,过滤决定“该不该被找到”。三者缺一不可。

下一步:06 检索与重排,看如何把多路候选变成高质量证据。

评论

正在加载评论…