HNSW(Hierarchical Navigable Small World)一种基于图结构的近似最近邻检索算法(ANN),用来解决,给一个查询向量,在百万 / 亿级向量库里快速找到最相似的 Top-K 向量,不用暴力全量比对。
相比暴力检索(Brute-force)精度 100%,但是慢;HNSW 牺牲一点点精度,换极快的查询速度,是现在向量数据库最主流索引。
HNSW 是纯内存索引,内存估算公式:
内存 ≈ 记录数 × 维度 × 4 字节 × 1.5其中,“记录数 × 维度 × 4”是向量本身(float32,每个浮点数 4 字节) 。“1.5”是额外开销系数,用来粗略覆盖索引、元数据、图结构等。
这仅适合快速拍脑袋预估内存,不能当作精确值,尤其是 HNSW。
下表是 10 万、100 万、1000 万记录主流维度需要的大致内存容量:
| 记录数 | 384 维 | 768 维 | 1536 维 |
| 10 万 | 230 MB | 460 MB | 921 MB |
| 100 万 | 2.3 GB | 4.6 GB | 9.2 GB |
| 1000 万 | 23 GB | 46 GB | 92 GB |
如果内存撑不住,怎么办?按代价从小到大:
降维:OpenAI 3 系列支持 dimensions 参数;有些模型支持 Matryoshka 表示学习(截断前 N 维仍可用)。
清理无用数据:删掉过期的集合和文档,然后 chroma vacuum。
分片:按业务线/时间拆成多个集合,只把热集合放内存。
换 SPANN / 上 Cloud:磁盘友好的索引,适合千万级以上。
加内存:简单粗暴但有效。