Chroma 教程 收藏

内存与容量

🎉摘要:HNSW是一种基于图结构的近似最近邻检索算法,用于在百万/亿级向量库中快速找到Top-K相似向量。本文介绍HNSW的内存估算公式(记录数×维度×4字节×1.5),并提供10万、100万、1000万记录在主流维度下的大致内存容量,以及内存不足时的优化策略:降维、清理数据、分片、换SPANN/上云、加内存。

HNSW(Hierarchical Navigable Small World)一种基于图结构的近似最近邻检索算法(ANN),用来解决,给一个查询向量,在百万 / 亿级向量库里快速找到最相似的 Top-K 向量,不用暴力全量比对。

相比暴力检索(Brute-force)精度 100%,但是慢;HNSW 牺牲一点点精度,换极快的查询速度,是现在向量数据库最主流索引。  

HNSW 是纯内存索引,内存估算公式:

内存 ≈ 记录数 × 维度 × 4 字节 × 1.5

其中,“记录数 × 维度 × 4”是向量本身(float32,每个浮点数 4 字节) 。“1.5”是额外开销系数,用来粗略覆盖索引、元数据、图结构等。

这仅适合快速拍脑袋预估内存,不能当作精确值,尤其是 HNSW。  

下表是 10 万、100 万、1000 万记录主流维度需要的大致内存容量:

记录数384 维768 维1536 维
10 万230 MB460 MB921 MB
100 万2.3 GB4.6 GB9.2 GB
1000 万23 GB46 GB92 GB

如果内存撑不住,怎么办?按代价从小到大:

  1. 降维:OpenAI 3 系列支持 dimensions 参数;有些模型支持 Matryoshka 表示学习(截断前 N 维仍可用)。

  2. 清理无用数据:删掉过期的集合和文档,然后 chroma vacuum。

  3. 分片:按业务线/时间拆成多个集合,只把热集合放内存。

  4. 换 SPANN / 上 Cloud:磁盘友好的索引,适合千万级以上。

  5. 加内存:简单粗暴但有效。

说说我的看法
全部评论()
没有评论
关于
本网站专注于 Java、数据库(MySQL、Oracle)、Linux、软件架构及大数据等多领域技术知识分享。涵盖丰富的原创与精选技术文章,助力技术传播与交流。无论是技术新手渴望入门,还是资深开发者寻求进阶,这里都能为您提供深度见解与实用经验,让复杂编码变得轻松易懂,携手共赴技术提升新高度。如有侵权,请来信告知:hxstrive@outlook.com
其他应用
公众号