Chroma 教程 收藏

先量,再优化

🎉摘要:通过Chroma向量库2万条384维数据的基准测试,实测发现:数据量小时ef_search参数对延迟和召回几乎无影响,批量查询比单条查询快5倍。结论是十万级以下数据量不必纠结索引参数,应优先关注批量化、减少往返和缓存优化。

你发现没有,日常开发中,当系统查询缓慢时,大多数就是数据量上来了。

例如,新系统刚上线,数据不到一万条,查询语句不需要优化,索引都不需要创建,依然很快。当系统稳定运行一两年,数据从一万上升到百万,部分查询开始变慢了,这时候我们才会去优化。

如果系统刚刚上线,我们就做“优化”最后可能是瞎忙(系统数据量永远达不到需要优化的量级,特意去优化几乎没有收益),而且优化也不是一次完成,是一个持续的动作。

所以,系统优化的第一步永远是量,确定什么量级才去优化。

下面是我用的基准脚本(20000 条 384 维、聚类分布、带预热):

import os
import tempfile
import time
import numpy as np
import chromadb
from chromadb.api import CreateCollectionConfiguration
from chromadb.api.collection_configuration import CreateHNSWConfiguration, UpdateHNSWConfiguration, \
    UpdateCollectionConfiguration

# 切换工作目录到系统临时文件夹,避免在当前项目目录生成持久化文件,测试结束自动清理
os.chdir(tempfile.mkdtemp(prefix="chroma_demo_"))

# 实例化持久化Chroma客户端,向量库数据保存在临时目录中的 ./_bench 目录
client = chromadb.PersistentClient(path="./_bench")
col = client.get_or_create_collection(
    name="bench",
    embedding_function=None,
    configuration=CreateCollectionConfiguration(
        hnsw=CreateHNSWConfiguration(
            space="cosine",        # 距离度量方式:余弦相似度,适合文本Embedding
            ef_search=100,         # 查询阶段ef值:控制召回精度与速度,越大越准、越慢
        )
    )
)

# ======================================================
# 使用 numpy 生成向量数据,模拟真实业务场景
# ======================================================
# 下面部是 numpy 相关的知识,后续专门教程详细介绍
# D:向量维度 384(BGE-small等轻量embedding常用维度)
# N:总样本数量20000条
D, N = 384, 20000
# 固定随机种子,保证每次运行生成的向量完全一致,方便对比基准测试结果
rng = np.random.default_rng(42)

# 模拟生成50个聚类中心点,模仿真实业务Embedding天然聚集的分布(不是完全随机均匀分布)
centers = rng.normal(size=(50, D)).astype(np.float32)
# 给20000条向量分配簇标签,每条向量归属50个簇中的某一个
labels = rng.integers(0, 50, N)
# 在簇中心点基础上叠加高斯噪声,生成带聚类特征的样本向量
X = (centers[labels] + rng.normal(scale=0.6, size=(N, D))).astype(np.float32)
# L2归一化向量,余弦相似度计算要求向量归一,消除模长影响
X /= np.linalg.norm(X, axis=1, keepdims=True)

# 生成文档唯一ID列表
ids = [f"i{i}" for i in range(N)]
# 模拟文档文本内容,增加文本长度贴近真实场景
docs = [f"文档内容 {i} " + "补充文字" * 20 for i in range(N)]

# 分批写入向量库,每批次500条,观察批量写入耗时
t0 = time.perf_counter()
for start in range(0, N, 500):
    end = start + 500
    # 写入:id、向量(转list,Chroma接口只接收list)、原始文档
    col.add(ids=ids[start:end], embeddings=X[start:end].tolist(),
            documents=docs[start:end])
print(f"写入 {N} 条/384 维/batch=500:{time.perf_counter() - t0:.2f}s")


# ======================================================
# 继续使用 numpy 生成测试查询向量
# ======================================================
# 生成200条测试查询向量,同样复用50个簇分布,和入库样本分布对齐
q = (centers[rng.integers(0, 50, 200)] + rng.normal(scale=0.6, size=(200, D))).astype(np.float32)
q /= np.linalg.norm(q, axis=1, keepdims=True)


# ======================================================
# 预热索引:先跑一批查询,消除JIT、磁盘缓存、初始化开销,保证测速数据可信
# ======================================================
for i in range(20):
    col.query(query_embeddings=[q[i].tolist()], n_results=10)


# ======================================================
# 暴力KNN,计算Recall@10的真值(ground truth)
# ======================================================
# 余弦相似度 = q @ X.T (归一化后等价)
sim_matrix = q @ X.T
# 取Top10下标,axis=1:每条query找全局最相似10个样本索引
gt_top10_idx = np.argsort(-sim_matrix, axis=1)[:, :10]
# 只拿后100条query用来评测(和下面测速的query范围一致:100~199)
eval_q_slice = slice(100, 200)
gt_eval = gt_top10_idx[eval_q_slice]
# 把id字符串映射到数字索引 i0,i1...,方便对比
id2int = {f"i{idx}": idx for idx in range(N)}


# ======================================================
# 开始测试查询性能
# ======================================================
print(f"{'ef_search':>10} {'单条查询':>12} {'批量(100条)':>14} {'recall@10':>12}")
# 遍历多组ef_search参数:测试不同ef对查询延迟的影响
for ef in (16, 64, 100, 300, 800):
    # 动态修改集合HNSW的ef_search(只影响查询阶段,不重建索引!)
    col.modify(configuration=UpdateCollectionConfiguration(
        hnsw=UpdateHNSWConfiguration(ef_search=ef)
    ))
    # 空跑一次,让配置生效、缓存就绪
    col.query(query_embeddings=[q[0].tolist()], n_results=10)

    # 测试【串行单条查询】:100~199号query,逐个调用query
    t0 = time.perf_counter()
    for i in range(100, 200):
        col.query(query_embeddings=[q[i].tolist()], n_results=10)
    # 换算成每条平均毫秒
    single = (time.perf_counter() - t0) * 1000 / 100

    # 测试【批量查询】:一次性传入100个向量,Chroma内部批量检索
    t0 = time.perf_counter()
    batch_ret = col.query(query_embeddings=q[100:200].tolist(), n_results=10)
    batch = (time.perf_counter() - t0) * 1000 / 100

    # 计算 Recall@10 召回率
    hit_total = 0
    for row_idx, res_ids in enumerate(batch_ret["ids"]):
        # 把返回的id字符串转为数字索引
        pred_idx = np.array([id2int[rid] for rid in res_ids])
        # 真值集合
        gt_set = set(gt_eval[row_idx])
        # 命中数量
        hit = sum(1 for p in pred_idx if p in gt_set)
        hit_total += hit
    # Recall@10 = 总命中 / (query数量 * topk)
    recall = hit_total / (100 * 10)

    # 输出结果,对比串行单条 vs 批量查询的性能差距
    print(f"{ef:>10} {single:>10.2f}ms {batch:>12.2f}ms {recall:>12.3f}")

运行上面代码,我本机(i7/8 核/32GB)的输出:

写入 20000 条/384 维/batch=500:10.34s
 ef_search         单条查询       批量(100条)    recall@10
        16       1.77ms         0.33ms        1.000
        64       1.70ms         0.36ms        1.000
       100       1.61ms         0.29ms        1.000
       300       1.64ms         0.29ms        1.000
       800       1.61ms         0.28ms        1.000

从上面输出的这组数据能读出什么?

(1)2 万条数据下,ef_search 对延迟和召回几乎没影响。原因:数据量小时 HNSW 的搜索代价本身就很小,瓶颈在固定开销(参数校验、序列化、SQLite 查询),而不是图搜索。

(2)批量查询比单条快 5 倍左右(0.5ms vs 2.06ms),这是最实在的优化点。

(3)单条查询的 2ms 里有很大一部分是固定开销。也就是说,如果你的服务慢,先怀疑网络、序列化、embedding 计算,而不是索引。

结论:数据量在十万级以下时,别纠结索引参数。把精力放在减少往返、批量化、缓存上。

  

说说我的看法
全部评论()
没有评论
关于
本网站专注于 Java、数据库(MySQL、Oracle)、Linux、软件架构及大数据等多领域技术知识分享。涵盖丰富的原创与精选技术文章,助力技术传播与交流。无论是技术新手渴望入门,还是资深开发者寻求进阶,这里都能为您提供深度见解与实用经验,让复杂编码变得轻松易懂,携手共赴技术提升新高度。如有侵权,请来信告知:hxstrive@outlook.com
其他应用
公众号