Chroma 教程 收藏

时间都花在哪了

🎉摘要:分析Chroma query调用的耗时环节,包括客户端序列化、网络往返、嵌入计算、HNSW图搜索、WAL扫描等,并提供优化手段如批量化、连接池、缓存和include字段精简。

当我们执行一次典型的 Chroma 的 query 调用:

res = col.query(query_texts=["买的东西不想要了,钱能退回来吗"], n_results=2)

它花费的时间大概可以这么分:

环节占比(小数据量)优化手段
客户端参数校验 + 序列化中批量化,减少调用次数
网络往返(HttpClient)中~大连接池、同机房部署、批量
嵌入计算(如果传了文本)大自己算、加缓存
HNSW 图搜索小(数据少时)调 ef_search
WAL 暴力扫描取决于 WAL 大小灌完数据让它刷完
元数据过滤小走倒排索引
结果反序列化中少 include 字段,尤其别要 embeddings

注意:最大的一块通常是 embedding。这也是为什么我一直建议 embedding_function=None 然后自己算 —— 自己算才能加缓存和批处理。

  

说说我的看法
全部评论()
没有评论
关于
本网站专注于 Java、数据库(MySQL、Oracle)、Linux、软件架构及大数据等多领域技术知识分享。涵盖丰富的原创与精选技术文章,助力技术传播与交流。无论是技术新手渴望入门,还是资深开发者寻求进阶,这里都能为您提供深度见解与实用经验,让复杂编码变得轻松易懂,携手共赴技术提升新高度。如有侵权,请来信告知:hxstrive@outlook.com
其他应用
公众号