Chroma 教程 收藏

查询优化

🎉摘要:本文分享Chroma向量数据库查询性能优化技巧:使用批量查询提速4倍,减少include字段避免传输大向量,调小n_results,在应用层使用TTLCache缓存热点查询结果。附完整Python代码示例,包含缓存键哈希、惰性清理等实现细节。

批量查询

能用批量就用批量,实测快 4 倍:

# 慢
results = [col.query(query_embeddings=[v], n_results=10) for v in vecs]

# 快 4 倍
results = col.query(query_embeddings=vecs, n_results=10)

少要字段

# 慢:默认带 embeddings 之外的都要,还额外算距离
col.query(query_embeddings=[v], n_results=10)

# 快:只要 id 和 metadata
col.query(query_embeddings=[v], n_results=10, include=["metadatas"])

尤其别在 get 里无脑 include embeddings,几万条 1024 维的向量序列化出来是几百 MB。

减小 top_k

n_results 越大越慢。RAG 场景 5~10 条一般就够了,别动不动要 100 条。

应用层缓存

热点 query 重复率很高的话,缓存收益巨大:

import hashlib
import json
import time
from collections import deque

import chromadb
from chromadb.utils.embedding_functions import OllamaEmbeddingFunction


class TTLCache:
    """
    TTL过期缓存,FIFO淘汰;使用deque维护写入顺序
    """
    def __init__(self, ttl: float = 300, max_size: int = 10_000):
        """
        :param ttl: 缓存有效期(秒)
        :param max_size: 缓存最大条目数
        """
        self.ttl = ttl
        self.max_size = max_size
        # 主存储:key -> (写入时间戳, 值)
        self._data: dict[str, tuple[float, object]] = {}
        # 顺序队列:保存key,队头=最早写入,用来快速FIFO淘汰
        self._queue: deque[str] = deque()

    def get(self, key: str):
        """读取缓存,过期自动删除"""
        item = self._data.get(key)
        if not item:
            return None
        ts, val = item
        if time.time() - ts > self.ttl:
            self._data.pop(key, None)
            # 这里不主动删队列,队列脏key惰性清理
            return None
        return val

    def set(self, key: str, val):
        """写入缓存,容量超限从队列头部淘汰旧数据,无需排序"""
        # 如果key已经存在:直接覆盖,不重复入队(可选;如果想允许重复入队可以去掉这个判断)
        if key in self._data:
            self._data[key] = (time.time(), val)
            return

        # 达到上限,开始淘汰
        while len(self._data) >= self.max_size:
            oldest_key = self._queue.popleft()
            # 惰性清理:这个key可能早就过期删掉了,跳过
            if oldest_key in self._data:
                self._data.pop(oldest_key)

        now = time.time()
        self._data[key] = (now, val)
        self._queue.append(key)



# 全局缓存实例,默认缓存5分钟
cache = TTLCache(ttl=300)


def cached_search(col, vec, top_k=10, where=None):
    """
    Chroma向量查询带缓存包装函数
    相同查询向量、top_k、where过滤条件会复用缓存结果,减少向量库查询压力
    :param col: chroma collection 对象
    :param vec: 单条查询向量 list[float]
    :param top_k: 返回相似结果数量
    :param where: chroma where过滤条件字典
    :return: chroma query 返回的原始结果dict
    """
    # 构造查询唯一标识:把查询参数序列化后md5哈希作为缓存key
    # embedding 函数常返回 numpy ndarray,json 无法直接序列化;
    # 统一转成纯 Python list,同时保证后续 col.query 的参数类型正确
    vec = vec.tolist() if hasattr(vec, "tolist") else list(vec)
    # sort_keys=True 保证字典键顺序不影响哈希结果
    key = hashlib.md5(
        json.dumps({"v": vec, "k": top_k, "w": where}, sort_keys=True).encode()
    ).hexdigest()
    hit = cache.get(key)
    if hit is not None:
        # 缓存命中,直接返回
        print("cache hit")
        return hit
    # 缓存未命中,执行真实向量检索
    res = col.query(query_embeddings=[vec], n_results=top_k, where=where)
    # 写入缓存
    cache.set(key, res)
    return res


if __name__ == "__main__":
    # 创建 OpenAI 远程嵌入函数
    ef = OllamaEmbeddingFunction(
        url="http://localhost:11434",
        model_name="bge-m3",  # 先在 ollama 里 pull 下来
        timeout=60,
    )

    client = chromadb.EphemeralClient()
    col = client.create_collection("faq", embedding_function=ef)
    col.add(
        ids=["r1", "r2", "r3", "r4", "r5"],
        documents=[
            "退款流程:在订单页点申请退款,3 个工作日内到账",
            "发票开具:在订单详情页申请电子发票",
            "物流查询:发货后可在物流详情里看到进度",
            "退货政策:7 天无理由退货,运费买家承担",
            "账号安全:如何修改密码和绑定手机",
        ]
    )

    result = cached_search(col, vec=ef(["如何退款"])[0], top_k=2)
    print(result)

    # 第二次查询,命中缓存
    result = cached_search(col, vec=ef(["如何退款"])[0], top_k=2)
    print(result)

注意:向量做 cache key 要先量化或者 hash,别把 1000 个 float 拼成字符串。

  

说说我的看法
全部评论()
没有评论
关于
本网站专注于 Java、数据库(MySQL、Oracle)、Linux、软件架构及大数据等多领域技术知识分享。涵盖丰富的原创与精选技术文章,助力技术传播与交流。无论是技术新手渴望入门,还是资深开发者寻求进阶,这里都能为您提供深度见解与实用经验,让复杂编码变得轻松易懂,携手共赴技术提升新高度。如有侵权,请来信告知:hxstrive@outlook.com
其他应用
公众号