能用批量就用批量,实测快 4 倍:
# 慢
results = [col.query(query_embeddings=[v], n_results=10) for v in vecs]
# 快 4 倍
results = col.query(query_embeddings=vecs, n_results=10)# 慢:默认带 embeddings 之外的都要,还额外算距离
col.query(query_embeddings=[v], n_results=10)
# 快:只要 id 和 metadata
col.query(query_embeddings=[v], n_results=10, include=["metadatas"])尤其别在 get 里无脑 include embeddings,几万条 1024 维的向量序列化出来是几百 MB。
n_results 越大越慢。RAG 场景 5~10 条一般就够了,别动不动要 100 条。
热点 query 重复率很高的话,缓存收益巨大:
import hashlib
import json
import time
from collections import deque
import chromadb
from chromadb.utils.embedding_functions import OllamaEmbeddingFunction
class TTLCache:
"""
TTL过期缓存,FIFO淘汰;使用deque维护写入顺序
"""
def __init__(self, ttl: float = 300, max_size: int = 10_000):
"""
:param ttl: 缓存有效期(秒)
:param max_size: 缓存最大条目数
"""
self.ttl = ttl
self.max_size = max_size
# 主存储:key -> (写入时间戳, 值)
self._data: dict[str, tuple[float, object]] = {}
# 顺序队列:保存key,队头=最早写入,用来快速FIFO淘汰
self._queue: deque[str] = deque()
def get(self, key: str):
"""读取缓存,过期自动删除"""
item = self._data.get(key)
if not item:
return None
ts, val = item
if time.time() - ts > self.ttl:
self._data.pop(key, None)
# 这里不主动删队列,队列脏key惰性清理
return None
return val
def set(self, key: str, val):
"""写入缓存,容量超限从队列头部淘汰旧数据,无需排序"""
# 如果key已经存在:直接覆盖,不重复入队(可选;如果想允许重复入队可以去掉这个判断)
if key in self._data:
self._data[key] = (time.time(), val)
return
# 达到上限,开始淘汰
while len(self._data) >= self.max_size:
oldest_key = self._queue.popleft()
# 惰性清理:这个key可能早就过期删掉了,跳过
if oldest_key in self._data:
self._data.pop(oldest_key)
now = time.time()
self._data[key] = (now, val)
self._queue.append(key)
# 全局缓存实例,默认缓存5分钟
cache = TTLCache(ttl=300)
def cached_search(col, vec, top_k=10, where=None):
"""
Chroma向量查询带缓存包装函数
相同查询向量、top_k、where过滤条件会复用缓存结果,减少向量库查询压力
:param col: chroma collection 对象
:param vec: 单条查询向量 list[float]
:param top_k: 返回相似结果数量
:param where: chroma where过滤条件字典
:return: chroma query 返回的原始结果dict
"""
# 构造查询唯一标识:把查询参数序列化后md5哈希作为缓存key
# embedding 函数常返回 numpy ndarray,json 无法直接序列化;
# 统一转成纯 Python list,同时保证后续 col.query 的参数类型正确
vec = vec.tolist() if hasattr(vec, "tolist") else list(vec)
# sort_keys=True 保证字典键顺序不影响哈希结果
key = hashlib.md5(
json.dumps({"v": vec, "k": top_k, "w": where}, sort_keys=True).encode()
).hexdigest()
hit = cache.get(key)
if hit is not None:
# 缓存命中,直接返回
print("cache hit")
return hit
# 缓存未命中,执行真实向量检索
res = col.query(query_embeddings=[vec], n_results=top_k, where=where)
# 写入缓存
cache.set(key, res)
return res
if __name__ == "__main__":
# 创建 OpenAI 远程嵌入函数
ef = OllamaEmbeddingFunction(
url="http://localhost:11434",
model_name="bge-m3", # 先在 ollama 里 pull 下来
timeout=60,
)
client = chromadb.EphemeralClient()
col = client.create_collection("faq", embedding_function=ef)
col.add(
ids=["r1", "r2", "r3", "r4", "r5"],
documents=[
"退款流程:在订单页点申请退款,3 个工作日内到账",
"发票开具:在订单详情页申请电子发票",
"物流查询:发货后可在物流详情里看到进度",
"退货政策:7 天无理由退货,运费买家承担",
"账号安全:如何修改密码和绑定手机",
]
)
result = cached_search(col, vec=ef(["如何退款"])[0], top_k=2)
print(result)
# 第二次查询,命中缓存
result = cached_search(col, vec=ef(["如何退款"])[0], top_k=2)
print(result)注意:向量做 cache key 要先量化或者 hash,别把 1000 个 float 拼成字符串。