Chroma 教程 收藏

备份策略

🎉摘要:本文介绍ChromaDB的三种备份方案:定期拷贝数据目录、先vacuum再拷贝、仅备份sqlite文件,并强调恢复演练的重要性,帮助防止数据丢失。

如果你曾经吃过没有备份的亏,应该理解备份的重要性。当灾难来的时候(如机器磁盘出现问题,运维人员不小心将库删除了),备份文件就是我们的底气,有备份,才不会导致数据丢失,即使丢失也只丢失备最后一次备份到当前的数据。

如果你经过几天辛苦,向数据库中的几十个集合灌了公司所有文档,然后由于磁盘损坏,导致数据全部丢失,要重新灌数据。浪费时间不说,那么多文档调用嵌入模型的费用也不少。

下面介绍几种备份的方案:

方案一:定期拷目录(简单粗暴)

这是最简单的方案,你可以写一个脚本,定时执行,将数据目录拷贝一份到备份目录,如下:

#!/bin/bash
# /opt/chroma/backup.sh
set -e
SRC=/data/chroma
DST=/backup/chroma/$(date +%Y%m%d_%H%M%S)

mkdir -p "$DST"
cp -r "$SRC" "$DST"
echo "backup -> $DST"

# 保留最近 7 天
find /backup/chroma -maxdepth 1 -type d -mtime +7 -exec rm -rf {} +

验证脚本是否可行:

# 创建脚本
root@localhost:~/temp# vim back.sh
# 赋予执行权限
root@localhost:~/temp# chmod +x back.sh
root@localhost:~/temp# ls
back.sh
# 执行脚本
root@localhost:~/temp# ./back.sh
backup -> /backup/chroma/20261111_095615
# 查看备份结果
root@localhost:~/temp# ls /backup/chroma/20261111_095615/
chroma
root@localhost:~/temp# ls /backup/chroma/20261111_095615/chroma/
chroma.sqlite3  f4e762d1-479a-4efc-9190-856f376d01af

放进 crontab,实现定时执行脚本:

0 3 * * * /root/temp/back.sh >> /var/log/chroma_backup.log 2>&1

说明:

  • 0 3 * * *:每天 凌晨 3 点 0 分 执行

  • /root/temp/back.sh:执行备份脚本

  • >> /var/log/chroma_backup.log:追加输出到日志文件

  • 2>&1:把标准错误 (stderr) 也重定向到日志,报错也能落盘

运行 crontab -e 命令,去编辑 crontab:

# 编辑 crontab
root@localhost:~/temp# crontab -e
no crontab for root - using an empty one

Select an editor.  To change later, run 'select-editor'.
  1. /bin/nano        <---- easiest
  2. /usr/bin/vim.basic
  3. /usr/bin/vim.tiny
  4. /bin/ed

Choose 1-4 [1]: 1 #选择1使用 nano 编辑器编辑
crontab: installing new crontab

将上面的内容输入到编辑器,如下图:

按 Ctrl+O (字母 O,不是零)→ 保存写入,此时写入到一个临时文件:

直接回车(不用改文件名),再按 Ctrl+X 退出 nano。

执行 crontab -l  查看root定时任务列表,确认任务存在:

root@localhost:~/temp# crontab -l
# Edit this file to introduce tasks to be run by cron.
# ....
# m h  dom mon dow   command
0 3 * * * /root/temp/back.sh >> /var/log/chroma_backup.log 2>&1

注意,该种方式仅是将数据拷贝了一份到本机的其他目录,如果磁盘损坏还是会丢失数据,可以使用 scp 将备份数据拷贝到另一台机器上面。

方案二:先 vacuum 再拷(更一致)

vacuum 是 ChromaDB CLI 提供的离线维护命令,作用:清理本地持久化目录里的已删除向量、碎片、垃圾数据,回收磁盘空间,同时规整 HNSW 索引与 SQLite 数据库 。

先执行 vacuum 整理数据,再拷贝,备份的数据更一致:

#!/bin/bash
set -e
chroma vacuum --path /data/chroma --force --timeout 120
cp -r /data/chroma /backup/chroma/$(date +%Y%m%d_%H%M%S)

方案三:只备份 sqlite(省空间,恢复慢)

不拷贝整个目录,仅仅拷贝 chroma.sqlite3 数据库。这样做文件体积小、省磁盘、备份速度快。缺点: HNSW 索引不会被备份,恢复的时候 Chroma 会重新构建 HNSW 索引(ef_construction 控制建图速度,数据量大时恢复很慢,业务会卡住) 。

sqlite3 /data/chroma/chroma.sqlite3 ".backup /backup/chroma_meta.sqlite3"

注意,chroma.sqlite3 只保住了元数据和 WAL,HNSW 索引要重建。除非你数据量极大且能接受重建时间,否则不推荐。

别忘了演练恢复

备份不做恢复演练等于没备份。至少每隔一段时间,把备份拷到一台测试机上,用 PersistentClient 打开,count() 一下确认数据是好的。

 

说说我的看法
全部评论()
没有评论
关于
本网站专注于 Java、数据库(MySQL、Oracle)、Linux、软件架构及大数据等多领域技术知识分享。涵盖丰富的原创与精选技术文章,助力技术传播与交流。无论是技术新手渴望入门,还是资深开发者寻求进阶,这里都能为您提供深度见解与实用经验,让复杂编码变得轻松易懂,携手共赴技术提升新高度。如有侵权,请来信告知:hxstrive@outlook.com
其他应用
公众号