Chroma 教程 收藏

第三步:检索 + 拼 Prompt

🎉摘要:本文介绍如何将Chroma检索到的内容拼接到提示词模板中,支持自定义模板和默认模板,并提供Python代码示例。重点讲解build_context和build_prompt函数,以及max_chars参数的重要性,避免token浪费和模型跑偏。

相比前面两章,这里干的事情非常简单,将从 Chroma 检索出来的内容拼接到提示词模板当中,支持用户自定义模板,没有传递模板则使用默认模板。

代码如下:

from dataclasses import field, dataclass


# 上文用到的定义,直接搬过来,保证这段能独立跑
@dataclass
class RetrievedChunk:
    id: str
    text: str
    metadata: dict = field(default_factory=dict)
    distance: float = 0.0
    similarity: float | None = None


# 默认模板
DEFAULT_TEMPLATE = """你是一个客服助手。请只根据下面提供的资料回答用户的问题。
如果资料里没有相关信息,就明确说"资料中没有提到",不要编造。
回答时请注明你参考了哪条资料(用 [编号] 标注)。

资料:
{context}

用户问题:{question}

回答:"""


def build_context(chunks: list[RetrievedChunk], max_chars: int = 3000) -> str:
    """把检索到的片段拼成上下文,超长就截断"""
    parts, total = [], 0
    for i, c in enumerate(chunks, 1):
        seg = f"[{i}] {c.text.strip()}\n"
        if total + len(seg) > max_chars:
            break
        parts.append(seg)
        total += len(seg)
    return "\n".join(parts)


def build_prompt(question: str, chunks: list[RetrievedChunk],
                 template: str = DEFAULT_TEMPLATE, max_chars: int = 3000) -> str:
    return template.format(
        context=build_context(chunks, max_chars),
        question=question,
    )

# 测试验证,仅直接运行该文件才执行
if __name__ == "__main__":
    chunks = list([
        RetrievedChunk(id="fqa1", text="退款流程:在订单页点申请退款,3 个工作日内到账。"),
        RetrievedChunk(id="fqa2", text="退货政策:签收 7 天内可无理由退货,质量问题免运费。")
    ])
    prompt = build_prompt("怎么退款?", chunks)
    print(prompt)

运行示例,查看效果:

你是一个客服助手。请只根据下面提供的资料回答用户的问题。
如果资料里没有相关信息,就明确说"资料中没有提到",不要编造。
回答时请注明你参考了哪条资料(用 [编号] 标注)。

资料:
[1] 退款流程:在订单页点申请退款,3 个工作日内到账。

[2] 退货政策:签收 7 天内可无理由退货,质量问题免运费。


用户问题:怎么退款?

回答:

注意了,max_chars 很重要:别把检索到的东西无脑全塞进去,一是 token 贵,二是塞太多噪音会让模型跑偏。一般 3~8 个片段、3000 字以内比较合适。

 

说说我的看法
全部评论()
没有评论
关于
本网站专注于 Java、数据库(MySQL、Oracle)、Linux、软件架构及大数据等多领域技术知识分享。涵盖丰富的原创与精选技术文章,助力技术传播与交流。无论是技术新手渴望入门,还是资深开发者寻求进阶,这里都能为您提供深度见解与实用经验,让复杂编码变得轻松易懂,携手共赴技术提升新高度。如有侵权,请来信告知:hxstrive@outlook.com
其他应用
公众号