设计应用
一份高质的 Prompt 和 经过 Embedding 处理的知识库,可以有效提升模型的输出质量,降低模型输出错误率,并满足特定场景的需求。本章节将会让你体验可视化的创建编排 AI 应用。
设计应用的步骤 #
确定应用场景和功能需求:选定一个适合的应用类型
设计提示词:具体设计方法请查看 Prompt操作指南
完善配套设置:添加文档集、设置敏感词检测
测试调试
发布
✨ 文本生成型应用 #
文本生成类应用是一种能够根据用户提供的提示,自动生成高质量文本的应用。基于指定的上下文数据源,它可以生成符合事实的高质量文本内容。
适用场景 #
文本生成类应用适用于基于指定内容做的文本创作场景,例如文档摘要、文档翻译、财务报表生成等。
如何设计 #
在【我的应用】点击 “创建应用” 按钮,填上应用名称,应用类型选择文本生成应用。
应用创建好后,会自动跳转到概览页,接着点击【应用配置】,开始设计应用。分别配置以下几项:
模型及参数
天壤小白开放平台提供多种版本的模型,你可以根据自己的需求选择使用。
添加提示词
提示词用于对 AI 的回复做出一系列指令和约束。可插入表单变量,例如 {{input}},提示词中的变量的值会替换成用户填写的值,变量支持’文本’和’下拉选项’两种设置方式。提示词的具体设计方法请查看 Prompt操作指南
下图示例:请你担任翻译专家,将以下文本翻译为{{target_language}}
增强功能
点击【增强功能】会弹出可选的应用面板,可以选择你需要的添加。
文档集
如果你希望模型回答的内容基于你指定的文档,可以 我的文档集中添加文档集后,再打开「增强功能」中的「文档集」,导入。关于如何添加文档集的详细说明请查看 我的文档集 。
我们提供三种搜索模式,根据不同的方式从文档集中召回相关结果。
语义模式:比如“中国首都”和“北京”,语义上是相同的事物,但关键字完全不同,使用语义模式,在查找“中国首都”的内容时,会匹配到“北京”的内容。
召回数量:从文档集中召回几个分片
上下文字段:如果是结构化文档,会出现该设置,可以选择将文档中哪些字段的内容放入上下文中,被选择的字段内容会作为上下文,作为提示信息给到大模型
上下文提示词模板:被召回出的分片文本,会结合提示词组成指令
关键词模式:根据用户查询的文本,对文档中的内容做关键词匹配。这适用于当你搜索的内容是一个简短的文本时(比如一两个词汇),用关键词模式可以更精确的找到相关内容。
召回数量:从文档集中召回几个分片
上下文字段:如果是结构化文档,会出现该设置,可以选择将文档中哪些字段的内容放入上下文中,被选择的字段内容会作为上下文,作为提示信息给到大模型
上下文提示词模板:被召回出的分片文本,会结合提示词组成指令
混合模式:这是语义+关键词混合的模式,在大部分场景下,搜索准确率比纯语义或纯关键词搜索更高。
权重阈值:0代表关键词,1代表语义,比如设置为0.8,那么它更偏向于语义
召回数量:从文档集中召回几个分片
上下文字段:如果是结构化文档,会出现该设置,可以选择将文档中哪些字段的内容放入上下文中,被选择的字段内容会作为上下文,作为提示信息给到大模型
上下文提示词模板:被召回出的分片文本,会结合提示词组成指令
文件输入
如果你的应用内容是基于用户的文档,那么可以设置文件输入,将文件内容作为查询内容,系统支持处理长文本的能力。
设置敏感词检测
对用户输入和生成的文本内容做敏感词检测,可以保证信息安全合规。还可以自定义触发敏感词之后的回复内容。
调试
在页面右侧面板 输入查询内容 进行调试。点 “运行” 按钮 查看运行的结果。如果结果不理想,可以切换语言模型、调整提示词和模型参数。
✨ 对话型应用 #
对话型应用采用一问一答模式与用户持续对话,在指定的数据源上,实现基于文档内容对话。
适用场景 #
对话型应用可以用在客户服务、在线教育、医疗保健、金融服务等领域。这些应用可以帮助组织提高工作效率、减少人工成本和提供更好的用户体验。
在【我的应用】点击 “创建应用” 按钮,填上应用名称,应用类型选择对话型应用。
如何设计 #
应用创建好后,会自动跳转到概览页,接着点击【应用配置】,开始设计应用。分别配置以下几项:
添加提示词
系统提示词可以帮助设定 AI 的行为。如果设定恰当,系统提示词可以用于设定 AI 的风格和响应方式等。提示词中可插入表单变量,例如 {{input}}。提示词中的变量的值会替换成用户填写的值。
下图示例:请你扮演智能客服,基于以下基础知识,回答我的问题。
文档集
如果你希望生成的内容来自于你已有的文档,可以 我的文档集中添加文档集后,再打开「增强功能」中的「文档集」,导入。关于如何添加文档集的详细说明请查看 我的文档集 。
我们提供三种搜索模式,根据不同的方式从文档集中召回相关结果。
语义模式:比如“中国首都”和“北京”,语义上是相同的事物,但关键字完全不同,使用语义模式,在查找“中国首都”的内容时,会匹配到“北京”的内容。
召回数量:从文档集中召回几个分片
上下文字段:如果是结构化文档,会出现该设置,可以选择将文档中哪些字段的内容放入上下文中,被选择的字段内容会作为上下文,作为提示信息给到大模型
上下文提示词模板:被召回出的分片文本,会结合提示词组成指令
关键词模式:根据用户查询的文本,对文档中的内容做关键词匹配。这适用于当你搜索的内容是一个简短的文本时(比如一两个词汇),用关键词模式可以更精确的找到相关内容。
召回数量:从文档集中召回几个分片
上下文字段:如果是结构化文档,会出现该设置,可以选择将文档中哪些字段的内容放入上下文中,被选择的字段内容会作为上下文,作为提示信息给到大模型
上下文提示词模板:被召回出的分片文本,会结合提示词组成指令
混合模式:这是语义+关键词混合的模式,在大部分场景下,搜索准确率比纯语义或纯关键词搜索更高。
权重阈值:0代表关键词,1代表语义,比如设置为0.8,那么它更偏向于语义
召回数量:从文档集中召回几个分片
上下文字段:如果是结构化文档,会出现该设置,可以选择将文档中哪些字段的内容放入上下文中,被选择的字段内容会作为上下文,作为提示信息给到大模型
上下文提示词模板:被召回出的分片文本,会结合提示词组成指令
文件输入
如果你的应用内容是基于用户的文档,那么可以设置文件输入,将文件内容作为查询内容,系统支持处理长文本的能力。
设计开场白
为提升用户体验,你可以设置一句开场白,它将在每次新会话中发出。
设置敏感词检测
对用户输入和生成的文本内容做敏感词检测,可以保证信息安全合规。
调试
在右侧面板输入内容点击发送,即可开始对话。
如果结果不理想,可以调整提示词或模型参数。
✨ 搜索型应用 #
搜索型应用可以根据用户输入的内容在指定的源数据中返回相关结果,灵活控制搜索结果。
适用场景 #
搜索型应用可以在线教育、企业内部管理、医疗保健、金融服务等领域使用。当你希望直接返回最原始的材料内容时,就可以使用搜索型。后期我们对结构化文档做更多优化之后,搜索型的应用使用起来会比现在更流畅,效果更好。
在【我的应用】点击 “创建应用” 按钮,填上应用名称,应用类型选择搜索型应用。
如何设计 #
应用创建好后,会自动跳转到概览页,接着点击【应用配置】,开始设计应用。分别配置以下几项:
添加提示词
系统提示词可以帮助设定 AI 的行为。如果设定恰当,系统提示词可以用于设定 AI 的风格和响应方式等。提示词中可插入表单变量,例如 {{input}}。提示词中的变量的值会替换成用户填写的值。
下图示例:请你扮演智能客服,基于以下基础知识,回答我的问题。
文档集设置
如果搜索内容来自于你已有的文档,可以在「文档集」里添加文档集后,在下图的上下文设置中点添加。我们提供三种搜索模式,根据不同的方式从文档集中召回相关结果:语义模式、关键词模式、混合模式。
语义模式:比如“中国首都”和“北京”,语义上是相同的事物,但关键字完全不同,使用语义模式,在查找“中国首都”的内容时,会匹配到“北京”的内容。
召回数量:从文档集中召回几个分片
上下文字段:如果是结构化文档,会出现该设置,可以选择将文档中哪些字段的内容放入上下文中,被选择的字段内容会作为上下文,作为提示信息给到大模型
上下文提示词模板:被召回出的分片文本,会结合提示词组成指令
关键词模式:根据用户查询的文本,对文档中的内容做关键词匹配。这适用于当你搜索的内容是一个简短的文本时(比如一两个词汇),用关键词模式可以更精确的找到相关内容。
召回数量:从文档集中召回几个分片
上下文字段:如果是结构化文档,会出现该设置,可以选择将文档中哪些字段的内容放入上下文中,被选择的字段内容会作为上下文,作为提示信息给到大模型
上下文提示词模板:被召回出的分片文本,会结合提示词组成指令
混合模式:这是语义+关键词混合的模式,在大部分场景下,搜索准确率比纯语义或纯关键词搜索更高。
权重阈值:0代表关键词,1代表语义,比如设置为0.8,那么它更偏向于语义
召回数量:从文档集中召回几个分片
上下文字段:如果是结构化文档,会出现该设置,可以选择将文档中哪些字段的内容放入上下文中,被选择的字段内容会作为上下文,作为提示信息给到大模型
上下文提示词模板:被召回出的分片文本,会结合提示词组成指令
搜索设置
上下文中设置好召回数后,输出的将是文档集中的原始切片,如果你希望模型根据原始结果做进一步总结摘要,你可以开启生成式结果。
敏感词检测
对用户输入和生成的文本内容做敏感词检测,可以保证信息安全合规。
调试
在右侧面板输入内容点击发送,即可开始对话。
如果结果不理想,可以调整提示词和模型参数。
✨ 工作流应用 #
工作流应用可以构建一个基于多应用组合的应用,支持各种工具调用、逻辑判断、错误处理等。
首先,在【我的应用】点击 “创建应用” 按钮,填上应用名称,应用类型选择工作流应用。默认创建一个空白应用,你也可以直接从示例应用中进行创建。
应用配置 #
在页面上通过拖拽的交互添加组件; 每个节点都可以设置变量声明,除了开始节点之外,其他下级节点都可以引用该节点之前的所有节点的’输入’ 和’输出’作为参数声明。
工具组件介绍
开始节点:每个工作流应用必须设置一个开始节点,作为工作流的执行入口,在开始节点中可设置该流程需要的所有参数(参数设置非必填项,根据实际业务场景决定)
APP调用:可以调用当前工作空间的其他所有应用(除了当前应用外),下拉选择其他应用并配置上应用的API密钥;
应用的参数设置有两部分,【查询内容】【其他变量】,这和应用配置中的参数配置相同,在工作流的节点组件中,需要先在组件的上方声明变量,再在APP输入配置中使用。一般使用表达式设置应用的参数,格式为 {{变量名称}},个别特殊场景下,你可能需要使用固定值,我们保留了这个配置项供你设置。
HTTP请求:可用于调用内部或外部的所有API,在设置时你需要具备HTTP请求的基础知识。
Python代码:可以将前置节点的参数,经过编程做进一步加工处理。
Embedding调用:平台内置的Embedding模型,通常在文档集的嵌入处理中使用,而在工作流应用中,则是一个组件的方式开放调用。你可以配置一个开始+Embedding调用+结束节点,就可以单独使用Embedding模型。更多关于天壤Embedding模型的调用,可以前往 Embedding介绍进行查看。
结束节点:工作流至少设置一个结束节点,用于配置整个流程最后要输出的参数。
运行与调试
点击运行,输入你在开始节点中配置的若干个参数;点击确认后,等待运行完成,会展示每个节点的输入输出内容,你可以根据运行结果进行调试。