关于公司建设网站的意义,武进网站建设要多少钱,广告设计图片创意,买男装最好的购物网站1.定义任务场景和成功标准
任务场景可分为简单任务#xff1a;实体抽取、qa等 复杂任务#xff1a;代码生成、创意写作等
在定义任务后#xff0c;就要定义模型实现该任务的成功标准#xff1a; 模型表现和准确率#xff1b;延迟#xff1b;价格。
2.开发测试用例
多…
1.定义任务场景和成功标准
任务场景可分为简单任务实体抽取、qa等 复杂任务代码生成、创意写作等
在定义任务后就要定义模型实现该任务的成功标准 模型表现和准确率延迟价格。
2.开发测试用例
多样化的测试用例覆盖任务的典型应用和边缘情况。
3.设计初始的prompt
设计最初的prompt从简单描述任务场景、回答的风格等开始。最好是使用few-shot的方式告诉模型的输入输出格式。
4.针对测试用例评估prompt
将测试用例使用初始的prompt输入到模型观察和评估回复内容并与成功标准作比较。使用一致的评分标准可以是人工评估、与答案核心内容的比较或是用其他模型的回答判断等。
5.优化prompt
根据评估结果朝着成功标准迭代优化prompt。包括但不限于增加描述明细、示例、模型行为的约束。但是要注意不要过分优化小部分的输入否则会过拟合。
6.部署prompt
一旦设计的prompt成功通过了测试用例就可以将其应用。注意监控模型表现边缘情况等意外仍随时可能发生。
准则
清晰直接提供清晰的指令和背景信息以指导Claude的回应。使用示例在提示中包含示例以展示期望的输出格式或风格。赋予Claude角色让Claude扮演一个特定的角色如专家以提升针对你的用例的表现。使用XML标签利用XML标签来结构化提示和回应以提高清晰度。分解提示将复杂任务分解成更小、更易管理的步骤以获得更好的结果。让Claude思考鼓励逐步思考以提高Claude输出的质量。预填充Claude的回应用几个词开始Claude的回应以将其输出引向期望的方向。控制输出格式指定期望的输出格式以确保一致性和可读性。请求Claude进行重写基于评分标准请求修订以促使Claude迭代并改进其输出。利用长上下文窗口技巧优化利用Claude长上下文窗口的提示。
