邯郸企业做网站,10个免费货源网站,上上上海网站设计,django做视频网站OpenCompass 大模型评测实战——笔记 一、评测1.1、为什么要做评测1.2、如何通过能力评测促进模型发展1.2.1、面向未来拓展能力维度1.2.2、扎根通用能力1.2.3、高质量1.2.4、性能评测 1.3、评测的挑战1.3.1、全面性1.3.2、评测成本1.3.3、数据污染1.3.4、鲁棒性 二、OpenCompas… OpenCompass 大模型评测实战——笔记 一、评测1.1、为什么要做评测1.2、如何通过能力评测促进模型发展1.2.1、面向未来拓展能力维度1.2.2、扎根通用能力1.2.3、高质量1.2.4、性能评测 1.3、评测的挑战1.3.1、全面性1.3.2、评测成本1.3.3、数据污染1.3.4、鲁棒性 二、OpenCompass怎么评测2.1、模型分类2.2、客观与主观评测2.3、提示词工程2.4、长文本评测 一、评测
1.1、为什么要做评测
因为通过评测可以更好地发现大模型的问题。现在大模型在各个领域都有应用那显然也需要多维度的评测体系对其检测发现哪个维度强哪个维度弱然后对于弱的维度再进行针对性地提高。
这就像学习一样如果没有平常的考试你是不会确定自己到底学的怎么样哪些知识点是薄弱环节需要重点提高。
1.2、如何通过能力评测促进模型发展
1.2.1、面向未来拓展能力维度
评测体系需增加新能力维度如数学、复杂推理、逻辑推理、代码和智能体等以全面评估模型性能。
1.2.2、扎根通用能力
聚焦垂直行业在医疗、金融、法律等专业领域评测需结合行业知识和规范以评估模型的行业适用性。
1.2.3、高质量
中文基准针对中文场景需要开发能准确评估其能力的中文评测基准促进中文社区的大模型发展。
1.2.4、性能评测
反哺能力迭代通过深入分析评测性能探索模型能力形成机制发现模型不足研究针对性提升策略。
1.3、评测的挑战
1.3.1、全面性
现在大模型应用场景千变万化几乎各行各业都能看到它的影子同时模型能力演进迅速在这样的条件下如何设计和构造可扩展的能力维度体系难度还是很大的。
1.3.2、评测成本
在客观评测方面比如评测数十万道题那是需要大量算力资源。
在主观评测方面有时候需要调用 api 来评测比如调用 GPT-4 作为法官来评测哪个模型好那这也是需要成本的。
基于人工打分的主观评测成本不用说那就更高昂了。
1.3.3、数据污染
海量语料不可避免带来评测集污染比如有的模型它是在测试集上做的训练这就会导致后面测试分数虚高但他们也不公布自己训练的数据集所以别人就不知道或者测试集和训练集有大量重叠部分也相当于作弊或者自欺欺人所以亟需可靠的数据污染检测技术那如何设计可动态更新的高质量评测基准也是个问题。
1.3.4、鲁棒性
某些大模型对提示词十分敏感换了一套问法可能答案就不正确了又或者是多次采样情况下模型性能不稳定那这也是评测需要解决的问题。
二、OpenCompass怎么评测
2.1、模型分类
对于模型评测不可能使用一套标准对所有模型进行评测所以会将模型先分个类。
司南 评测体系 总共将模型分为四大类包括
基座模型。一开始的只经过海量数据无监督训练的模型。对话模型。包括经过指令数据有监督微调 ( SFT ) 和 人类偏好对其 ( RLHF ) 的模型。公开权重的开源模型。这类模型使用GPU/推理加速卡进行本地推理。API 模型。就是使用者发送网络请求然后获取回复。
2.2、客观与主观评测 2.3、提示词工程
既然要评测那就是要尽可能在一个相对准备充足的条件下对模型进行评测但很多时候因为提问者的问题提问的不够清楚导致模型的回答也相对较差那这就体现不出模型的能力所以肯定是要在能体现模型能力的基础上再进行评测。比如
明确性 不好的示例 : 请写一篇关于人工智能的全面介绍( 目标过于宽泛缺乏具体要求和细节 ) 好的示例 : 请为我写一篇关于人工智能的科普文章要求涵盖其发展历程、应用领域以及对社会的影响。( 目标明确完整覆盖了主题内容 )概念无歧义 不好的示例: 我想了解苹果。( 问题内容存在歧义 ) 好的示例: 请描述苹果公司的创始人史蒂夫·乔布斯的职业生涯( 给出了准确的概念 逐步引导 不好的示例 : 告诉我怎么做蛋糕。( 缺少指引) 好的示例: 首先我需要准备哪些材料来制作巧克力蛋糕? 接下来烘焙过程中有哪些关键步骤( 给出了思路引导 )具体描述 不好的示例 : 告诉我一个笑话。( 缺少具体细节 ) 好的示例: 请创作一个关于时间旅行的幽默故事( 给出了具体的问题描述和范围 )迭代反馈 不好的示例 : 这个回答不够详细。( 缺少清晰的反馈 ) 好的示例:你能更详细地解释人工智能在医疗诊断中的应用吗( 明确清晰的修改建议 )
还有比如 小样本学习、思维链技术 都可以帮助题目变得更好。
2.4、长文本评测 在上面的例子中在一个很长的文档比如在红楼梦当中插入一句话 “小明在上海人工智能实验室学习”这句话和红楼梦没有半点关系然后交给模型训练那如果我们后续提问比如 “小明在哪实习”模型能回答 “上海人工智能实验室” 这种回答就代表模型真的能记住这条信息并且能够理解这句话能够做到 “大海捞针”。
