湖南做网站 多少钱磐石网络,提供哈尔滨网站建设服务,wordpress 论坛系统,今天的新闻联播直播在线观看本文是LLM系列文章#xff0c;针对《EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS》的翻译。 中文大语言模型的幻觉评价 摘要1 引言2 HALLUQA基准3 实验4 讨论5 相关工作6 结论 摘要
在本文中#xff0c;我们建立了一个名为HalluQA (Chinese Hallucination…本文是LLM系列文章针对《EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS》的翻译。 中文大语言模型的幻觉评价 摘要1 引言2 HALLUQA基准3 实验4 讨论5 相关工作6 结论 摘要
在本文中我们建立了一个名为HalluQA (Chinese Hallucination question - answers)的基准来测量中文大型语言模型中的幻觉现象。HalluQA包含450个精心设计的对抗性问题跨越多个领域并考虑到中国的历史文化习俗和社会现象。在构建HalluQA的过程中我们考虑了两种类型的幻觉:模仿虚假和事实错误并基于GLM-130B和ChatGPT构建了对抗性样本。为了评估我们设计了一种使用GPT-4的自动评估方法来判断模型输出是否存在幻觉。我们在ERNIE-Bot、百川2、ChatGLM、Qwen、SparkDesk等24个大型语言模型上进行了大量的实验。在24个模型中18个模型的无幻觉率低于50%。这表明《HalluQA》具有很高的挑战性。我们分析了不同类型模型中幻觉的主要类型及其原因。此外我们还讨论了不同类型的模型应该优先考虑哪种类型的幻觉。
1 引言
2 HALLUQA基准
3 实验
4 讨论
5 相关工作
6 结论
在这项工作中我们创建了一个名为HalluQA的中文幻觉问答数据集用于评估中文大型语言模型中的幻觉。HalluQA中的问题可以用来衡量假性谎言和事实性错误。设计了一种基于llm的自动化评价方法并验证了其有效性。我们在24个大型语言模型上进行了大量的实验。所有模型在HalluQA上的非幻觉率都低于70%这证明了我们数据集的挑战性。根据实验结果我们进一步分析了不同模型的初级幻觉类型并讨论了不同模型需要优先考虑和解决的类型。我们希望HalluQA可以帮助减少中文大型语言模型中的幻觉问题提高模型的可信度。
