大模型出现幻觉？如何提高准确性？

AI

简单来说就是信口胡诌。按照A Survey on Hallucination in Large Language Models一文的说法，这是指模型生成的内容与现实世界的事实或者用户输入不相符的情况。研究人员把大模型的幻觉分为事实性幻觉（Factuality Hallucination）和忠实性幻觉（FAIthfulness Hallucination）这两类。

模型生成内容与可验证的现实世界事实不符即指此。例如问模型谁是首个在月球行走之人？，模型回答Charles Lindbergh于1951年月球先驱任务时率先登上月球。可事实上，Neil Armstrong才是第一个登上月球之人。事实性幻觉可分两种，一是事实不一致，即与现实世界信息矛盾；二是事实捏造，无法据现实信息验证。

例如让模型总结今年10月新闻，它却讲2006年10月的事。

生产过程中，我们不希望出现幻觉（hallucinations），而是需要准确无误的回答。在实际生产落地时，我们将逐步采用以下策略提高准确性、减少幻觉。Prompt Engineering是一种优化提示词（prompts）从而获取有效输出的艺术与科学。这包括对提示词进行设计、编写以及修改，目的在于引导AI模型给出高质量、相关且有用的回应。

更多Prompt Engineering内容，可查看这篇文章：举个K12的例子，让模型先找解决方案再下结论，即做事要三思而后行。有时，明确要求模型在得出结论前从第一性原理推理，会得到更好的结果。若要评估学生数学问题的解决方案，我们需要一个模型。解决此问题最直接的办法，就是直接问模型学生的方案是否正确。但这样就能得到正确答案吗？错误的事例。

正确的事例。

大模型常借助自我反思来减少幻觉（生成看似合理实则不准确或无意义信息的现象）。采用交互式自我反思法，能发挥大语言模型（LLMs）多任务能力，生成、评分知识并持续改进，直至事实性水平令人满意。工作流中怎样嵌入自我反思？以一个NL2SQL2的例子来阐释。通过反思，能不断改进问题，直至得到想要的答案。在prompt里给出少量示例，能让大模型更好地理解任务。

在RAG方法里，能够依据查询和候选例子的相似度，动态挑选最相关的案例当作few - shot学习的示例。此方法不但提升了模型生成的精准度，而且让模型在应对不同类型查询时更灵活、更智能。具体而言，RAG会评估查询和候选例子的相似度，进而从候选例子库中召回最相关的案例。这些被选案例会成为few - shot学习的范例，助力模型更好地理解并生成与查询相关的内容。借助这种动态选择方法，模型能依据每个查询的具体需求，灵活调整所用范例，达成更高效的学习与生成。该方法的长处是可充分利用已有知识库，动态回应不同查询需求，大大提高模型的实用性与准确性。

同时，要如何获取高质量的数据？以下通过一个简单的速查表来说明获取数据的步骤2。运用上述四个策略，能有效提升大模型的准确性，减少幻觉产生。实际生产中，可依据具体情形选用合适策略，也可将多种策略相结合，从而取得更好的效果。