零基础入门AI实践课中的大语言模型相关

AI

可点击跳转赛事官网）的从0基础入门AI的实践课文章。我是零基础小白，这是我的学习笔记，可供大家参考。大语言模型（英文缩写为LLM）属于人工智能模型，其目的在于理解人类语言并生成人类语言。我们不妨想象，LLM宛书馆的守护者。它阅览了海量书籍，从古老传说直至现代科学论文，吸纳了诸多知识，进而能够依据这些知识解答各类问题。

大语言模型具备哪些能力？大语言模型（LLM）和之前的预训练语言模型（PLM）的关键差异是涌现能力。PLM就像单车道道路，能行车但能力受限；LLM则似高速公路，可处理更多信息流，支持更复杂任务并行处理。这种能力在小模型中不显著，在大模型里却很明显。例如：大预言模型有着哪些特点？推理能力，简单来讲，就是机器能够理解基本逻辑规则，进而运用这些规则去分析与解决问题。这就好比是在玩逻辑拼图，机器得识别出每块拼图的位置，再依据这些信息拼出完整的图像。例如，已知所有狗都爱吃肉，又知道汤姆是狗，通过逻辑推理就能得出汤姆爱吃肉的结论。现代的人工智能模型，像大型语言模型（LLM），已开始呈现出推理能力。然而，它们掌握这一技能的背后技术十分复杂。全球科学家都在努力探究这个问题，想要解开让AI模型更智能的奥秘。众多研究机构和企业在该领域投入大量资源，毕竟掌握这项技术或许能主导人工智能未来的走向。培养和发展推理能力犹如在智慧的海洋里航行，要不断探索发现。每一次技术进步，都是朝着更高级智能迈进一步。在此过程中，我们既要有技术智慧，也要深入思考伦理与责任，保证人工智能发展造福人类社会。提示工程可视为一种指导艺术，这是一门新兴学科，主要聚焦于提示词的开发与优化。它能助力用户在各种场景和研究领域运用大语言模型（LLM），还教会我们怎样与LLM有效对话，让LLM理解需求并给出合适回应。Datawhale AI夏令营中trAIn的第一个问题被选取于此。能看到有问题背景、提问和选项这种结构的数据字典。精心整理和格式化数据后，将其转换为Markdown格式的提示。这种格式便于大型语言模型轻松理解信息，进而深入分析。这是确保语言模型准确把握和分析问题核心的重要步骤。为方便大家操作，暂时采用未微调的开源模型Qwen2 - 1.5b - instruct的API。比赛最终提交需用大型模型且要上传到环境，不过现在大家能先在成本低的API上测试。测试完毕后，再把环境打包成Docker文件上传。我们观察到大型模型借助output字段返回其推理结果，如此一来，大型模型便成功完成了我们的推理任务。整体代码包含答案生成、纠错与结果文件生成两大模块。系统中，答案生成是关键环节，包含以下几个步骤：喜欢动手实践的朋友，大模型处理部分是很好的起点，能在此开启探索和优化之旅。文档中专门设计了纠错与结果生成机制，用于处理在线API调用大型模型时可能出现的状况。网络不稳定或者模型自身存在限制时，我们偶尔无法得到完整答案，像模型未给出ABCD选项而是返回空值这种情况。并且，若网络重试机制尝试所有机会后仍无法得到答案，系统会智能跳过该问题，防止整个流程被延误。

Datawhale官方给出了详细的速通文档：飞书云文档之从零入门AI逻辑推理。call_qwen_api函数的作用是输入模型名称和prompt，以实现对大模型api的调用。大模型调用api时可能出错中断，为确保每个问题都被大模型处理，需设置api_retry函数来反复尝试，最多尝试5次，每次再次尝试需等待60秒。若出现错误，则将其存储到日志文件。get_prompt是一个模版函数，它利用字符串处理来拼接出完整的prompt。大语言模型生成的结果可通过抽取函数抽取为答案对应的选项，其匹配原则与prompt相呼应。prompt要求最后一行格式为答案是：A这种规范，所以我们用正则表达式的re.compile方法来匹配答案对应的选项，若匹配为空，则默认选择A。把一个问题背景中的全部问题存进同一个字典，再依据id序号排列。对于有空缺的列表，我们会进行补错操作，默认将每个answer字段填充为A。若大家不满意这种补错机制，可再交由多线程函数处理一次。第四步：对文件进行存储。博客链接：