RecAI，利用大型语言模型增强推荐系统的工具包？

AI

提升甚至革新推荐系统。它提供了一系列工具，如推荐AI代理、面向推荐的语言生成模型、知识插件、解释器与评估器，助力从多维度将LLMs融入推荐系统。通过LLMs的支持，新一代推荐系统有望实现更强大的功能、更高的可解释性、更强的对话交互能力和更好的可控性，从而为用户提供更智能、更贴心的服务体验。我们期待RecAI的开源能够推动下一代先进推荐系统的快速发展。

大型语言模型（LLMs）经过了在海量互联网数据上的严格预训练，其参数规模从数亿扩展到数千亿，从而展现出显著的通用智能能力。这些能力包括但不限于流畅的多轮对话、逻辑推理与数学计算、遵循复杂指令完成任务，以及协助解决软件开发中的各种问题。正因如此，许多应用领域正在积极探索如何将 LLMs 集成到现有系统中，无论是作为辅助模块还是核心框架。推荐系统（RSs）作为一种专门设计的信息检索工具，主要功能是从用户画像和历史行为中提取偏好信息，并通过筛选和排序生成项目列表，以帮助用户高效发现感兴趣的项目。随着 LLMs 在处理自然语言和理解复杂语义方面表现出的强大潜力，研究者们逐渐开始思考如何借助 LLMs 的力量来重塑下一代推荐系统的架构。然而，直接将 LLMs 应用于推荐场景并非易事。首先，LLMs 的知识边界受到其训练数据的时间限制，这意味着它们无法实时获取最新的项目目录或属性信息，而这些动态内容恰恰是推荐系统运行的重要基础。其次，用户的偏好模式往往具有高度领域特异性和快速变化的特点，这要求推荐模型能够根据最新数据进行频繁的重新训练或微调，以捕捉与 LLMs 编码的一般性世界知识不同的独特模式。因此，在推荐系统中单纯依赖 LLMs 是不现实的。本文旨在探讨如何有效利用 LLMs 来推动推荐系统的升级与发展。我们设想的下一代推荐系统将在 LLMs 的支持下展现出更高的智能化水平和更广泛的适用性。具体而言，这种新型推荐系统可以自动生成推荐理由，通过会话式交互为用户提供个性化建议，并增强用户对推荐过程的掌控能力。为了实现上述目标，我们提出了 RecAI——一个轻量级工具包，致力于从多个维度全面整合 LLMs 与 RSs 的优势。RecAI 目前包含五个核心支柱，每个支柱对应一种独立的应用场景：推荐一种由大型语言模型驱动的AI智能体。其中，大型语言模型充当大脑，负责与用户互动、逻辑推理、规划及任务执行。而传统推荐模型则作为工具，通过提供专业技能来强化大型语言模型的功能。通过微调语言模型，可以有效整合领域特定知识，构建更契合需求的推荐系统表达模型。知识插件可以将特定领域的知识动态整合到提示中，从而补充大型语言模型（LLM）的能力，且无需修改LLM本身。这一方法在无法微调LLM时尤为有用，比如仅能通过API调用，或因缺乏GPU资源和时间限制而无法进行微调的情况下。推荐系统解释工具。深度学习推荐模型常为黑箱，缺乏透明性。RecExplAIner 借助大语言模型，解读基于嵌入的推荐模型运行机制，揭示其内部隐藏表示的含义，增强可理解性。RecAI 提供一个便捷的评估工具，用于评测增强型推荐系统。它可评估基于嵌入与生成的推荐效果、解释能力以及会话交互性能。在后续章节里，我们会对每个支柱进行详细介绍。

图1：InteRecAgent概览。用户通过自然语言与大模型交互，大模型解析用户意图，制定工具执行方案，从特定领域获取所需项目或信息。依据工具运行结果，大模型生成反馈回复用户。

互联网

为了提升 InteRecAgent 框架的易用性和成本效益，我们尝试训练小型语言模型（SLMs），例如参数量为 7B 的 Llama，以模仿 GPT-4 在指令遵循方面的高水平表现。为此，我们开发了 RecLlama，这是 Llama-7B 的一个微调版本，使用了由 GPT-4 生成的专业数据集进行训练。该数据集包含大量高质量的对话对，旨在全面覆盖多种场景。为确保数据集的质量与多样性，我们将用户模拟器与代理对话产生的数据，结合了针对不同工具执行场景精心设计的对话内容。实验结果表明，RecLlama 在作为 InteRecAgent 核心组件时，能够显著优于其他大型语言模型（LLMs），例如 GPT-3.5-turbo 和 Text-davinci-003。这一改进使得框架在性能和成本之间实现了更好的平衡。关于 InteRecAgent 的详细评估结果，请参考相关文档或报告。通过这种方法，我们不仅优化了框架的整体表现，还为其实际应用提供了更多可能性。

图2：RecLM两种结构的图形对比展示。

我们借助GPT-4驱动的用户模拟器与系统进行对话，评估其会话推荐效果。系统表现通过互动中是否成功引用模拟器设定的目标项目来衡量。这种方式能够有效测试推荐准确性。系统提供解释后，由独立大型语言模型如GPT-4评估其信息丰富程度、说服力及实用性。评委根据这些标准进行评价。用户可能提出非特定问题，例如如何撰写研究论文。系统需熟练应对这类查询。通过大型语言模型（如GPT-4）生成回复后，批评系统将从实用性、相关性和完整性方面评估回答质量，以优化对话体验。我们通过 NDCG 和 Recall 指标对比真实数据，评估前三个维度。对于解释性和闲聊质量，采用成对比较法进行可靠评测。评委将对比两个模型的输出结果，统计优胜、失败与平局情况，从而综合衡量模型性能表现。我们推出了 RecAI，这是一款借助大语言模型（LLMs）构建模仿人类互动的推荐系统工具包。RecAI 以多个核心支柱为基础，每个支柱都针对解决现实世界的多样化需求。例如，希望将传统工业推荐系统升级为对话式接口的工程师，可以通过部署推荐 AI 智能体框架，保留原有推荐模型的价值。而期望低成本快速开发对话推荐系统的研究人员，则可以选择 Chat-Rec 框架，结合 RecLM-emb 进行高效检索，并使用 RecLM-gen 作为生成型 LLM。我们相信，在 LLMs 的推动下，下一代推荐系统将具备更强的多功能性、互动性和用户可控性。RecAI 的目标是加速这一转型进程，为学术界与工业界提供必要的工具支持，助力打造更加复杂、吸引人且响应迅速的推荐系统。这不仅会提升用户体验，还将推动整个推荐系统领域迈向新的高度。