检索增强生成（RAG）优化方案探索

AI

本期研讨人员：陈将老师是Zilliz AI云平台的负责人。彭昊若博士，FileChat创始人，专注RAG能力在垂直领域的应用创业。卢向东，TorchV创始人，专注RAG解决方案创业，公众号土猛的员外主理人。博士RandyZhao/王睿，OnWish创始人，基金经理/分析师助手，助力投资决策，提升研究效率。徐嘉浩老师担任主持人，同时是Neumann Capital的投资人。RAG主要分为四个部分，每个部分都有待解决的难点。数据清洗是RAG当前的主要难点所在。短期内解决数据清洗难题的思路若要长期解决数据清洗问题，需改变生产信息的方式。数值计算相关的场景较为复杂。

RAG可解释性的挑战在于……RAG应用场景的难点在于...多模态可用性的发展RAG属于系统优化类问题。行业分散与否，取决于信息生产方式。RAG需求可从水平与垂直角度划分。水平解决方案举例：跨部门协作的项目管理工具。垂直解决方案举例：高楼建筑设计与施工技术应用。国内对知识库的需求日益增多。RAG或成下一代搜索引擎，值得关注。RAG在相对白盒、权限管理、客户门槛等方面具有功能优势。微调虽需更多数据准备，但仍可能产生幻觉。从多个角度评估RAGRAG评测数据集的建设仍处于初期阶段。Zilliz在数据评测中进行了全面测试，现分享其相关经验，供参考学习。HuggingFace MTEB目前是最具权威性的榜单。Hybrid Search 的应用需根据客户场景灵活搭配。选用最合适的技术栈，注重易用性至关重要。RAG将来仍会依托向量数据库。在RAG领域，Elastic和MongoDB均未展现出先发优势。在传统技术栈里，Elastic相比MongoDB表现更优。RAG主要面向算法工程师和软件开发者。水平方向的RAG系统在开源社区的运营中占据着十分重要的位置。垂直领域RAG或许更适合从特定语言方向开始发展。RAG垂直应用的价值链分析金融行业对RAG有特殊需求金融领域同样缺乏数据集。Onwish的RAG构建实践经验分享