百度的简单搜索功能与大模型能力评测有何不足？

百度

先分享之前写的内容，这个简单搜索就像百度版的 bing chat。要做好它，不仅需要依赖大模型，还取决于搜索引擎的质量。但这两方面都稍有些不足之处。简单来说就是百度简单搜索初衷虽好，但实力有所欠缺，总体而言：下面举例说明，就会发现，简易搜索与真正的简易搜索差距甚远！想了解大模型能力评估，可查看后续内容。

主要还是问题，问题的描述与其他大模型的能力可留到后文讨论。这里的答案并不正确，搜索结果也存在很大偏差。我已经对这个问题做了非常详细的解析，但百度未能检索到相关内容，反而指向其自有产品（往下看，连续多页都是百度产品的信息）。这正是百度搜索难以做好的核心原因所在！而若搜索质量不佳，即便结合大模型，依然难以取得良好效果！

尽管提示要求用编程方法解决问题，但该说明被忽略，未按要求执行。

搜索引擎

开放式问题：

有些内容似是而非，既不认真虚构，又未忠实于事实，让人读来格外别扭。比如关于湖堤修建的描述，就存在明显错误（如因坡得肉这类说法）。这种既不严谨又不够生动的回答，实在难以令人满意。再看几个涉及具体史实的部分，也能发现作者知识储备不足、功力欠缺的问题。

这个内容仍然存在杜撰之处：

从上述例子可见，百度简单搜索初衷虽好，但实力尚有不足，概括来说：若要了解大模型相关问题，可查阅以下内容：大家好，我是王文广，今天想和大家在栏目中聊聊大模型、生成式 AI 和 AGI 的相关内容。我是一位有两个孩子的父亲，在关注 AGI 的发展之余，也非常重视孩子们的教育问题。最近偶然看到一道上海某知名初中小升初的考题：求所有平方后末三位与原三位数相同的三位数。这道看似简单却充满深意的题目，让我联想到了更多关于技术与教育结合的可能性。于是，借着这一契机，我开始撰写大模型的差距看得见系列文章。在该系列的前三篇文章中，我用这道数学题面试了多个国内外主流的大模型，包括闭源商业模型如 OpenAI 的 ChatGPT、Microsoft 的 Bing Chat、Google 的 Bard 和 Anthropic 的 Claude 2，以及开源模型如 LLaMA-2-Chat-7B、WizardMath-70B 和 CodeLLaMA-34B-Instruct。通过这些测试，我们得以直观了解各模型的能力差异。如果对题目解析或面试过程感兴趣，可以阅读以下四篇文章深入了解。一个简洁而不简单的AGI生成式AI测试题，以及对ChatGPT的评估，让您清晰看见大模型之间的差异，系列评测第一篇。对Bing Chat的评测显示，简约之中暗藏复杂，AGI生成式AI的实力差距显而易见。对Bard和Claude进行简约而不简单的AGI生成式AI评测，展现大模型可见的差距系列之三。深入全面面试LLaMA-2、WizardMath与CodeLLaMA，专业解析大模型差异，清晰展现系列第四篇。接下来，我和大家一同关注国产大模型。鉴于对各团队较为熟悉，这里不做具体评价，大家可自行判断。如果各位已经阅读过前四篇文章，相关内容讲解得十分细致，做出判断想必不会困难。首个大模型由国内某巨头公司B推出，通常情况下：

添加代码提示功能

结合检索增强的功能模式：

本号专注于通用人工智能领域，将持续追踪各大方向的动态，涵盖大模型、生成式AI、图像理解、强化学习、知识图谱等技术进展，以及相关数据、算法、模型和创投资讯。期待您关注微信公众号，获取最新信息与专业知识。下面的大模型源于另一巨头A，默认情况下：

请注意编程的相关情况：

包括检索增强的效果：

以下大模型出自一家数字公司，默认设置为：

一家近期备受关注的新创公司B，让我们看看它的表现：

注意编程时的情况：

一家巨头公司低调成立了全资子公司D，专注于研发大模型。

按提示编程，注意细节。

一家在教育领域颇具影响力的公司所为：

总体而言，通过上述面试题目可以看出，国产大模型的水平大致与LLaMA-2、WizardMath和CodeLLaMA等相近，但与ChatGPT相比仍存在一定差距。在参与面试的多个国产大模型中，表现优异的超过了LLaMA-2的水准（这里指综合了WizardMath、CodeLLaMA等多个模型的表现），而表现较差的则可能还不如LLaMA-2。这表明，尽管国产大模型数量众多，但在性能和质量上仍有较大的提升空间。风险提示：单凭一道题目的面试结果存在极大偶然性，切勿将其作为选择大模型的标准。一叶知秋或管中窥豹，见微知著或盲人摸象，各有道理，理性看待即可。最后奉上一张精美的二维码彩蛋，欢迎扫码。期待未来某天，人类能在休闲海岛上放松，让 AI 承担所有工作，哈哈！

推荐对通用人工智能感兴趣的朋友阅读以下文章：中国大模型产业发展的白皮书文件Google下一代通用人工智能双子座Gemini系统值得关注。马斯克分享创办xAI初衷，从OpenAI到xAI的心路历程，揭示背后原因。珠峰书籍知识图谱：认知智能理论与实战全新升级，附带PPT，教学更轻松！算力是AGI的基石，构建大模型离不开强大的算力支持，探讨其中的关键问题。知识图谱是一种结构化数据表示方法，广泛用于信息检索、自然语言处理等领域，支持智能应用构建。GPT-4模型架构：比你想象中更简洁明了。若文章对你有所助益，请慷慨打赏。你的支持，是身为两个孩子父亲的我坚持写作的最大动力！