为什么Deepseek的模型在英文prompt下会出现中文混用的情况？

人类

R1论文指出，链式思维常出现多语言混用，尤其在提示语本身包含多种语言时更为明显。为此，他们引入了语言一致性的奖励机制，从而提升链式思维的可读性。虽然这一调整可能略微削弱模型性能，但更贴近人类偏好，提升了用户体验。

ClosedAI并无公开思维链的计划，其总结出的思维链可读性不佳，有时纯属妄言，与最终答案毫无联系。由此推测，他们或许未进行DeepSeek对CoT的优化，毕竟根本无意公开。这里存在一个疑问：为什么根据国外网友的反馈，在他们使用纯英文提示词时，生成内容中混入的主要是中文？这显然不是因为受到了 DeepSeek 的思维链影响。从个人使用经验来看，在 o1-mini 和 o1-preview 阶段，即便在 DeepSeek 之前，ChAIn of Thought 方法就已经经常出现语言混用的问题，有时甚至生成一些难以辨认、无法阅读的奇怪文字。基于此，我有几点猜测：这可能是最主要的因素。

recall 当初GPT3.5发布时，相同内容下英文token用量明显更少。不过，据说GPT4o与3.5的中文分词方式有所不同（英文部分未变），所以这里我们将对GPT4o的tokenizer进行一番验证。

AI

123与130对比，中文稍占优势，差距不大，主要取决于翻译方式。这未必能验证猜想的合理性，仅是偶然想到的一种解释而已。有人尝试从语言学角度解释，但我仍觉得不够可靠，因为对模型而言只是数字与编码。像GPT3.5的tokenizer，处理中文时会浪费较多token，这便是一个例子。

如果能证明在最佳分词方式下（假设存在最优方法），某种语言使用的 token 数量确实少于另一种语言。但按此逻辑，人工设计新语言可能更高效，因为自然语言本身存在太多问题和冗余。