
公司
所以,我觉得 若要实现与用户的长期互动,agent 必须具备压缩 context 长度的能力。大致有以下几个可行方向:Agent与Chat并非同一概念,Agent更依赖基础模型的创新。Character AI认为,基础模型是其核心竞争力,因为现有如LLaMA、GPT等模型大多针对Chat场景优化,而非为Agent设计。这导致它们输出内容常显冗长,并缺乏人类性格与情感特质。为了构建更适合Agent的模型,在预训练或持续预训练阶段,必须引入大量对话类数据,从而让模型更好地理解交互情境,具备更贴近人类交流特点的能力,进而满足Agent应用的需求。GPT-4-Turbo 输出 1K token 需花费 $0.03,而 GPT-3.5 同量输出仅需 $0.002。对多数用户而言,这一成本过高,难以承受。只有在部分面向企业的应用,以及一些高价值的消费级场景下使用 GPT-4-Turbo 才能避免亏损,例如 AI 心理咨询和 AI 在线教育等领域,这些场景因其附加值较高,能够支撑起较高的使用成本。使用GPT-4-Turbo进行智能客服可能面临亏损,因为即使输入4K token、输出0.5K token,单次调用成本就达0.055美元,高于人工客服。而GPT-3.5的成本相对较低,是更经济的选择。对于企业而言,选择合适的模型才能有效控制成本并提升效率。若自行部署 LLaMA-2 70B 模型,生成 1K 输出 token 的成本可低至 0.0005 美元,这比 GPT-4-Turbo 便宜 60 倍,比 GPT-3.5 也便宜 4 倍。然而,并非所有人都能达到这一成本水平,这需要对推理基础设施进行优化,甚至最好拥有自己的 GPU 集群。尽管如此,大语言模型(LLM)推理领域的竞争已十分激烈。例如,Together AI 在降价后,其 LLaMA-2 70B 的定价已降至 0.0009 美元。这种价格战正推动行业快速进步,同时也让企业面临更大的成本压力和技术挑战。如果应用对大模型性能需求较低,例如简单陪聊型 Agent,7B 模型输出 1K token 的成本可低至 0.0001 美元,比 GPT-4-Turbo 便宜 300 倍。Together AI 的定价为 0.0002 美元。Character AI 自研的大模型规模也处于这一级别,能够以极低成本实现高效运行,满足轻量级应用场景的需求,同时保持良好的性价比和使用体验。模型路由会是一个很有前景的方向,即将简单问题分配给基础模型,复杂问题交给高级模型,从而大幅降低成本。关键挑战在于,如何以较低成本准确判断用户输入的问题属于简单还是复杂类型?这需要有效的区分方法来实现高效分配。目前,关于是采用单一基础模型还是多个领域专用模型的争论十分激烈。究竟需不需要大量微调模型,还是仅靠提示工程就足够了?OpenAI 和 Character AI 均支持基础模型理念,更倾向于通过设计提示词(prompt)而非大量微调模型来满足个性化需求。这种方式依托强大的通用模型能力,结合定制化指令,灵活实现多样应用场景,降低资源消耗与开发成本,同时保持较高性能表现。ChatGPT 已将多模态、代码解释器和网络浏览器等功能融入一个 2000 多 token 的提示词中。无论用户输入什么内容,这个 lengthy prompt 都会始终伴随。
同样,Character AI 也采用 prompt 方式进行角色设定,而非对每个角色单独微调。这种方法高效且灵活,值得借鉴。以桌游助手BoardWizard为例,它能协助玩家进行游戏,提供策略建议,增强互动体验。

AI
目前,OpenAI 的 Assistants API 仅通过 RAG 方式抽取文档内容,尚不直接支持微调功能(OpenAI 的微调 API 单独提供)。目前,微调模型的部署效率已经大幅提升。过去人们担忧多微调模型无法实现批处理,导致推理效率低下。然而,近期出现了一些关于微调批量推理的研究论文(如 S-LoRA: Serving Thousands of Concurrent LoRA Adapters),这些方法原理相似,主要通过换入换出等技术手段,成功将数千个微调模型部署到同一块 GPU 上,并支持不同微调模型的批量推理。尽管微调后模型中 LoRA 部分的执行效率可能下降数十倍,但由于 LoRA 权重通常仅占原模型权重的 1% 左右,整体模型的执行效率降幅不会超过 50%。具体来说,LoRA 部分的执行时间从原本约占总时间的 1% 提升至约 30%~40%。这一改进使得微调模型在实际应用中的性能表现更加高效且可控,为大规模个性化模型部署提供了可行方案。微调模型在很多场景下依然不可或缺。例如,在语音合成领域,若要依据用户语音生成个性化的音色,目前最佳方案仍是通过 VITS 进行微调。当然,也有一些新技术能够仅凭几秒语音样本,无需标注或微调,就能模仿说话人的声音,比如 coqui/XTTS-v2 在 Hugging Face 上的表现就很不错,即使参考语音带有背景噪音,其英文合成效果依然出色。然而,这些方法仍无法媲美利用大量语音数据进行微调后取得的效果,尤其是在音质和自然度方面,微调模型往往更胜一筹。
Copyright © 2025 IZhiDa.com All Rights Reserved.
知答 版权所有 粤ICP备2023042255号