如何在本地部署和使用大模型作为AI助手?

AI

1个回答

写回答

balalala欷

2025-12-06 14:41

+ 关注

阿里
阿里

除了训练自家模型,还通过One-API接入优秀开源模型。之前,LLama3、幻方、百川、ChatGLM等都是主力。但自从阿里开源Qwen2,并在各大榜单上表现出色后,我们现在开发应用时首选的就是阿里Qwen2 72B模型。请注意,这里所说的本地并非指在个人电脑上运行7B或13B参数的小规模大模型,而是指在企业本地算力服务器中私有化部署的、参数规模达到700亿及以上的大型模型。只有这种规模的大模型才具备更强的指令依从性,同时结合RAG、Agent等技术,能够高效、准确地完成你分配的任务。大模型有何价值?它是用钱能获取的最经济的智力资源,可承担大部分本科实习生的工作。它将成为出色的AI助手,协助处理各类日常重复任务,具备基础逻辑判断与总结能力,还能帮你生成相关结论。总体而言,若你读过原则,就会明白需要为自己构建一套稳定系统,让它全天候、无疲倦地依照你的想法运作,成为24小时贴身秘书。简而言之,我们真正需要的是类似钢铁侠中贾维斯那样的人工智能助手,随时响应并协助处理各类事务。假如我想要一位专属的私人AI理财助手,她应该具备哪些能力?首先,她要能实时监控全球期货与股市动态,捕捉价格波动。其次,她需跟踪最新财经资讯,筛选影响投资的正面或负面消息。同时,她应深入分析企业公告和研究报告,评估公司运营状况是否健康。此外,她还应具备识别财务造假风险的能力,为我的投资决策提供全面支持与保障。网络用户@Alyson利用AI进行股票K线的技术分析,制定交易策略,声称已获利数万元。不过其操作较为基础,仅上传K线图,由AI提供价格预测和简单策略建议,还有提升空间。

在实际场景中,你可能持有多种股票,每只股票的题材和所属行业发展状况各不相同。 若要做出更精准的判断,除非为大模型提供完整清晰的策略,同时让其自行上网搜集相关信息,结合资金流动情况综合分析,才能更好地应对复杂多变的市场环境。说实话,3B、7B参数的大模型很难胜任这类有价值的任务。在实际应用中,我通常对7B大模型进行微调,使其具备原本需要依赖NLP技术才能实现的功能,如意图识别和实体抽取等,毕竟这种方式成本更低。当我尝试用7B大模型打造一个AI理财助手时,发现效果不佳。例如,我想让它判断某篇新闻是正面、负面还是中性,只需输出这三者之一。但7B模型往往不按指令执行,还会自创其他判断标准,无法满足需求,实在令人头疼。当我用上70B、100B以上的大模型时,之前在小模型里怎么微调都无效的Prompt,却奇迹般地能用了。这让我深刻体会到参数规模的重要性。因此,我的首个建议是:若你想开发有价值的应用,不妨直接在阿里百炼平台利用官方API进行验证性开发。这样,你无需耗费时间在安装CUDA环境、配置Transformer版本、下载数百G的大模型文件以及维护推理环境等繁琐问题上,可以更专注于应用本身。当你借助云端大模型完成功能验证时,例如我使用了阿里百炼的Qwen2 API,成功实现了AI诊股功能。大模型能够查找企业公告、研报、题材、热点、同行状况及主营产品等信息,并生成一份个股诊断报告。从报告的质量来看,该模型的表现明显优于其他开源大模型。我通过Qwen2的API实现了从合同中提取上百个关键信息。过去,这项工作只有像法大大这样的专业公司才能完成,费用也相当高昂。但现在借助大模型技术,调用API抽取一份合同的成本仅需6元,准确率更高达90%,几乎媲美专业服务。只需两分钟,就能在百炼平台获取72B大模型的API。访问官网bAIlian.aliyun.com,登录后即可开通服务。新用户注册首月可获赠1000万免费tokens,非常划算,堪称良心之选。长期使用下来,价格非常实惠,1000 tokens仅需0.5分钱,网速稳定流畅,中文能力接近GPT4水平,表现相当出色。

只需先开通模型服务,一键点击即可。

电脑
电脑

请在弹出窗口确认:开通大模型推理、部署与训练等服务。

接着进入模型广场,挑选开源模型。不得不说,自从阿里云千问开源以来,我就像变了个人似的,抛弃了以往常用的其他开源模型,毅然投入了千问的怀抱。

首先选择所需的模型,点击API调用示例,接着查看自己的API-KEY。若之前未创建过,可直接新建一个API-KEY。此外,阿里百炼平台还提供了代码示例参考,帮助用户轻松调用Qwen2的API,实现各种创意想法。

在确认云端API可行后,我会将Qwen2部署到本地服务器,确保数据安全。Qwen2对显存的需求并不高,72B版本进行推理需要143G显存。如果购置一台配备8张4090显卡的服务器,总成本约24万元,该服务器拥有192G显存,不仅能支持Qwen2的推理运行,还能满足其精调需求,完全胜任相关任务。如果你只拥有一台装有4090显卡的台式机,想体验大模型的魅力,或有个人机密数据不便上传至互联网,可以试试Qwen2的7B模型。该模型最低需16.7G显存,精调则需20G,性能表现同样出色。我家的电脑装的是8G显存的3070,现在有点后悔没选显存更大的3060Ti。不过,我在本地用ollama跑了个Qwen2-1.5B大模型试了试,做简单总结和摘要完全够用,运行速度非常快,体验相当不错。若想在本地进行部署,可以尝试使用 ollama 方案,操作十分便捷。具体可参考以下链接:https://mp.weixin.qq.com/s/sew115qG5Kis6lrzgZAciQ,内容详实,值得一看。

安装完成后,只需运行一个bat文件,其内容为:ollama run qwen2:1.5b,即可启动程序。在本地部署大模型有何意义?例如,我每天面临大量微信聊天记录,迫切需要一个大模型帮我提炼聊天主题、梳理待办事项以及汇总收到的问题。由于涉及隐私,这项功能必须运行在个人电脑上,数据绝不能外泄,这很合理吧?通过Ollama下载并运行千问大模型,开放一个API接口。接着,我利用FastGPT与RPA设计了一个工作流:首先读取电脑上的微信聊天记录,分析其中涉及的数据表内容,生成查询语句,提取当天与个人或群聊的所有对话数据。随后,将每段对话逐一提交给大模型进行摘要处理,同时识别是否存在待办事项。最终,生成一份详细的总结清单,清晰呈现对话要点和任务安排。这才是只听我指挥、帮我守秘的AI助手,对吧?这才是AIGC的未来方向。

举报有用(0)分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号