Ollama，本地部署大模型的工具如何使用？

电脑

若想在笔记本电脑本地运行Ollama或者Jan.AI，对于10b以内的模型可以尝试一下，具体可参考SuperCLUE小模型榜单，像2024年10月的SuperCLUE小模型10B榜以及SuperCLUE小模型5B榜。通常来说，处理中文任务时选择Qwen系列基本不会出错，智谱的GLM系列也挺好。而对于英文任务，主流的是Llama和Mistral系列。要是打算在本地运行70b以上的大模型（例如Qwen - 72b instruct），那首先得准备至少两块4090显卡再说别的事。