本地运行大型语言模型的工具

macOS

这些工具包括适合初学者的图形界面工具和高级用户的高性能推理引擎等。文章参考：https://medium.com/@stigkorsholm/23 - 本地运行大型语言模型（LLMs）的23种方法 - 906278b55902

LM Studio是一个桌面应用程序，能在本地运行大型语言模型（LLMs）。它有着用户友好的图形用户界面（GUI），很适合初学者。其支持多种操作系统，重点关注易用性，对那些想在自己设备上运行GPT、LLaMA等模型的非技术用户来说非常合适。不过，它虽适合初学者，但在高级用户所需的定制和灵活性上有局限。该工具跨平台，可在Windows、macOS和linux系统运行，主要支持NVIDIA GPU。

Jan.AI是一种开源解决方案，非常注重隐私，支持用户在本地运行大型语言模型（LLMs）。它是为那些重视数据安全，不想把信息发送到外部服务器的个人或组织打造的。这个工具易于设置和使用，界面简单直观。虽然它缺少某些高级功能，社区规模也较小，不过Jan.AI优先本地运行的方式能保证所有数据处理都在您的设备上进行。它能在Windows和macOS系统使用，对GPU的支持有限，主要以CPU推理为主。

linux

Ollama能让用户在本地运行像LLaMA 2、Code LLaMA这类开源的大型语言模型（LLMs）。它把模型权重和其他基础设置捆绑在一起，简化了配置流程，给那些不想处理繁杂设置的用户带来更顺畅的体验。虽然其命令行界面对于初学者不太友好，但Ollama是跨平台的，可在不同操作系统上运行，而且支持多种开源模型，是开发者与AI爱好者的多功能工具。

KoboldCpp为本地运行基于LLaMA模型的操作提供了易用的GUI，从而简化了这一过程。其旨在高效且便捷地运行这些模型，有着简化的界面，不会给用户带来技术复杂性的困扰。KoboldCpp主要支持LLaMA模型，在性能方面做了高度优化，对寻求高效语言模型操作的用户而言是个不错的选择。不过，它对其他模型的支持存在局限性，跨平台的兼容性也有差异。

Llamafile由Mozilla开发，是一种便于用户在本地运行大型语言模型（LLMs）的方案。其注重便携性，用户能创建可在不同系统运行的单文件可执行文件，安装不复杂。这个工具很适合想在多平台分发基于LLM应用程序的开发者。不过，它的设置虽简单，但文档和社区支持相比其他方案较为有限，对需要大量技术支持的人而言不太合适。

LangChAIn属于一个框架，能助力开发者构建由大型语言模型（LLMs）支撑的应用程序，还集成了诸多模型与工具。它具备模块化组件，可简化开发流程，让开发者无需从零开始就能创建高级应用。LangChAIn会经常更新，支持各类后端，便于自定义部署。不过，它需要编程知识（尤其是Python知识），初学者学习起来可能难度较大。它比较适合那些想要把LLMs集成到更复杂系统中的开发者。

11. 西蒙·威利森（Simon Willison）的大型语言模型（llm）llm是一种命令行工具，用户能够借助它下载开源LLMs并在本地运行。其界面简洁，适合习惯在命令行操作、无需完整图形用户界面（GUI）的用户。该工具较为轻便，支持多种不同模型的插件，对开发者而言是个多功能的选项。不过，使用它需要对Python和命令行有基本的了解，这使得没有技术专长的用户难以使用。虽然简单，但llm在本地模型推理方面有很大的灵活性。

LocalAI是一种与OpenAI兼容的REST API，能在本地运行大型语言模型（LLMs）、进行图像生成和音频处理，无需借助外部云服务。其目的是替代OpenAI API，让开发者能更轻松地从云系统过渡到本地推理，适合那些需要API兼容方案来本地部署的用户。但LocalAI要设置REST API，这对非技术用户而言可能存在一些配置上的难题。

Exllama是专门用于在GPU本地运行LLaMA模型的优化推理引擎。其性能出众，和众多替代方案相比，推理速度快且内存管理更高效。对于想要运行像13B、30B这类较大LLaMA模型又不想影响性能的用户来说，Exllama是个不错的选择。不过，它需要GPU支持且设置时要有一定技术知识。其文档可能存在不足，但随着使用该工具的用户增多，社区也在不断发展壮大。

MLC LLM的目标是将语言模型本地部署在各类硬件后端，通用性很强。它让用户能在桌面系统、边缘设备、移动平台等不同设备上高效运行LLMs。这个工具对性能做了优化，在CPU和GPU上都可顺利运行。虽然它在硬件支持上有灵活性，但设置和配置需要较高的技术专长。MLC LLM适用于进行跨平台AI部署的开发者。

LMQL（语言模型查询语言）是一种创新型工具，它融合了自然语言提示与约束条件，使用户能够为大型语言模型（LLMs）编写更高效、更具针对性的查询。这样做既提升了生成响应的精准度，又降低了不必要的计算成本。LMQL是开源的，可与Hugging Face、OpenAI等多种后端模型集成。不过，要想充分发挥其功能，需要掌握Python知识并熟悉这种独特的查询语言。对于想要更精准控制模型输出的开发者而言，它是个强大的工具。

LocalLLM由Google Cloud Platform开发，用户可通过它在本地运行LLMs，且它支持多种预训练模型。其能无缝融入现有基础设施，对企业与开发大型系统的开发者而言，是个可扩展的选择。LocalLLM支持不少机器学习框架，能构建灵活的AI开发环境。不过，它面向技术熟练的用户与开发者，要求使用者对模型部署和基础设施管理有深入理解。

txtAI是个多功能平台，能构建可在本地运行大型语言模型（LLMs）的、由AI驱动的语义搜索应用程序。它具备搜索、文档检索、问答等一系列AI功能，适用于需要自然语言理解的应用。txtAI意在处理大规模数据集，为企业提供可扩展的解决方案。其设置需要一定技术知识，但功能多样，且处于积极开发中，会定期更新以提升性能与功能。

Llama.cpp是Meta的LLaMA模型的C++实现版本，它针对CPU推理做了优化，从而能在消费级硬件上运行大型模型。其效率很高，可被集成到多种应用程序里，给开发者提供灵活的解决方案。Llama.cpp无需GPU，这让没有高端硬件的用户也能使用，不过，设置它需技术知识，要熟悉源代码编译且了解C++环境。

vLLM是一个推理库，具有高吞吐量且内存利用高效，专为在本地运行大型语言模型（LLMs）而设计。它在速度与内存使用方面进行了优化，很适合大规模部署的情况。vLLM支持动态批处理，能同时处理多个请求，有效利用硬件资源。不过，它的设置过程较为复杂，所以更适合技术专长较强的高级用户。此工具针对强大系统优化，可能需高端硬件（如GPU加速）才能有效运行模型。

CTranslate2是一个高效的推理库，专为Transformer模型打造，由C++和Python编写而成。这个推理库支持CPU与GPU推理，给用户营造了高度优化的运行大型语言模型（LLMs）的环境。CTranslate2能跨不同平台工作，对于想要用更少内存资源达成更快速推理的开发者来说极为适合。不过，它的设置需要一定技术专长，例如要从PyTorch、TensorFlow等框架转换模型。它能高效应对大型模型，是高级AI任务的理想之选。

h2oGPT属于企业级解决方案，能简化私有大型语言模型（LLMs）的部署，涵盖文档嵌入用的语言模型与数据库。其提供的综合软件包，可让用户在同一环境下管理LLMs的推理和存储部分。这让它很契合那些想找一站式AI平台处理大规模语言任务的组织。不过，它设置起来复杂，高效运行需要大量硬件资源，还得有GPU支持。

PowerInfer是一款高性能推理引擎，可在CPU和GPU上运行大型语言模型（LLMs）。它采用激活局部性等先进技术优化内存管理、提升推理速度，适用于大规模模型。PowerInfer能适配多种硬件配置，用户即便使用消费级系统也可高效运行LLMs。它主要面向研究人员和开发者，不过由于文档不多，其设置可能颇具难度。但只要能正确配置，它就能展现出令人惊叹的性能。

LLamaSharp是llama.cpp的C/.NET绑定，能让开发者把LLaMA模型整合进.NET应用程序。它有更高级的API，这使得在.NET生态体系里运用LLaMA模型更为简便，开发者无需深入探究底层的C++代码。该工具是跨平台的，Windows、macOS和linux系统都支持，并且不需要GPU，这让仅使用CPU环境的开发者也能使用它。LLamaSharp适合那些已在.NET生态系统中开展工作且想要把大型语言模型（LLMs）集成到自己应用程序中的人员。