llm和tgi不支持量化模型，加速推理方案求推荐

服务器

还细致地探讨了TGI的架构、优化技术以及性能方面的考量。

文章先是阐述了LLMs推理的基本概念，其中涵盖Prefill和Decode这两个阶段，还点明了它们在推理进程里的不同特性与挑战。随后，作者详尽地介绍了TGI的两个关键组件：服务器（router）和推理引擎（text_generation_server），以及这两个组件在处理LLMs推理请求时所起的作用。在服务器端，借助智能的连续批处理算法对请求进行管理，防止出现内存不足的错误，并且能够依据硬件性能动态地调整批处理规模。而推理引擎则承担着模型加载、KV缓存，以及运用像Flash Attention和Paged Attention这类先进的注意力机制的任务，以此优化推理效率。

文章进一步对Prefill和Decode阶段的细节进行了解释，还说明了将二者分开的原因。同时阐述了KV缓存的重要意义，以及怎样借助KV缓存和其他技术优化Decode阶段的性能以降低计算成本。此外，文章也探讨了TGI如何运用监控工具和性能指标评估并优化推理流程。文章归纳了使用TGI进行LLMs推理时的关键技术要点，涵盖依据不同应用场景选取合适的性能指标，以及怎样通过TGI的基准测试工具熟悉并优化推理流程。

监控

观点