为何离不开英伟达？因其生态好迁移成本高

英伟达

不是非英伟达芯片不可，只是NVIDIA生态太好，换到其他地方成本会很高。

CUDA及其相关部分是这个生态的核心。当前我们能看到的各类深度学习框架，像之前的theano、keras，还有tensorflow、pytorch等，都是基于CUDA实现加速的。CUDA在2006年就被NVIDIA推出了，至今已将近20年，进行程序和代码迁移的成本相当高。另一方面，NVIDIA经过多年发展，有低、中、高三种成本的显卡可供使用，性能都很强劲。从T4、V100这类卡，到主流的A100、H100，再到高性能的H200，这使得选择NVIDIA显卡进行AI计算成为主流。

NVIDIA官方介绍称，其显卡能用于数据分析、AI训练与推理，也可用于高性能计算、渲染、虚拟化等工作，适用范围相当广泛。

NVIDIA

当然，除了NVIDIA的GPU外，还有谷歌的TPU。不过谷歌的TPU仅供其自身使用，他人无法使用。并且只有谷歌自家云服务能提供TPU服务，这让其他国家的人使用起来很不方便，我们就更难以使用了。GPU基本上到处都能买到，像用于玩游戏的3090、4090这类显卡也可用于AI模型训练。我们在校时，很多实验室就是买这种显卡来做实验的。我国有自研的GPU芯片，像华为昇腾910，数据显示其算力不错。但它缺乏相应生态环境，pytorch、transformer、vllm都得进行适配，会遇到诸多问题。厂商若不给予支持，用户凭什么花费大量时间去踩这么多坑做这件事，毕竟这样做的成本太高了。

当然，后续生态若进一步完善，我们还是会对国产GPU进行尝试的。毕竟美国老是搞小动作，有自己的芯片心里才踏实。也期望将来我们能够突破NVIDIA的技术，达成真正意义上的超越。