公司
有钱就用H100，没钱就只能用CPU了……突然想起之前在一家
公司的经历。那家
公司做GPU底层供应，有大量的显卡。当时我们会对客户分类，拥有少于400张卡的都被视作小客户。那时的卡主要是A100、A800或者H800。没卖出去的卡有不少被用于测试，随便一个测试都至少要两台设备（每台设备8卡），我们自己随便搭建一个集群就是5台设备，当时觉得这没什么，不就是几台
服务器嘛。后来我到了另一家
公司，这里大多用30系的卡来跑模型，A100都是按单张来计算的，至于H800这种高端卡，最多也就十几台（也是单台8卡设备），就这样还有人想用却没有，得排队等着。这时我才意识到，当年用一台8卡的H800
服务器做SSH跳转机是多么豪横的事了。
