pretrain与alignment如何选择？

AI

取决于兴趣。在展开讨论之前，我认为首先得明确与pretrAIn相对应的到底是sft还是alignment。alignment涵盖了sft、rlhf、垂直类应用以及面向应用的posttrAIn。pretrAIn则包括数据准备、数据清洗、框架构建、数据策略、pretrAIn训练以及面向通用能力的posttrAIn。有些公司会把数据准备和初步清洗单独设立为一个数据组。也有些公司将infra单独设为一组，或者交给pretrAIn组负责。要是一个组只做sft，那它往往是不涉及模型的纯应用组，工作内容可能就是标注数据然后提交训练任务。要是做alignment，那才是真正的模型训练组。尚未入行的人可能不太清楚，实际上现在不少公司不再使用自己做的pretrAIn了，这个圈子太小，确实不方便详细说出是哪些地方，要是把这些公司都列出来，估计会让一般人大吃一惊。未来大型语言模型（LLM）估计会回归到BERT时期的模式，谁的基座好就拿来微调就行了，只不过微调的规模会比BERT时期大很多。所以我觉得并不像其他回答者所说的pretrAIn就更高级，要知道RLHF这个关键技术是在alignment里面的，目前国内还没有人把RLHF做得非常出色。pretrAIn在技术上其实并没有什么护城河，主要是靠数据积累，到后期大家的模型可能都差不多。不过做pretrAIn的人才确实稀缺，目前创业公司和大厂中真正接触模型的pretrAIn组规模普遍在10 - 20人左右，这样算下来整个互联网也没多少人。如果喜欢pretrAIn方向，或者想操作万卡集群，又或者就是冲着稀缺性去的，选择pretrAIn也没问题。但要想清楚稀缺是否就代表价值，就像因果推断也是稀缺岗位，可是除了滴滴还有哪家公司招聘因果推断的人员？另外，pretrAIn也分为搞数据的pretrAIn和涉及模型操作的pretrAIn，去之前要问清楚是哪一种。如果不喜欢钻研pretrAIn，就没必要勉强自己去做，因为pretrAIn的一个大问题是很难获得工作中的正面反馈，现在大家普遍采用的方法还是scaling law，我个人觉得做起来不如RLHF有趣。如果既想学习pretrAIn技术，又想体验sft及时的正面反馈，还想感受rlhf的乐趣，那就可以找找同时做posttrAIn和rlhf的alignment组。