
AI
我建议选择预训练(pretr
AIn)团队,理由如下:对于校招新人来说,当前的首要任务只有一个:快速提升自己的工程代码能力!接下来,我们来分析两个团队所需技能的不同,并判断哪一个更有利于你实现这个目标。在预训练团队中,你的核心工作将包括以下内容:从
互联网上爬取数据、进行大规模的数据清洗与去重(需要掌握 Hadoop、Spark 等工具)、配置 PyTorch 和 CUDA 的运行环境、深入理解并优化 Megatron 代码库、熟练掌握多机通信调试技巧、学习炼丹技术(例如数据配比、学习率调整、优化器选择、课程学习策略、Loss 曲线分析、Scaling Law 应用),以及完成各类基准测试以验证模型性能。这些任务直接锻炼了你的代码能力和对深度学习框架的掌握程度。而在指令微调(SFT)团队中,训练框架和炼丹技巧通常只是选修部分,
公司往往没有时间让你深入学习这些知识。相反,你的主要职责可能集中在以下几个方面:手动标注数据、利用 GPT-4 自动生成标注数据、培训标注人员如何正确标注数据、根据用户反馈生成新的标注数据、依据实验结果优化现有数据集,以及参考论文合成高质量数据。可以看到,这些工作更多偏向于数据处理和管理,而非直接提升你的工程代码能力。基于上述对比可以发现,预训练团队的工作内容更能帮助你夯实代码基础。事实上,如果一个人熟悉了预训练领域的核心技术,那么他完全可以轻松胜任 SFT 团队的任务。但反过来,一个只擅长 SFT 工作的人很难迅速适应预训练领域的要求。这是因为两者的底层技术差异较大——例如,如果你从 SFT 转向预训练,可能需要花费两周甚至更长时间去学习 Megatron,才能开始实际操作;而从预训练转向 SFT,则只需要花一天时间熟悉一下训练数据即可上手。假设你作为新人暂时只能做一些基础性或辅助性的工作(比如数据相关任务),那我们再具体看看两个团队的基础工作分别是什么。预训练团队的基础任务包括数据爬取、清洗、环境搭建等,这些都是非常具有挑战性和实践价值的内容;而 SFT 团队的基础任务则更多围绕数据标注展开,相对而言对技术能力的提升空间较小。因此,无论从哪个角度看,预训练团队的基础工作都更加有助于个人成长。当然,我们也必须承认,预训练方向存在一些现实问题:短期内可能看不到明显的业务收益,长期来看或许也无法超越开源模型如 LLaMA 或通义千问,最终老板可能会选择拥抱开源解决方案。然而,作为校招新人,你有一个天然优势——校招生身份。在这一保护伞下,你可以大胆尝试最具挑战性的任务,在短时间内迅速积累经验、提升能力。社会舆论和国家政策也会为你提供一定保障,只要你不犯低级错误(比如误操作删除所有文件),整个过程都是相对安全的。未来两三年内,随着职业发展逐步进入成熟期,你可能不再有机会选择那些纯粹以技术为导向的工作,而是更多地倾向于追求有实际收益的任务。所以在现阶段,抓住机会专注于提升自身的技术实力尤为重要。最后需要强调的是,我并不是贬低 SFT 团队的工作价值。实际上,我在其他场合也曾明确表示过,SFT 同样具备很高的技术含量。只不过,站在新人的角度来看,预训练团队能够更快地帮助你建立扎实的工程代码能力,而这对于刚刚步入职场的你来说是非常宝贵的财富。等到几年后你成长为一名经验丰富的程序员时,再去接触更多 SFT 相关的内容,寻找大模型的实际应用场景,将会变得更加重要。但现在,请把重点放在打牢基本功上。