深度学习部署+音视频开发的学习路线是怎样的?

1个回答

写回答

计算机
计算机

我看了不少文章,怎么就找不到深度学习部署加上音视频开发相关的内容?今年我换工作的时候,那可一点都不用担心拿不到offer,而且工资还翻了倍。我现在正在做计算机视觉(cv)方面各种加速卡算法推理的适配工作,还有编解码的适配,之后可能还要进行大模型的适配。说真的,我当初面试的时候完全不发愁找工作,每次面试都能拿到一个offer。学习C++的时候,一定要找到自己擅长的领域,总不能一直去挤网络(web)开发那个赛道吧。--2024.11.27更新--下面整体来讲一下学习路线:首先,要通过Python进行深度学习的训练和调参,以此来入门。大部分人都处于这一阶段。接着,要持续学习C++相关的部署方法,像是tensorrt、openvino、比特大陆、寒武纪、atlas等软硬件算法部署相关的知识。要是能够掌握C++部署加上Python训练,在市场上就已经比很多人厉害了。一般在处理量增大之后,例如一个gpu要处理20路相机,基本要达到硬件80%的性能才算合格。就像Jetson要能支持1080p 10路以上的处理,gpu要支持20路以上的处理。到了这个时候,就会涉及音视频编解码的加速,减少内存拷贝,从算法岗位延伸到流媒体岗位,但这并不是转岗。基本上按照这样的路线走下来,就能把整个cv上下游的内容都掌握,包括训练、量化、部署、加速、性能优化等。这时候在流媒体方面会涉及到很多和相机对接的部分,例如通过SDK、RTSP、GA、GB等方式对接。并且要解决各种各样的问题,像相机GB实现不标准、RTSP传输存在问题,还有一系列网络、交互、流媒体相关的问题。比如在docker、K8s中网络管理方面的一系列问题。这个阶段就应该具备架构师的能力了,能够处理各种相机对接和算法方面的问题,并且根据公司的业务,设计出合理的算法中台,而且要支持多种输入输出,比如输入可以是RTSP、GB28181、WebRTC、mp4,输出可以是RTSP、WebRTC、S3、Mp4等。在Jetson平台调用media api + tensorrt,在X86平台调用codec api + tensorrt,其他平台也类似。基本上到这个时候,整个cv的上下游内容都精通了(这里指的是落地部署或者说项目工程化落地流程方面的精通,并不是cv理论研究方面的精通),之后就可以考虑其他方向了。我暂时的计划是朝着大模型部署的方向发展。不过这也只是我个人的眼光,我不能保证这个眼光就一定正确。

举报有用(0分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号