随着以抖音和快手为代表的短视频平台火爆全球,市场对于视频研发人才的需求越来越旺盛。当然还有像随之而来的直播带货、疫情背景下视频会议产品的更新与迭代等等,都给工程师们创造了很多新的机会。
最简单粗暴的方式是,你可以直接通过各种招聘平台去了解相关的就业形势。拿 Android 开发来说,现阶段做音视频开发的薪资水平至少比同资历的 Android 开发高出 30% 左右。而在未来,随着 AI、元宇宙等技术的发展,视频技术还有无限的想象空间。
但提起视频技术,学习门槛还是有的。就比如:
抖音和快手的短视频需要应用图像处理和视频编码技术,如何在保持高画质的情况下,尽量减少视频文件的大小,是很难也很重要的;
连麦直播则需要懂 RTC 和直播技术,如何能够保证在各种网络状况下实现超低延时、降低卡顿率是一个非常难的问题;
视频会议则需要你十分熟悉 RTC 和转码合流服务等技术,几十上百人的大型视频会议,如何保证流畅度、卡顿率、画质等指标也是十分具有挑战性的。
另外,视频技术涉及的技术也很多。比如视频前处理,就涉及到很多信号处理和 AI 技术;视频的编码算法,则会涉及到信息论和数学;而视频的传输就更多了,包含了各种网络协议和拥塞控制算法……所以,目前市面上系统讲解视频的书籍和课程并不多。
基于此,我们邀请到了声网 Agora 视频专家李江老师联合开发课程,将他在视频领域多年的积累和实践,按照学习重难点梳理、问题复盘的方式交付给你,重点就包括视频底层原理解析和工程中遇到的实际问题。学习之后,你将对视频处理全链路有一个系统的了解!
课程设计
整个专栏共分为以下四个部分:
图像基础和前处理:从视频和图像的基本概念讲起,陆续延伸到视频的颜色空间,尤其是 YUV 颜色空间,这是视频技术中非常重要的基础知识,同时也是很多视频工程师的学习难点。之后会讨论工程上常用的图像缩放算法及其原理。打好基础,后面事半功倍。
视频编码:主要讲解在视频技术中占据重要地位的视频编码技术,重点学习编码算法的底层原理和具体算法的实现,让你在使用编解码器的同时,也能更深一层洞察其工作原理。另外,H264 码流是视频开发中的必学,所以这里也会和你讨论它的结构以及相关工程问题。深入原理,才能快速实践。
视频传输和网络对抗:以实践为主,讲解具体的视频传输和弱网对抗技术,主要包括如何打包视频、预测网络带宽,以及如何在有限的带宽情况下控制好编码器的码率和发送包的速度。之后,作者会手把手带你解决两个代表性的视频 Bug “花屏和卡顿”,并介绍一下视频会议中的常用技术 SVC。
视频封装和播放:介绍常用的视频封装技术,并解决视频工程难题:音视频同步。