视频开发框架ios,视频框架软件

iOS 视频播放流程及原理

笔者iOS开发工程师，现在很多应用场景下都会用到视频播放技术，当然iOS APP也不例外，这是写这篇文章的背景。

作为一家“创意+整合+营销”的成都网站建设机构，我们在业内良好的客户口碑。成都创新互联提供从前期的网站品牌分析策划、网站设计、成都网站建设、成都网站设计、创意表现、网页制作、系统开发以及后续网站营销运营等一系列服务，帮助企业打造创新的互联网品牌经营模式与有效的网络营销方法,创造更大的价值。

最近我一个同样做iOS工程师的同学说他最近面试了一个人，简历里写着做过视频播放，就问他基本的视频播放原理是什么，结果此人一脸懵逼状什么也没答上来，只是说会用iOS SDK下调用视频播放的几个API。我同学跟我说他就是想问问此人计算机基础怎么样，其实只要应聘者能说出“解码”两个字都会让他满意的，可惜他却什么也没说出来。这又让笔者想起几年前临近大学毕业时同寝室友校招面试时也遇到了同样的问题，他也做过视频播放，人家就问他其中有两个问题，一是如果现在有一种非常奇怪的格式的视频让你播放你该怎么办，他也是懵逼了。二是如果现在有一个1G的超大视频让你播放，你又该怎么办，他直接就傻了，面试自然折戟沉沙了。

事实上仅就iOS APP来讲，要想做出视频播放的功能来，的确是调用 AVFoundation 框架下几个常用的API就可以了，iOS 9 之前常用的是 MPMoviePlayerController ,ios 9 之后推荐使用流播放技术的 AVPlayer ，可是就像常说的API普通的程序员都会调，可是真正有专业基础和想进阶就要知其然还要知其所以然，有专业基础的和半路出家的程序员的最大区别也正在于此，这也就成了本片文章写作的契机，下面这些内容也是笔者整合了一些自己的一些积累，主要来源于我们有合作关系的一家叫保利威视的视频解决方案提供商，希望对大家有帮助，水平有限，有不足之处还请大家不吝赐教。

视音频技术主要包含以下几点：** 封装技术，视频压缩编码技术以及音频压缩编码技术。如果考虑到网络传输的话，还包括流媒体协议技术。**

视频播放器播放网上的视频文件，需要经过以下几个步骤：** 解协议，解封装，解码视音频，视音频同步**。如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步。过程如图所示。

解协议的作用，就是将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如HTTP，RTMP，或是MMS等等。这些协议在传输视音频数据的同时，也会传输一些信令数据。这些信令数据包括对播放的控制（播放，暂停，停止），或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用RTMP协议传输的数据，经过解协议操作后，输出FLV格式的数据。

解封装的作用，就是将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV格式的数据，经过解封装操作后，输出H.264编码的视频码流和AAC编码的音频码流。

解码的作用，就是将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC，MP3，AC-3等等，视频的压缩编码标准则包含H.264，MPEG2，VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如YUV420P，RGB等等；压缩编码的音频 数据输出成为非压缩的音频抽样数据，例如PCM数据。

视音频同步的作用，就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。

请问我该怎么学习ios视频开发呢？

1、Java学来是否有用？

答：我看斯坦福公开课的时候，没有看先修课程，直接从iOS开发开始看的。如果你看过第一集，应该会发现，该课程的学习要求有基础的编程知识，还要了解面向对象思想。老师会在最开始对学生说，我默认你们都修过C++或者另外一门面向对象课程（我没有查课程代码，可能就是Java吧）。没修过怎么办呢，如果那些思想你都了解，就无所谓了，否则要自己恶补一下。最起码得知道什么是父类，子类，继承，多态吧。

2、cs193p好像是很多年前的。。。现在ios7甚至ios8是否用得上？

答：这门公开课斯坦福每年都会开，你想了解最新的，那么就看最新的视频就可以了，它的教学内容是会随着新版本的发布有所修改的。需要注意的是最新的视频没有中文字幕，甚至连英文字幕都没有。至于在哪儿能看到，官方一点，iTunes上搜Stanford iOS这俩关键字就能找到标清、高清的视频。网速慢怎么办？已有勤劳的搬运工放在国内的服务器了，随便搜搜就能搜得到。

3、另外就是如果各位有什么自学的方法也请推荐下。。。

答：我下面写的那一大段就是，来自于个人学习经验。如满意，请随手采纳，谢谢！

iOS音视频编码

iOS音视频开发涉及的方面比较广泛，一般分为采集、音视频的封装、编码、推流、拉流、解封装、解码、播放等阶段。其中音视频的编码和解码阶段是非常重要的步骤。其中编码分为硬编码和软编码，对应解码分为硬解码和软解码。

硬编码是指使用非CPU进行编码，如显卡GPU、专用的DSP、FPGA、ASIC芯片等。

硬编码一般性能高，对CPU没有压力，但是对其他硬件要求较高（如GPU等）。

软编码是指使用CPU进行编码，软编码通常使用：ffmpeg+x264。

软编码实现直接、简单，参数调整方便，升级易，但CPU负载重，性能较硬编码低。

常见的直播服务普遍采用了RTMP作为流媒体协议，FLV作为封装格式，H.264作为视频编码格式，AAC作为音频编码格式。

iOS中编码方式：

在iOS8之前，苹果并没有开放硬编码的接口，所以只能采用ffmpeg+x624进行软编码

在iOS8之后，苹果开放了接口，并且封装了VideoToolBoxAudioToolbox两个框架，分别用于对视频音频进行硬编码