追踪特写和iOS画中画
更新时间：2025-11-25 17:24:45
Android和iOS都可以实现追踪特写，比如：视频直播画面中识别出局部特征，想做大屏播放这个局部特征，而小屏显示全屏。可以通过传输SEI坐标数据到播放端，播放端解析SEI数据对显示进行计算，画面叠加并最终呈现出两个播放画面的效果。而iOS画中画是iOS（iPad）特有的视频播放方式，指应用退到后台，可以悬浮一个小的播放窗口进行视频播放。iOS画中画播放模式时，一般不需要追踪特写。
实现核心流程
如上图所示：
- AppSDK支持回调H264/H265以及SEI数据，客户可以基于这些数据对接自己的播放器，自行实现播放功能。
- 原则上建议使用相速提供的播放器，如现有功能不满足需求，相速可以根据客户需要评估后进行定制开发。
- 针对Android端追踪特写实现建议：App提供支持解析SEI数据，定制Shade的Surface给播放器即可。
- 针对iOS端追踪特写实现建议：App基于SEI和CVPixelBufferRef进行计算并把计算结果给播放器即可。
- 针对iOS画中画，已经支持回调CVPixelBufferRef，客户自行实现适用于画中画的渲染画布即可。