4 月 16 日消息,迈克・斯旺森(Mike Swanson)上周末发布博文,深度剖析了 iPhone 的“拍摄空间视频”能力,表示采用了和传统鱼眼镜头不同的算法方式。
目前拍摄空间视频能力仅限于运行 iOS 17.2 或更高版本的 iPhone 15 Pro 和 iPhone 15 Pro Max 机型,用户录制的空间视频可以在苹果 Vision Pro 头显上以三维形式重温回忆。
iPhone 15 Pro 和 iPhone 15 Pro Max 上拍摄的空间视频为 1080p / 30 fps 的 SDR 格式。一分钟空间视频的大小约为 130 MB(一分钟 1080p / 30 fps 普通视频的大小约为 65 MB)。
而想要让 2D 视频转换成为半球形或球形投影图,在沉浸式体验方面存在诸多挑战,其中最常规的方式就是 180 度鱼眼镜头。
常规方法就是以特定方式分割视频,可以将其拉伸到适合用户 180 度视野的水平和垂直虚拟球体中。但这种方式会导致部分边角部分并未实际使用,数据效率不高。
还有一种消除黑色部分的替代方法,即 180 度等角投影。通过编辑创建,它可以扭曲图像以填充整个矩形框架。但这种方式也有一个问题,就是很难在每个 180 度视角中保留细节。
苹果使用了一种特殊的构建算法,以 45 度旋转的方式对鱼眼内容进行编码,也就是视野直径位于对角线上,不仅可以更显更多的像素,而且也提高了数据使用率。
对观众来说,这样做的好处是视野“地平线”的像素最多。由于大多数人在观看视频时都会注视地平线,因此保留这一部分的细节对观看体验至关重要。
附上参考
-
Apple’s Mysterious Fisheye Projection