索尼申请新专利:AI提前预测游戏下一帧画面
据科技媒体TechSpot报道,索尼近期申请了一项游戏画面处理相关专利。该方案让AI在GPU完成渲染前预测下一帧画面,目标是减少游戏画面卡顿,同时避开帧生成技术可能带来的额外延迟。

传统帧生成通常需要等待两帧画面渲染完成,再生成插入中间的过渡帧。索尼这项专利则直接利用已经生成的一帧画面预测下一帧,无需等待两帧,因此更容易维持稳定的帧输出节奏。系统采用联合训练的编解码器,将渲染完成的画面转换为紧凑的嵌入表示,再由解码器根据这些提示生成预测帧。
运行时,该系统和图形渲染管线并行工作。当硬件渲染下一帧时,AI会处理上一帧,并把预测画面发送至显示缓冲区,因此预测画面有可能在下一帧完成渲染前先行显示。此外,系统还可以利用运动矢量以及玩家近期的手柄操作,把玩家操作角色的历史作为预测下一帧动作的依据。
训练阶段使用连续视频帧,神经网络以随机初始化的权重开始,输入一帧画面并预测下一帧,再将预测结果与实际后续画面比较,计算预测误差损失值。这项技术能否实际落地,取决于AI能否快速生成足够准确的画面,在渲染速度下降时填补帧输出间隙。










