网易2022GDC | 强化学习为竞速类游戏的赛车与赛道设计提升效率 ——九四玩

本文首发网易游学APP（原网易游戏学院）

GDC是在全球范围内享有最高影响力的游戏开发者会议，已举办35届，今年于3月21至25日在旧金山举行。网易互娱今年有12位大咖的9个提案入围GDC非赞助类演讲，包括1项核心演讲和8项主题峰会演讲，让我们一起围观入围的提案和大神风采！

完整演讲目录戳 ：
12位互娱大咖，要在全球游戏开发者大会上说点啥？
https://game.academy.163.com/schoolNews/newsDetail?id=518

一、平衡性测试概述

游戏平衡性测试贯穿整个游戏生命周期。游戏上线前，需要对当前游戏环境进行平衡性测试，确保游戏设计符合策划预期，游戏环境相对平衡。游戏上线后，需要根据玩家反馈调整游戏平衡。

我们利用AI技术进行游戏平衡性测试，通过游戏AI在一天内完成数十上百万场战斗模拟真实游戏环境，获得高水平AI，更好地验证游戏设计是否符合策划预期。下图是我们系统的输入与输出示意图，系统接受M辆车×N条赛道，系统批量输出多种报告：最优轨迹、最佳时间和手刹区域。在下一章节的系统报告分析介绍中，我们讲展示如何使用这几种报告来进行平衡性测试分析。

目前我们的方案已经入选了GDC 2022 core concept：
https://schedule.gdconf.com/session/reinforcement-learning-for-efficient-cars-and-tracks-design-in-racing-games/882393?_mc=sem_gdcmc_x_gdcmc_x_x_x_x_Googlex_1_2021


二、平衡性测试解决方案

2.1）技术方案：

平衡性测试系统主要框架下图所示，系统主要包括三个模块：异步训练模块、状态奖励设计、测试报告生成与分析。

1）异步训练模块：

我们使用了高效的异步采样PPO框架，使用多进程来进行采样，并解耦了训练模块和采样模块，加速训练的收敛和测试报告的输出。

2）状态奖励设计：

2.1）对于状态来说需要设计完备的状态空间能区别不同车辆的动态和静态信息，例如RPM，速度，当前的姿态等；另外需要对复杂的路况信息进行建模，使得车辆能根据路况信息更快地无碰撞的到达目的地。

2.2）对于奖励来说需要设计出拟人化的操作轨迹，比如人类的手速，人类切内弯的特性等。

3）测试报告生成与分析：

策划需要详细的测试报告，例如设计的弯道的合理性，车辆的设计是否符合预期等；我们输出了几种不同的测试报告来方便策划来对车辆和赛道进行评估，包括最优轨迹、最佳时间和手刹区域。


2.2）系统报告分析介绍：

利用最佳轨迹可视化分析：

下面视频是系统输出的最优行驶轨迹动态视频，每个小框的左上角表示该车辆的一些基本属性，我们可以通过该视频能看到不同车辆的驾驶差异。例如在20秒处，能够清晰的看到左下角的车辆拥有最快的加速性能，而右下角的车辆拥有最慢的加速性能；在35秒处，能够看到左上角的车辆比右上角的车辆有更大的入弯半径。

利用最佳时间表分析：

下图是利用系统输出的最佳时间表来分析的例子，横向表示赛道id，纵向表示赛车id，每个元素为该赛车在该赛道上的最佳时间。左下角是这三辆车的基本性能，从三个红色框的最佳时间我们可以看到，性能越好的车拥有更短的跑测时间，是符合策划设计的要求的。


利用手刹区域分析：

下图是利用系统输出的手刹区域来分析的弯道设计合理性的例子，我们可以看到AI在满足人类的操作频率约束下，红色圆框处的U性弯处，AI只拉起了一次手刹就可以穿过弯道。我们可以想到左图中的U型弯设计得太宽了，右图中U型弯前方的加速直道设计太短，导致加速没有完全加起来，使得U型弯可以顺利穿过。


2.3） 系统附带功能介绍：

同样的我们的AI系统除了能进行平衡性测试外，也发现了其他有趣的产出来帮助开发者debug或者帮助玩家更好的游戏体验。

帮助开发者debug

AI跑测可以发现一些开发者未发现的bug，下图展示了利用赛道时间表来帮助程序debug的例子，竖向的红色框表示该条赛道的某些障碍物直接横在赛道中央导致所有车辆不能完整的穿过赛道；横向红色框表示该赛车由于最大速度设置得太小不能完整得跑完所有赛道。


从下图的AI轨迹可以看出，该赛道的某处弯道应该存在的障碍物失效了，导致AI直接从障碍物穿了过去。


帮助玩家跑得更快

以下视频展示了如何帮助玩家能够更好的熟悉赛道，跑出更快的成绩。视频中的箭头线为AI跑出的实际轨迹线，绿色箭头代表玩家需要正常的加速，而黄色箭头表示玩家需要进行手刹操作。

来源：网易游学APP