巴黎奥运会正在热热闹闹地进行中，乒乓球名堂备受关怀。与此同期，机器东谈主打乒乓球也得到了新打破。

刚刚，DeepMind 建议了第一个在竞技乒乓球比赛中达到东谈主类业余选手水平的学习型机器东谈主智能体。

论文地址：https://arxiv.org/pdf/2408.03906

DeepMind 这个机器东谈主打乒乓球什么水平呢？好像和东谈主类业余选手不相坎坷：

正手反手皆会：

敌手选拔多种打发，该机器东谈主也能抵触得住：

接不同旋转的发球：

不外，比赛浓烈过程似乎不如公园老迈爷对战。

对机器东谈主来说，乒乓球指引需要掌合手复杂的低水平技巧和策略性玩法，需要恒久闇练。DeepMind 以为政策前次优但不错熟练地实行低水平技巧可能是更好的弃取。这使乒乓球与外洋象棋、围棋等粗浅的政策游戏鉴别开来。

因此，乒乓球是进步机器东谈主才气的一个有价值的基准，包括高速指引、及时精准和政策决议、系统接洽以及与东谈主类敌手径直竞争。

关于这一丝，Google DeepMind 首席科学家奖饰谈：「乒乓球机器东谈主将有助于咱们惩处高速适度和感知问题。」

该考虑进行了 29 场机器东谈主与东谈主类的乒乓球比赛，其中机器东谈主生效 45% (13/29)。扫数东谈主类选手皆是机器东谈主未见过的玩家，从入门者到锦标赛选手才气不等。

天然该机器东谈主输掉了扫数与最高等别玩家的比赛，但它赢得了 100% 的与入门者的比赛，在与中级选手的对战中赢得了 55% 的比赛，展现出东谈主类业余选手的水平。

总的来说，该考虑的孝顺包括：

建议一个分层和模块化的策略架构，其中包括：

初级适度器偏执详备的技巧形色器，这些形色器对智能体的才气进行建模并有助于弥合模拟与真的的差距；

弃取初级技巧的高等适度器。

罢了零样本模拟到真的的技巧，包括界说基于试验寰球的任务散播的迭代面孔，并界说自动课程（automatic curriculum）。

及时合乎未见过的敌手。

面孔先容

该智能体由一个初级技巧库和一个高等适度器构成。初级技巧库专注于乒乓球的某个特定方面，举例正手上旋球、反手对准或正手发球。除了包含闇练策略，该考虑还在线下和线上收罗和存储相干每个初级技巧的上风、劣势和局限性的信息。而认真协作初级技巧的高等适度器会字据现时游戏统计数据、技巧形色弃取最好技巧。

此外，该考虑还收罗了小数的东谈主类和东谈主类对打的比赛数据，四肢运转任务条目的种子，数据集包括位置、速率和旋转的信息。然后使用强化学习在模拟环境中闇练智能体， 并选拔一些现存技巧，将策略无缝部署到真的硬件中。

该智能体与东谈主类沿途对打以生成更多闇练数据，跟着机器东谈主的陆续学习，游戏圭臬变得越来越复杂，以此让智能体学习越来越复杂的动作。这种搀和的「模拟 - 试验」轮回创建了一个自动素养，使机器东谈主的技巧跟着时候的推移握住提高。

分层适度

分层适度主要包含以下部分：

乒乓球打发：高等适度器（HLC，high-level controller）最初决定使用哪种打发（正手依然反手）；

调治：字据与敌手比赛中的统计数据，在线珍惜每个 HLC 的偏好（H 值）；

弃取最灵验的技巧：HLC 字据调治后的 H 值对入围的 LLC 进行抽样；

更新：H 值和敌手统计数据会陆续更新，直至比赛斥逐。

恶果

考虑者将该智能体与 29 名不同水平的乒乓选手进行了对比，选手包括入门者、中级、高等和高等 + 技巧。东谈主类选手按照圭臬乒乓球礼貌与机器东谈主进行了三场比赛，但由于机器东谈主无法发球，因此礼貌稍作修改。

濒临扫数敌手，机器东谈主赢得了 45% 的比赛（match）和 46% 的单局生效（game）。按照技巧水平细分，机器东谈主赢得了与入门者的扫数比赛，输掉了与高等和高等 + 选手的扫数比赛，赢得了 55% 与中级选手的比赛。这标明该智能体在乒乓球回合中达到了中级东谈主类选手的水平。

机器东谈主打不外高等玩家的原因在于物理和技巧的放置，包括反映速率，相机感应才气，旋转处理等，这是很难在模拟环境中准确建模的。

与机器东谈主对打，也很劝诱东谈主

考虑参与者暗意，他们畸形享受与机器东谈主沿途对打，并在「意旨」和「劝诱东谈主」方面赐与了机器东谈主很高的评价。他们也一致暗意「畸形骄傲」再次与机器东谈主对打。在解放时候里，他们平均在 5 分钟的时候里与机器东谈主玩了 4 分 06 秒。

机器东谈主不擅长下旋球

技巧最好的参与者提到，机器东谈主不擅所长理下旋。为了测试这一不雅察恶果，考虑东谈主员字据球的旋转画图了机器东谈主的着陆率，字据恶果不错看到，机器东谈主在濒临更多的下旋球时，着陆率大幅下跌。这一蜿蜒部分是由于机器东谈主在处理低球时，为了幸免与桌子碰撞导致的，其次是及时细则球的旋转照实很难。

参考一语气：

https://sites.google.com/view/competitive-robot-table-tennis/home?utm_source&utm_medium&utm_campaign&utm_content&pli=1

本文来自微信公众号“机器之心”，36氪经授权发布。