為了讓 AI 不斷打怪升級，DeepMind 打造「宇宙」
作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |
DeepMind 又給我們小驚喜。我們都知道，強化學習苦於類化能力差，經常只能針對單個任務從頭學習。
DeepMind之前開發的AlphaZero，儘管可以玩圍棋、西洋棋和日本將棋，但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處，就在藉鑑之前經驗迅速適應新環境。
但類化能力不是一蹴而就，就像玩遊戲，也是先做簡單任務，逐步升級到複雜任務。《空洞騎士》（Hollow Knight）一開始只需要隨意走動揮刀砍怪，但噩夢級難度的「苦痛之路」關，沒有前面累積的技巧，只能玩寂寞。
多任務宇宙
DeepMind此次採用「課程學習」，讓智慧體於不斷擴展升級的開放世界學習。也就是說，AI新任務（訓練資料）是基於舊任務不斷生成。智慧體可盡情鍛鍊自己，簡單的如「靠近紫色立方體」，複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」，甚至和其他智慧體玩耍，如捉迷藏──「找到對方，且不要被對方發現」。
每個小遊戲存在世界小角落，千千萬萬個小角落拼成龐大的物理模擬世界，如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成，即任務＝遊戲＋世界＋玩家，並根據三要素關係，決定任務的複雜度。
複雜度的判斷有四個維度：競爭性、平衡性、可選項、探索難度。
比如「搶方塊」遊戲，藍色智慧體需要把黃色方塊放到白色區域，紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾，因此競爭性較強；同時雙方條件對等，平衡性比較高；因目標簡單，所以可選項少；DeepMind把探索難度評為中上，可能是因定位區域算較複雜的場景。
再如「球球喜歡和方塊一起玩」遊戲，藍色和紅色智慧體有共同目標，讓相同顏色的球體和方塊放在相近位置。
這時競爭性自然很低，平衡性毋庸置疑很高的；可選項比上面遊戲高很多；探索難度沒有定位區域，智慧體隨便把球體和方塊放哪都行，難度就變小了。
基於這四個維度，DeepMind打造超大規模「宇宙」任務空間，幾何「地球」也只是這宇宙的小角落，是四維任務空間的一點。DeepMind將「宇宙」命名為XLand，包含數十億個任務。
來看XLand的全貌，由一系列遊戲組成，每個遊戲在許多模擬世界進行，這些世界的拓樸和特徵平滑變化。
終生學習
數據有了，接下來得找到合適的算法。 DeepMind發現，目標注意代理（GOAT）可學習更通用的策略。
具體來說，智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後，生成中間輸出，傳遞給GOAT模組，會根據智慧體目前目標處理中間輸出的特定部分，邏輯分析目標。
邏輯分析是指，每個遊戲可藉由一些方法，構建另一個遊戲，並限制策略的價值函數的最優值上限或下限。
DeepMind提出一個問題：對每個智慧體，什麼樣的任務是最好的？換句話說，打怪升級時，什麼樣的關卡設置才讓玩家順利升級為「真」高手，而不是一刀9999？
DeepMind的答案是，每個新任務都基於舊任務生成，「不會太難，也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。
訓練開始時，太難或太容易的任務可能會鼓勵早期學習，但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀，而是鼓勵終身學習，即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法，在新任務和舊任務之間彈性連接。
怎麼不讓智慧體做新任務時不適應而「暴死」？進化學習就提供很好的靈活性。總體來說，新任務和舊任務同時進行，且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體，會選拔到新任務繼續學習。
新任務中，舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製，參與新一輪「競爭」。除了舊任務的優秀智慧體，還有很多新人參與，這就引進隨機性、創新性、靈活性，不用擔心「暴死」問題。
當然，因任務不斷生成、動態變化，一個任務可訓練不同長處的智慧體，並往不同方向演化（隨著智慧體相對性能和強健性進行）。最終每個智慧體都會形成擅長任務的集合，就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小，簡直是模擬地球。
DeepMind表示，「這種組合學習系統的特性是，不最佳化有界性能指標，而是更新定義的通用能力範圍，這使智慧體開放式學習，僅受環境空間和智慧體的神經網路表達能力的限制。」
智慧初現
最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種？DeepMind說，智慧體有很明顯的零樣本學習能力，比如使用工具、合圍、數數、合作＋競爭等。
來看具體例子。首先智慧體學會臨機應變。目標有三個：
黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板
AI一開始找到一個黑色金字塔，想拿到橙色地板（目標3），但搬運過程瞄見黃色球體，瞬間改變主意，「我可以實現目標1啦」，將黑色金字塔放到黃色球體旁邊。
第二個例子是，不會跳高，怎麼拿到高台上的紫色金字塔？智慧體需要想辦法突破障礙，取得高台上的紫色金字塔，高台周邊並沒有類似階梯、斜坡的路。
因不會跳高，所以智慧體「掀桌子」，把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊，「等等，這不就是我要的階梯嗎？」這過程是否體現了慧體的智慧，還無法肯定，可能只是一時幸運。關鍵還是，要看統計數據。
經過5代訓練，智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲，涉及340萬個獨立任務，最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務，除了少數即使人類也無法完成的任務。
DeepMind的研究，或許一定程度體現「密集學習」重要性。也就是說，不僅資料量要大，任務量也要大。這也使得智慧體在類化能力有很好表現，如資料顯示，只需對一些新複雜任務進行30分鐘集中訓練，智慧體就可快速適應，而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。
往後我們也期待這「宇宙」更複雜和生機勃勃，AI經過不斷演化，不斷給我們帶來驚喜（細思極恐）的體驗。
資料來源：https://technews.tw/2021/07/30/deepmind_xland/
將棋 模擬 在 [攻略] 人中之龍極-棋類遊戲- 看板PlayStation - 批踢踢實業坊 的推薦與評價
棋類小遊戲無腦玩法，供完全不會玩將棋/麻將/花牌的人參考
太深太專業的玩法不在本文討論之列XD
==
1.將棋
排名戰可以用k-shogi將棋軟體，讓電腦跟電腦對下。
高段的電腦棋手思考時間太長，就算是有時間限制還是很久
(5分鐘思考時間用完後，之後每步還是有30秒的思考時間，可見有多久)
所以對戰將棋王時直接使用作弊道具投降棋子，之後就不要再跟將棋王下了
但是！個人強烈推薦玩試練踏破，攻略在這裡
https://kouryakutsushin.com/ryu-kiwami/%E5%B0%86%E6%A3%8B
快又簡單，不用設定一堆有的沒的
而個人建議攻略試煉踏破8，點數相對最多(1050點)，要記的步數最少(只有12步)
玩個幾次就背起來了，棋譜如下(數字對應為X軸-Y軸)
1. 9-1飛車成("成"是升級)
2. 8-3預備區取出步兵(取出步兵放在8-3處，以下皆同)
3. 8-2步兵成
4. 6-4預備區取步兵
5. 6-3步兵成
6. 5-2步兵吃銀將
7. 4-5角行
8. 4-1預備區取銀將
9. 3-2銀將吃金將
10.3-1預備區取金將
11.2-1金將吃步兵
12.1-1無步
熟練的話一盤不用30秒，一盤1050點
10萬點大概2個小時上下，沒事的時候就去玩一下。
將棋10萬點換的屠龍值得一拿，其實就是現代版的夢龍碎。
砍下去會有衝擊波，只要刀子沒砍中敵人就不會扣耐久，還蠻好玩的玩具
==
2.麻將
重點: 有發中白任一色就收，其中一色滿3支就碰，碰了就有1台，有台就能胡
反正胡小牌也是胡，最後結算總分第一名就是好棒棒XD
如果桐生名字旁邊寫"東"的話，可以加收東字牌
"double東"有兩台
另外就是收寶牌，收越多支點數越高。
寶牌的看法:
假設畫面中間翻的那支是七萬，那麼寶牌就是八萬
而字牌是照東→南→西→北(如果中間翻的是北，寶牌就是東)，
還有發→中→白的順序
另外排名戰偶而會摸到紅色的牌，那個也是寶牌
對了，說到排名戰，排名戰也有裝備，立志要收齊完全裝備的人，
請努力玩到第一名吧XD
而滿貫+跳滿，我都是到強桌無腦打混一色+對對胡+收寶牌，
光靠這無腦玩法，最後還是讓我混到麻將王了XD
混一色:
萬或筒或索只收其中一種(可吃碰，但要玩對對胡就只能碰不能吃)，再加上字牌。
如果覺得自己手氣奇順無比，
也可以丟字牌湊清一色，清一色5台，自摸+1台
清一色隨便你吃碰，只要同一色就能胡
對對胡:只碰牌不吃
一條龍:
萬筒索任一色收集完1~9，可吃牌(我以前說過1~9不能吃是錯的，特此更正)
剩下的牌隨便吃碰，剩收集最後兩支相同的就可胡牌
立直一發:
不可吃碰，隨便你湊什麼456索 123萬 234筒 678萬同花色各類順子，
或是收同一支牌3支，但是重點就是不能吃碰，反正牌發下來就方塊鍵按一按
直到按到能立直為止，立直就是宣告聽牌。
而立直一發就是宣告聽牌後，在下次輪到自己之前胡牌，這樣就是立直一發
輪到自己自摸也算，可是一旦輪完一輪沒胡牌的話，這樣就沒有立直一發了
==
3.花牌
圖案請看維基
https://zh.wikipedia.org/zh/%E8%8A%B1%E6%9C%AD#.E5.9C.96.E6.A1.88
牌型只需要記下面這幾個，其他不用記
請看光牌的部分，不含11月的光牌收集到3支就是三光，4支四光
11月光牌搭任三支光牌就是雨四光，5支全收到就是五光
所以桌面上有光牌要優先收
除了光牌，最重要的就是9月的第一張菊花牌
跟3月的光牌搭就是花見酒；跟8月的光牌搭就是月見酒
花見酒月見酒各5台(借用麻將說法XD)，牌型好記台數又高
所以9月這張菊花牌比光牌更重要，要比光牌更優先收
此外還有豬鹿蝶，這個應該很好認
另外就是收集三張紅色短箋有寫字的赤短，還有三張藍色短箋的青短
重要度:
菊上盃(9月第一張)>光牌>豬鹿蝶>赤短青短>11月光牌
請按照重要度優先收集
另外超過7台點數加倍，可以看情況"衝"(こい)，如果手中好牌還很多就衝吧
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.161.109.229
※ 文章網址: https://www.ptt.cc/bbs/PlayStation/M.1455125270.A.DFE.html
青短短箋上面黑黑的從沒仔細看過，我一直都以為上面是字XD
==
話說只差昆蟲卡第19號就全收集全成就達成，
小遊戲就差那顆星星，看起來就是不夠完美..
感謝，終於全部達成了。
剛剛從任務第1場開始打，打了30幾場，任務9場加上輸3場，
大概是任務不算，要自由對戰20場的樣子
※ 編輯: wagwag (218.161.109.229), 02/11/2016 05:21:50
... <看更多>