【當世界棋王遇上人工智慧，難道我們真的會被AI取代嗎？】
＃採訪筆記 ＃人工智慧
📍完整文章好讀網誌版▶https://reurl.cc/L0Xn27
人工智慧這幾年風風火火，近年來對於人工智慧的討論越來越多，也看到更多AI在各產業的應用。
我自己在多年前因為專訪知名矽谷創業家馬丁福特，他跟我聊到未來我們的競爭對手將會是人工智慧，以及對於人工智慧將取代許多白領工作，可能會造成社會問題的擔憂(我有寫在書裡)
因此，讓我看人工智慧的角度除了科技面，也增加了對於社會面影響的關注。
談到這個又不得不提，多年前在電視台做國際HOT話題節目時，當時正逢AlphaGo與世界棋王們對奕，我緊盯著電視，眼睜睜目睹人類棋王被人工智慧打敗，心中震驚難以言喻，＃畢竟圍棋是人類智慧的象徵，這是否代表著未來人類智慧真的不敵人工智慧？🧐
過了許多年，非常榮幸能在廣播節目《科技領航家》邀請到 ＃紅面棋王周俊勳，他是 ＃台灣唯一與AI對奕過的棋士，也是至今台灣世界冠軍紀錄保持者，
他跟我分享與AI決鬥的那一場戰役，我問他，輸得會不會很冤，為什麼中國棋王柯潔會說一輩子都贏不了AI？人類真的只能輸嗎？🧐
俊勳不疾不徐地跟我分享，其實現在棋士對弈，都找AI來進行練習，不過AI到底是不是靠著大數據與演算法就一定絕對贏，其實還有一些討論的空間。
圍棋界中的人工智慧，目前已經發展成三個階段：
🔸 2016年AlphaGo：
透過已知的規則、圍棋領域的知識，再加上人類過往棋譜資料訓練而成。簡單來說，就是我們一般理解的，AI因為能夠記住更多的棋譜，＃從中去做更多的計算，因此會打贏人類。
🔸 2017年的AlphaGo Zero：
這時的AI，已經進行嶄新的突破，僅利用已知規則，不需要參考人類過往棋譜，＃僅靠自我學習，也就是自己與自己對奕增強棋力，甚至打贏AlphaGo。
DeepMind聯合創始人兼CEO傑米斯·哈薩比斯曾說，AlphaGo Zero「不再受限於人類認知」。簡單來說，AlphaGo Zero的出現代表著AI不再需要參考人類的智慧，不是學習人類，而是靠著自我反思與摸索而超越人類。
🔸 2020年最新發表的MuZero：
這是最新DeepMind釋出的新技術，MuZero不需要人類給任何規則，在未知的動態環境下就能自動學習規則並作出最佳判斷，＃具有圍棋棋招的自我反思和創造的能力。
雖然對於MuZero居然連圍棋規則也不學到底打贏人類是否有意義，還有爭議，不過針對AlphaGo打贏人類，俊勳分享自己輸的那一局的反思觀察，AI雖然確實有些優勢，
例如透過棋譜大數據的精準計算，可以預測更遠更廣的棋路，且不帶感情，相對來說也比較穩定，但是真正與人類交鋒決鬥時，不一定會比人類靈活。
📣簡單來說，＃AI善於做長期佈局，這使得人類棋士在一開始還搞不清楚時，就掉入AI設計的圈套中，所以後面一路居於劣勢，容易輸棋，也使得人類棋士其實沒有與AI直接交鋒的機會。
而人類的優勢，其實是「＃準度」，在複雜棋賽中，會將目標明確地用在計算關鍵的棋，不必像AI計算每一手的樹狀圖分析，因此在面對複雜棋面的 ＃肉搏戰階段 時，人類其實勝算比較高。
這其實很好理解，AI雖然強大，可以比人類精算出更遠的未來，但可能連三歲小孩都會的吃飯喝水，AI卻不會。
🧐 而我們該如何放大身為人類的優勢？
俊勳分享，應透過AI輔助，成為更好的、說故事的人，也就是學習駕馭AI，讓AI成為我們的工具，打破「＃以經驗法則指導年輕一輩的舊有思維」，例如現在棋士在訓練時，都會導入AI系統的訓練方法，讓自己更強。
AI的出現，未來對於我們工作與產業的影響，將會隨著應用層面越來越廣，感受會越來越強，當取代舊有體制與工作的那一天來臨時，希望我們都能不要害怕，也最好能盡早準備，
👍學習和理解AI，至少能擁有AI的思維，讓AI成為我們的幫手，這就是人類的勝局。
🎙更多內容歡迎可以聽這集內容： https://user72908.psee.io/39r55p
紅面棋王周俊勳
--
🎧 楚文的廣播Podcast節目|#科技領航家
✨ 聚焦科技趨勢話題 科技人懂理財 科技人職場衝
IC 之音 FM97.5
首播 每周二18:30-19:00、重播 每周三 08:15-08:45
alphago zero 演算法 在 [新聞]AlphaGoZero創造者:星海爭霸2比圍棋更有難- 看板StarCraft 的推薦與評價
AlphaGoZero創造者：星海爭霸2比圍棋更有難度
選自Reddit
機器之心編譯
昨日，DeepMind 在《自然》雜誌上發表了一篇論文，正式推出人工智慧圍棋程式
AlphaGo 的最新版本 AlphaGo Zero。同時，在 DeepMind 發佈的官方博客中，
DeepMind 強化學習團隊負責人、AlphaGo 專案負責人 David Silver 視頻介紹了最新的
AlphaGo Zero。今天，David Silver 與團隊另一成員 Julian Schrittwieser 代表
AlphaGo 創造者在 Reddit 上回答了讀者的一系列問題。本文對這些問答作了編譯介紹
。
以下為 David Silver 與 Julian Schrittwieser 代表 AlphaGo 創造團隊在
Reddit 上的問答：
1。 為什麼 AlphaGo Zero 的訓練如此穩定？深度強化學習極其不穩定且易於遺忘，
自我對弈（self-play）也是，兩者的結合如果沒有很好的（基於模仿的）初始化和大量
人類棋譜將是一個災難。但是 AlphaGo Zero 從零開始，並且沒有借助人類棋譜來防止遺
忘或閉環。論文對於這點沒有涉及，因此你們是如何做到的？
David Silver：相較於典型的（無模型）演算法，如策略梯度或者 Q 學習，
AlphaGo Zero 採用了一種相當不同的深度強化學習方法。借助 AlphaGo 搜索，我們顯著
提升了策略和自我對弈的結果，接著我們使用簡單的基於梯度的更新訓練下一個策略+價
值網路。這要比累加的、基於梯度的策略提升更加穩定，並且不會遺忘先前的成果。
2。 你認為 AlphaGo 能解決 Igo Hatsuyoron 120 這個‘史上最難死活題’嗎？即
贏取一個給定的中局或者確定一個現有解決方案？
David Silver：我們剛剛請教了樊麾，他認為 AlphaGo 會解決這個問題，但更為有
趣的是 AlphaGo 能否找到書中的答案，或者我們想不到的方案。而這正是我們在
AlphaGo 的訓練中多次目睹的事情。
3。 你們認為圍棋與星海爭霸 2 哪個更有難度？面臨的最大潛在技術障礙是什麼？
正式更新什麼時候出來？
Julian Schrittwieser：我們宣佈開放星海爭霸 2 環境剛過去幾個星期，所以現在
還處於早期階段。星海爭霸的行動空間確實要比圍棋更具挑戰性，因為其觀察空間要遠大
於圍棋。從技術上講，我認為兩者最大的區別之一在於圍棋是一種完美資訊博弈，而星海
爭霸因為有戰爭迷霧，屬於不完美資訊博弈。
4。 你覺得資料比演算法更重要嗎？不過你關於 AlphaGo Zero 的新論文卻暗示了另
外的含義。
Julian Schrittwieser：我覺得目前演算法仍然比資料更重要，只要看看 AlphaGo
Zero 比之前幾個版本的訓練效率高出那麼多就能理解。而且我認為在未來，資料在訓練
效率上的重要性也會大有提升。
5。 由於整個管道只在模型的最新最好版本上展開自我對弈，你們認為模型在使用具
體的 SGD 演算法更新參數空間時存在過擬合風險嗎？看起來最後的模型遊戲過程中，模
型會稍微依賴于隨機初始化權重以及實際面對的遊戲狀態（作為隨機行動採樣的結果）。
David Silver：實際上，表徵也很可能在其他選擇上表現良好。但是我們有 3 個理
由使用堆疊的觀測歷史：（1）它在其它領域（比如 Atari）的常用輸入表徵是一致的；
（2）我們需要一些歷史來表徵 ko；（3）瞭解對手最近輸入位置的歷史很有用，這可充
當一種注意力機制（即注意對手的想法很重要）。
6。 這會是 AlphaGo 的最終反覆運算版本嗎？
David Silver：我們已經停止了強化 AlphaGo 的積極研究，但仍保留了研究試驗台
，以供 DeepMind 人員驗證新思路和新演算法。
7。 DeepMind 和 Facebook 都在大力研究強化學習，你認為是什麼令 AlphaGo 的表
現能如此快速地提升？ 此外對於機器學習前沿，特別是強化學習，其發展趨勢如何？
David Silver：Facebook 更關注監督學習，它能產生當時性能最優的模型；而我們
更關注強化學習，因為我們相信它最終會超越人類已有的知識而進一步取得提升。我們最
近的結果實際上表明，只有監督學習確實可實現令人驚歎的表現，但強化學習絕對是超越
人類水準的關鍵。
8。 有開源 AlphaGo 的計畫嗎？
David Silver：我們之前已經開源了大量的代碼，但過程一直非常複雜。不幸的是，
AlphaGo 項目的代碼庫更加複雜，甚至有點過分。
9。 我們現在可以通過強大的國際象棋引擎給棋手做內部評級，一步一步地分析棋手
的下棋過程進而評定 Elo 等級分。這可以使我們更有條理的做事，比如比較不同時代的
棋手，而且還有可能提供研究人類認知的平臺。這對 AlphaGo 也有效嗎？我猜測這對圍
棋來說會更加複雜，因為在國際象棋中不需要考慮 margin of victory。
Julian Schrittwieser：這確實是個很棒的主意！我覺得我們完全可以在圍棋中做同
樣的事情，可能會以比較最佳落子和每一步落子的價值的方式，或者使用決策網路為每一
步落子分配的概率。如果有時間的話，我很樂意嘗試。
10。 你們在 AlphaGo Zero 中首先嘗試自我對弈訓練而不是整合人類比賽資料。為
什麼 AlphaGo 之前的版本沒有使用自我對弈訓練呢，還是已經嘗試過，但效果沒有這麼
好，為什麼？我很好奇這一塊的發展和進步。和現在相比，兩年前在 AlphaGo 訓練過程
中使用自我對弈有什麼瓶頸嗎？從最終成就自我對弈系統的所有反覆運算中收穫了什麼‘
機器學習知覺’（machine learning intuition）？
David Silver：創建利用自我對弈來學習的系統在強化學習領域一直是一個開放性問
題。我們最初嘗試了文章提到的很多類似演算法，發現都不穩定。我們進行了很多次實驗
，最終發現 AlphaGo Zero 的演算法是最高效的，而且應該解決了這個問題。
11。 據說 AlphaGo 柯潔版本僅需李世石版本處理能力的 1/10。你對此做了哪些優
化？也就是說 AlphaGo 柯潔版本的能力是李世石版本的 10 倍嗎？
Julian Schrittwieser：這主要是因為價值/策略網路的改善，訓練和架構都變得更
好。這篇論文的圖 4 對比了不同網路架構。
12。 有考慮過使用生成對抗網路嗎？
David Silver：在某種意義上，自我對弈（self-play）訓練已經是對抗性質的：每
次反覆運算都試圖找到對抗上一版本的‘anti-strategy’。
13。 在設計 AlphaGo 系統架構時，最困難的部分是什麼？
David Silver：我們遇到的一個重大挑戰是在與李世石比賽期間出現的，當時，我們
意識到 AlphaGo 偶爾會受到我們稱之為‘錯覺（delusion）’的影響，即對弈中智慧體
會持續多次系統地誤解當前的棋局，並嘗試了很多方法來解決它，如給智慧體灌輸更多的
圍棋知識或人類元知識。我們的解決方法是使智慧體變得更加條理化，使用更少的知識，
更多地依賴強化學習來生成更高品質的解決方案；最終我們取得了成功，在 AlphaGo 中
消除了這些問題。
原文連結：https://goo.gl/wuwTPi
https://sports.sina.com.cn/go/2017-10-20/doc-ifymzqpq2704743.shtml
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.74.47
※ 文章網址: https://www.ptt.cc/bbs/StarCraft/M.1508480964.A.B1A.html
※ 編輯: qweewqq (123.192.74.47), 10/20/2017 14:29:58
... <看更多>