從AI晶片自製熱潮 看AI商用應用發展起伏
名家廣場 -2021.09.16
文/夏肇毅 CubicPower晶智能中心創辦人
現在人工智慧的開發越來越廣泛,許多公司為了訓練新的人工智慧模型,必須提供大量的運算資源以供計算。有的公司無法滿足於現有的運算資源,於是便興起了開發適合自己的運算硬體的念頭。像生產電動車的特斯拉,一直致力於開發自動駕駛軟體。為了訓練用於自駕車的人工智慧模型,日前就替自己的公司總部開發了用於訓練的D1晶片。
這陣子許多大公司不約而同地開發自家用晶片,一方面是不想受制於人,另一方面是要為自己的特殊需求來量身訂做開發晶片,以便更符合自身需要,同時也能讓產品和競爭對手做出差異區隔。
像GOOGLE為旗艦手機研製處理器,蘋果也為MAC開發自己的處理器。這些公司在剛開始都是採用現有供應商的產品,用久之後,也許覺得受人把持不合己意,或是覺得花了太多錢在這些供應商上面,所以乾脆自己跳下來做,以便完全掌控開發方向,同時獨享開發成果。
聯發科兩年前開發出5GAI晶片,推出後得到廣大的採用,業績與股價大幅成長。NVIDIA與AMD也因持續採用台積電最先進製程來開發人工智慧繪圖計算晶片,業績與市佔大幅提高。自發現委託台積電來生產HPC晶片變成了讓業績成長的萬靈丹後,大家便爭先恐後的搶用。
相對於在硬體投資上不吝千金的意氣風發,大公司幾年前競相成立的人工智慧應用的機構卻悄悄地關門或重整。像日前新聞報導的Google宣佈解散健康部門Google Health,Open AI解散機器人研究團隊,IBM縮減Watson Health團隊等。不過才短短5、6年,當時重金禮聘的重量級人才與開發團體,如今業務無法推展,在不敵現實壓力下,只好黯然縮編裁撤。
不知道是否看到硬體的廠商生產IC,好像印鈔機在那重複轉動,就可以不斷地印出鈔票,而提供雲端硬體服務的大公司,一個大案就可以拿到十數億美金的合約來。但做軟體應用服務的,每個需求都不同,好像要一小單一小單慢慢地談,費許多心力後才能有一個案子的一次性些許收入。同時這種最新科技的應用,也並不是廣大群眾一時之間就會張開雙手欣然接受的。像手機在上市之後,也是經過了2G,3G,4G,5G等不同世代的改善後,才被廣泛接受為日常生活的一份子。加上人工智慧實際案例應用的準確性,也不如原先宣傳的那麼樂觀,於是推展起來自然阻礙重重。
著名的IT研究與顧問諮詢公司Gartner對於新興科技的發展歷程,有一套稱為Hype Cycle的理論。所有新興科技議題聲量在經過觸發期,攀頂期之後,經過大量供應商增殖,聲望將達到峰頂。之後便開始急遽下墜。其間有供應商倒閉合併,聲量墜落到谷底。存活下來的公司在得到二三輪資金的挹注後,才能夠繼續開發第二代,跟第三代的產品。之後才能通往成熟的高原期,開始得到百分之二十到三十的消費者採用,變成一個成熟商品。
人工智慧產品也一樣,唯有在Edge AI與5G AI手機都廣泛地散佈在人們身旁,各類可靠準確的應用模型被訓練出來後,最後再仰仗加值經銷商VAR的螞蟻雄兵,來將各式人工智慧應用嵌入我們的日常生活中,自然到都不覺得它們的存在。到那時,人工智慧才是真正開花結果了。
附圖:為更符合自身需要,並與對手作出產品出隔,許多大公司投資開發自家用晶片。圖/本報資料照片
資料來源:https://view.ctee.com.tw/technology/32430.html?fbclid=IwAR2y1UfKDMcigrasB-RnK2VAFQ0wFyjxcO5dcstRB74lCqIPDI9NvO_mQ7I
同時也有4部Youtube影片,追蹤數超過3萬的網紅孫在陽,也在其Youtube影片中提到,您、我每天都在創造大數據,可惜我們沒有收集大數據,或還停留在不知怎麼收集的階段。少部份人手上都有大數據,卻不知如何分析這些資料。當世界都在談大數據變黃金時,從馬雲到釋昭慧都侃侃而談,您還能不懂什麼是大數據嗎?您也許已經聽過無數的大數據神話,但對於大數據仍停留在一知半解階段嗎?美國歐巴馬政府將大數據視...
「var計算」的推薦目錄:
- 關於var計算 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳貼文
- 關於var計算 在 Taipei Ethereum Meetup Facebook 的精選貼文
- 關於var計算 在 投資沙岸的揀貝人 Facebook 的最讚貼文
- 關於var計算 在 孫在陽 Youtube 的最佳解答
- 關於var計算 在 孫在陽 Youtube 的最佳解答
- 關於var計算 在 孫在陽 Youtube 的最讚貼文
- 關於var計算 在 單元4: 市場風險4_1_2_風險值概念 - YouTube 的評價
- 關於var計算 在 計算兩矩陣相乘Matrix multiplication by Javascript - gists · GitHub 的評價
var計算 在 Taipei Ethereum Meetup Facebook 的精選貼文
📜 [專欄新文章] Tornado Cash 實例解析
✍️ Johnson
📥 歡迎投稿: https://medium.com/taipei-ethereum-meetup #徵技術分享文 #使用心得 #教學文 #medium
Tornado Cash 是一個使用 zk-SNARKs 建立的 Dapp,它實現了匿名的代幣交易,這篇文章就用一些程式碼片段,來分享它是怎麼運作的。
本文為 Tornado Cash 研究系列的 Part 3,本系列以 tornado-core 為教材,學習開發 ZKP 的應用,另兩篇為:
Part 1:Merkle Tree in JavaScript
Part 2:ZKP 與智能合約的開發入門
Special thanks to C.C. Liang for review and enlightenment.
我們知道在以太坊上的交易紀錄都是公開的,你可以在 etherscan 上看到某個地址的所有歷史交易紀錄,當然地址是合約的話也是一樣。
也許創建一個新的錢包和地址就好了?假設一個情境是 Alice 想要匿名傳送 1 ETH 給 Bob,Alice 原本的錢包是 A,但她不想讓 A 地址傳給 Bob 的交易紀錄被看到,所以 Alice 創建另一個錢包 B,顯然 B 錢包是空的,Alice 必須把 A 錢包的 1 ETH 傳到 B 錢包,再用 B 錢包的地址傳給 Bob。
但問題就在於,只要追蹤 B 錢包的地址,就能看到 B 的歷史交易紀錄中 A 錢包曾經打幣給 B 錢包,於是到頭來交易還是被追蹤到了。
Tornado Cash 的解決方案,簡單來說,它是一份合約,當你要匿名傳送代幣時,就把一定數量的幣丟進合約裡 (Deposit),此時你會拿到一個 note,長得像這樣:
tornado-eth-0.1-5-0x3863c2e16abc85d72b64d78c68fca5936db2501832e26345226efdfb2bc45804977f167d86b711bb6b4095ddaa646ec93f0a93ac4884a66c1d881f4fc985
note 就是一串字串,擁有這字串的人,就能提領 (Withdraw) 剛剛傳入合約的代幣。握有 note 就代表擁有提款的權利,所以 note 一旦被別人知道,別人就可以把錢給提走。
其中,後面那段亂碼,本篇文章就以「秘密」來稱呼,這個秘密是由 secret 與 nullifier 組成,而這兩個都是在鏈下隨機產生的亂數。
因此 Tornado 的合約基本上會有兩個函式:
Deposit
Withdraw
有興趣的人可以先到 Dapp 上先玩一次看看,使用 Goerli 測試網,這裡可以領 Goerli 的代幣:https://goerli-faucet.slock.it/
Deposit
我們就從 Deposit 開始說起,簡單來說, Deposit 是將資料儲存到合約的 Merkle Tree 上。
剛剛提到的秘密,它是在鏈下產生,由 secret 跟 nullifier 組成,合在一起之後也稱作 preimage,因為我們要對這個 preimage 進行 hash,就會成為 commitment。
合約中 Deposit 如下:
deposit 除了傳送代幣到合約之外,需填入一個參數 _commitment。
我們對 preimage 使用 Pedersen 作為 hash function 加密後產生 commitment,以偽代碼表示如下:
const preimage = secret + nullifier;const commitment = pedersenHash(preimage);
這個 commitment 會成為 Merkle Tree 的葉子,所以合約中的 _insert(commitment) 來自 MerkleTreeWithHistory.sol 的合約,將我們的資料插入 Merkle Tree,然後回傳一個 index 給你,告訴你這個 commitment 在 Merkle Tree 上的位置,最後一起發布成公開的 Deposit 事件。
我們知道 MerkleTree 是將一大筆資料兩兩做雜湊後產生一個唯一值 root,這個 root 就是合約上所儲存的歷史資料。
root 的特性就是只要底下的資料一有更動,就會重新產生新的 root。
所以只要一有用戶 deposit ,就會插入新的葉子到 Merkle Tree 上,於是就會產生新的 root,所以在合約中有一個陣列是用來儲存所有的 root 的 roots:
bytes32[ROOT_HISTORY_SIZE] public roots;
roots 是用來紀錄每個 deposit 的歷史,每一次 deposit 都會創造新的 root,而所有 root 都會被儲存進 roots 裡,於是當你要提領的時候,就要證明你的 commitment 所算出的 root 曾經出現在 roots 裡,代表曾經有 deposit 的動作,因此才可以進行提領。
Withdraw
在 Deposit 之前 Tornado Cash 就會在鏈下產生秘密後交給使用者,擁有這個秘密的人等於擁有提款的權利。
提領的時候,秘密會在鏈下計算後產生 proof,proof 是 withdraw 需要的參數,所以只要確保這個 proof 能夠被驗證,那麼代幣的接收地址 (recipient) 就可以隨便我們填,只要不填上當初拿來 deposit 用的地址,基本上就做到匿名交易的效果了。
也就是說,產生這個 proof 並提交給合約,能夠證明此人知道秘密,但卻不告訴合約秘密本身是什麼。
function withdraw(bytes calldata _proof, bytes32 _root, bytes32 _nullifierHash, address payable _recipient, address payable _relayer, uint256 _fee, uint256 _refund) external payable nonReentrant;
我們可以清楚看到 withdraw 函式裡沒有接收有關秘密的任何資訊作為參數,也就是秘密不會與合約有所接觸,也不會暴露在 etherscan 上。
回顧 ZKP 所帶來的效果:
鏈下計算
隱藏秘密
在 Tornado Cash 的例子中,我們用秘密來產生證明,完成的鏈下計算包括:
將秘密 hash 成 commitment
算出 Merkle Tree 的 root。
以下是簡化後的 withdraw.circom:
template Withdraw(levels) { signal input root; signal input nullifierHash;
signal private input nullifier; signal private input secret; signal private input pathElements[levels]; signal private input pathIndices[levels];
component hasher = CommitmentHasher(); // Pedersen hasher.nullifier <== nullifier; hasher.secret <== secret; hasher.nullifierHash === nullifierHash;
component tree = MerkleTreeChecker(levels); // MiMC tree.leaf <== hasher.commitment; tree.root <== root; for (var i = 0; i < levels; i++) { tree.pathElements[i] <== pathElements[i]; tree.pathIndices[i] <== pathIndices[i]; }}
component main = Withdraw(20);
從上述代碼就可以看出這份 circuit 的 private 變數有:
secret
nullifier
pathElements
pathIndices
而 public 變數有:
root
nullifierHash
如同我們一開始說過的,秘密就是指 secret 與 nullifier。這裡進行的鏈下計算就是對 secret 與 nullifier 雜湊成 commitment。而使用的 hash function 叫做 Pedersen。
在進行 Merkle Tree 的計算之前,我們還檢查了 nullifier 雜湊後的 nullifierHash 跟 public 變數 nullifierHash 是不是一樣的。
hasher.nullifierHash === nullifierHash;
接下來,開始計算 Merkle Proof,用意是確認經過雜湊後的 commitment 有沒有出現在 Merkle Tree 上,所以我們的 private input 還有 pathElements 與 pathIndices(詳情參考 Part 1 Merkle Tree in JavaScript),讓它跑一趟 Merkle Proof 的計算,最後就能夠算出一個 root,再確認計算後的 root 與我們的 public 變數 root 是否一樣。
tree.root <== root;
於是我們就能產生一個 ZKP 的證明 — 證明 private 變數:secret, nullifier, pathElements, pathIndices 可以計算出 public 變數:root 與 nullifierHash。
把這個證明提交給合約,合約透過 Verifier 驗證 proof 是否正確,以及必須事先確認:
public 變數 root 有在合約的 roots 裡面。
public 變數 nullifierHash 在合約中是第一次出現。
以下附上完整的 withdraw 原始碼:
必須注意 ZKP 是向合約證明使用者填入的 secret 和 nullifier 可以計算出某個 root,但無法保證這個 root 曾經在合約的 roots 歷史上。
所以合約的 withdraw 中,除了 verifyProof 之外,還要事先檢查 ZKP 算出來的 root 是不是真的在歷史上發生過,所以需要 isKnownRoot 的檢查:
function isKnownRoot(bytes32 _root) public view returns(bool)
必須先檢查 isKnownRoot 後才能進行 verifyProof。
經過 verifyProof 驗證成功後,合約就開始進行提款的動作,也就會將代幣傳到 recipient 的地址,最後拋出 Withdrawal 的事件。
nullifier 與 nullifierHash
為什麼我們的秘密不是只有 secret 還要額外加一個 nullifier?
簡單來說,這是為了防止已經提領過的 note 又再提領一次,也就是所謂的 double spend。
require(!nullifierHashes[_nullifierHash], "The note has been already spent");
可以看到 withdraw 需要填入參數 nullifierHash,跟 isKnownRoot 一樣的狀況,我們需要對電路的 public 變數先經過一層檢查之後,才能帶入到 verifyProof 裡面。
nullifierHash 可以理解為這個 note 的 id,但它不會連結到 deposit,因此可以用來紀錄這個 note 是否已經被提領過。
所以當 verifyProof 驗證成功之後,我們要紀錄 nullifierHash 已完成提領:
nullifierHashes[_nullifierHash] = true;
有關為什麼需要事先檢查 public 變數後,才能帶入 verifyProof ,可以參考 Part 2:ZKP 與智能合約的開發入門 提到的 publicSignals 的部分。
附上 Tornado Cash 的架構圖:
簡化版的 tornado-core
tornado-core 的程式碼很簡潔漂亮,所以我模仿該專案自己實作一遍:
simple-tornado:https://github.com/chnejohnson/simple-tornado
這份專案只完成了 tornado-core 的核心部分,不一樣的是我的開發環境使用 hardhat 與 ethers 寫成,而 circom 與 snarkjs 使用官方當前的版本,合約用 0.7.0,測試使用 Typescript 。
比起兩年前的 tornado-core ,simple-tornado 使用的技術更新,可能更適合初學者理解這份專案,但是它有 bug…我在 issues 的地方有紀錄說明。
在開發的過程中,我的順序是先從最小單位的 MiMC hash function 開始玩,發現必須 javascript 算一次 hash、solidity 算一次、circom 再算一次,確保這三個語言對同一個值算出同樣的 hash 之後,才能放心去做更複雜的 Merkle Tree。
總結
我們可以看到 Tornado Cash 簡單的兩個函式:Deposit 與 Withdraw,透過將代幣送入合約後再提領到另一個地址的流程,應用 ZKP 達成匿名的交易。
除了斷開 Deposit 與 Withdraw 的地址關聯性之外,Tornado Cash 還有做了一層「藏樹於林」的隱私防護,這部份的解釋就請參考 ZKP 讀書會 Tornado Cash。
網路上很多關於 ZKP 的文章或專案都是在 2019 年後出產的,經過許多人對這項技術的嘗試,讓我們對 ZKP 有了更清晰的理解,如今兩年後,開發工具也變得更加成熟,期待未來在 web 隱私議題上能看到更多 ZKP 大放異彩的應用。
原始碼
tornado-core
simple-tornado
參考資料
ZKP 讀書會 Tornado Cash
Tornado Privacy Solution Cryptographic Review
Tornado Cash 實例解析 was originally published in Taipei Ethereum Meetup on Medium, where people are continuing the conversation by highlighting and responding to this story.
👏 歡迎轉載分享鼓掌
var計算 在 投資沙岸的揀貝人 Facebook 的最讚貼文
https://reurl.cc/Q99Oq0
連結是 2021-Q1 13F 我有在追的基金持股、動向統整,對美股有興趣的朋友可以用周末好好研究一下,有沒有有興趣的股票。
嘗試自動化了13F整理的流程,還是有點小bug,有幾家的filing Beautiful Soup parse會出錯,之後再研究一下怎修,短時間不想再看程式碼了QQ
type => SH = 股票, PRN = 債券
put Call => SH = 股票、Call = 買權、Put = 賣權
list可能有看到重複的公司,基本是因為shares class的差別(像波克夏有A/B股,google有A/C股的差別)
版面、其他功能之後再加上去,目前先計算所有有追蹤的人買了啥(抓1%閥值過濾掉太小的倉)、重倉(5%),增減倉。
var計算 在 孫在陽 Youtube 的最佳解答
您、我每天都在創造大數據,可惜我們沒有收集大數據,或還停留在不知怎麼收集的階段。少部份人手上都有大數據,卻不知如何分析這些資料。當世界都在談大數據變黃金時,從馬雲到釋昭慧都侃侃而談,您還能不懂什麼是大數據嗎?您也許已經聽過無數的大數據神話,但對於大數據仍停留在一知半解階段嗎?美國歐巴馬政府將大數據視為「21 世紀的新石油」,是「挖不完的金礦」,您、我也該開始學習大數據分析了。
本課程以Excel Power BI做大數據分析為題,先知道大數據是什麼、大數據分析方法、視覺化呈現結果,是一種最容易上手、簡單易學的方法。首先以提升管理品質為目標,期進一步能做到服務層級,並達到提升工作效率。期待結合更多的開放數據,讓大家都具備大數據分析能力,提升國家的軟實力。
var計算 在 孫在陽 Youtube 的最佳解答
用Excel Power BI做大數據分析(II)
您、我每天都在創造大數據,可惜我們沒有收集大數據,或還停留在不知怎麼收集的階段。少部份人手上都有大數據,卻不知如何分析這些資料。當世界都在談大數據變黃金時,從馬雲到釋昭慧都侃侃而談,您還能不懂什麼是大數據嗎?您也許已經聽過無數的大數據神話,但對於大數據仍停留在一知半解階段嗎?美國歐巴馬政府將大數據視為「21 世紀的新石油」,是「挖不完的金礦」,您、我也該開始學習大數據分析了。
本課程以Excel Power BI做大數據分析為題,用 Excel Power BI 做大數據分析,先知道大數據是什麼、大數據分析方法、視覺化呈現結果,是一種最容易上手、簡單易學的方法。首先以提升管理品質為目標,期進一步能做到服務層級,並達到提升工作效率。
。期待結合更多的開放數據,讓大家都具備大數據分析能力,提升國家的軟實力。
var計算 在 孫在陽 Youtube 的最讚貼文
花36分鐘做一遍大數據分析(用Excel Power BI做大數據分析(II) )
許多人手上都有大數據,卻不知如何分析這些資料。用 Excel Power BI 做大數據分析,先知道大數據是什麼、大數據分析方法、視覺化呈現結果,是一種最容易上手、簡單易學的方法。首先以提升管理品質為目標,期進一步能做到服務層級,並達到提升工作效率。
var計算 在 計算兩矩陣相乘Matrix multiplication by Javascript - gists · GitHub 的推薦與評價
計算 兩矩陣相乘Matrix multiplication by Javascript. GitHub Gist: instantly share code, notes, and snippets. ... for(var i in a){. e[0][0]+= a[0][i]*b[i][0];. ... <看更多>
var計算 在 單元4: 市場風險4_1_2_風險值概念 - YouTube 的推薦與評價
Calculating and Applying VaR (FRM Part 1 – Book 4 – Valuation and Risk Models – Chapter 2) ... 照過來~~~土地增值稅到底是怎麼 計算 呢??? ... <看更多>