創新工場和BCG咨詢合作的「+AI改造者」系列:看看無人機技術起家的極飛,如何賦能農業生產全環節,提升全球農業生產效率。
改造者系列:農業「+AI」全環節守護新疆棉花
近期,創新工場聯合BCG波士頓咨詢旗下亨德森智庫,推出「AI融合產業:『改造者』如何促進AI普惠」系列研究。人工智能在中國大陸有著明確的落地應用場景,大量的AI企業活躍於這些垂直場景中,我們定義這些企業為「改造者」。「改造者」通過傳授其AI技術和垂直行業理解,極大地打破了傳統企業應用AI的瓶頸。
作為擅於趨勢前瞻的TechVC,創新工場長期看好AI領域,深入佈局,至今已經投出了7只AI獨角獸。在系列研究中,我們采訪了數家創新系AI企業,通過這些「改造者」的視角,探究傳統企業擁抱AI的範式與路徑。
創新工場投資的極飛科技是一家致力於未來農業的AI科技公司,極飛將無人機、機器人和傳感器部署在稻田、麥田和棉花田裏,用技術賦能農業中的播種、農藥噴灑、栽種管理、甚至天氣監測環節。用於作物噴灑的極飛科技R150農業無人車已經被推廣到了英國,應用在蘋果、草莓、黑莓等多種經濟作物的種植流程中。
在采訪中,極飛科技聯合創始人龔檟欽表示,AI在農業的應用才剛剛開始,未來極飛會探索更多AI和農業的融合,例如用AI來賦能優化作物模型(crop modelling),幫助識別作物生長過程中的不確定因素,從而實現提前預警和判斷。以下:
■系列導讀
本系列由BCG亨德森智庫與創新工場董事長兼首席執行官李開復博士帶領的創新工場團隊共同推出,圍繞「AI融合產業:『改造者』1如何促進AI普惠」的課題,我們致力於探究傳統企業在應用AI過程中的關鍵要素與合作夥伴,以及傳統企業擁抱AI的範式與路徑。
在農業領域,隨著機器自動化、機器視覺、物聯網等技術的發展,農業的提質增效和轉型升級也被不斷加速。以極飛科技為代表的一批農業科技企業,通過無人機、智慧農業系統等科技賦能,使得傳統的農業勞動更加高效、環保、節能。
1 「改造者」通過傳授其AI技術和垂直行業理解,極大地削弱了傳統企業應用AI的瓶頸,充當產業中傳統企業應用AI的橋樑。「改造者」包括AI企業與成功轉型AI的傳統企業。
■本期受訪嘉賓:龔檟欽
極飛科技將無人機、機器人、自動駕駛、人工智能、物聯網等技術帶進農業生產,通過構建無人化智慧農業生態,讓農業進入自動化、精准高效的 4.0時代。
龔檟欽是極飛科技聯合創始人,2018年福布斯中國「30 under 30」封面人物。龔檟欽曾任鳳凰衛視特約海外記者、國家地理製片人。龔檟欽先生擁有悉尼大學學士學位、巴黎九大與清華大學聯合博士學位在讀。
■對談實錄
Q1:極飛科技最早以無人機技術起家,後來為何選擇進入農業這一垂直領域?
龔檟欽:極飛科技以無人機航模控制器起家,最開始的時候我們曾嘗試過把無人機技術帶到電力巡線、安防、南極科考、物流等諸多領域,但很多領域的應用很難市場化,比如物流或電力巡線在當時都受到市場規模和法律法規的制約,難以發揮無人化技術的最大價值。
2013年9月,由於機緣巧合,極飛科技開始探索農業這一領域的無人機應用。我們發現,有客戶購買極飛的飛控之後進行改裝,拿到新疆去做航拍,還有許多人看到極飛之後在考慮用無人機做農藥噴灑。於是當月我們也一起走訪了新疆。9月正值棉田收穫期,我們卻看到大量農民背著藥箱,忍受著刺鼻的氣味在噴灑農藥,原因就在於新疆已經請不到采棉工了,需要農民噴灑脫葉劑來保證棉花同步成熟,再由大型采棉機統一采收。但是人工噴灑脫葉劑的效率非常低下,而用拖拉機噴灑又會軋壞棉花導致減產。
當時的新疆不僅缺乏采棉工,連噴灑脫葉劑的人工也請不到了。隨著城鎮化的發展,大量人口從農村流入城市,從前每年秋天新疆會有六七十萬人坐著綠皮火車從四川、河南、陝西來采棉花,如今這樣的畫面已難以再現。新疆出現了勞動力供給的缺口,而這也正是機器和技術能夠賦能的地方,就采棉催熟而言,要求脫葉劑的噴灑量不高,無人機這種空中飛行的機器有著天然的優勢——能夠在空中精准、均勻地噴灑,很大程度上減少人力並提高效率。不只是采摘,從播種到收穫的全流程中,機器人能高效地完成許多任務,包括播種、施肥、除草、除蟲等等,無人機能夠極大地提升農業生產效率,尤其在生產期較短的地域迅速提高單位時間的產量。由此,無人機能為農民釋放更多產能,一個人能管理的農田更大,即技術賦能土地規模化集中,而土地規模化之後農民對機器的需求也更大,從而進入「技術加速資源有效整合」的正向循環。
目前,極飛科技的無人機已經覆蓋了新疆機采棉面積的一半以上2,從棉花延伸到了水稻、小麥等需要大量人工的作物,從新疆延伸到了東北、雲南等全國大部分地域。
我們一直相信,當腦海裏有一項技術的時候,你要為技術選擇一個行業,選擇用技術來做什麼事。
2截至2020年10月,極飛科技農業無人機棉花脫葉劑作業面積占新疆機采棉面積的一半以上。
Q2:極飛在賦能農業的過程中是否遇到過什麼挑戰?極飛是如何應對的?
龔檟欽:在工業裏,規模化生產的工廠是工業自動化的天然載體,但在農業裏,農戶的規模差異很大,許多農戶的農田本身很小,對於機器應用能帶來的成本優化是無感的,這就涉及到「技術下鄉的微觀載體是誰」的問題。
極飛最早發現了這樣一群人,他們是縣城裏做婚慶攝影的攝影師,隨著航拍變得越來越容易,他們面臨著更加激烈的競爭。但是農民不會用無人機,極飛就請這些攝影師,或者說飛手,去幫農民打農藥。飛手發現農業用無人機的頻次高得多,市場又大,農民與他們之間也存在著比較大的技術差距,於是這些飛手們便成為了極飛下鄉的第一批「用戶」,架起農民和農業科技之間的橋樑。
過了一段時間後,這批飛手開始感到困惑,他們並不懂農業、不懂種植,也無法識別農藥的真假,於是另一批群體出現了——農資店。農資店主往往很懂農戶,很清楚周邊農戶種植的作物種類、規模,也有農戶的熟人網絡,由農資店來推銷無人機、提供打藥服務等,就會容易得多。農資店就這麼成為了極飛的「經銷商」。
兩三年後,隨著無人機、無人車等設備的滲透更高、覆蓋範圍更大,農戶開始出現對無人機維修的售後需求,農機商便成了我們的夥伴。農機商有更大的店面,有展廳、有維修車間,就像是汽車的4S店。他們也懂農業、有銷售團隊和培訓團隊,農機商就成了極飛「更大型的經銷商」。
到這裡,整個產業鏈已經連接上了,商業模式被驗證了——農機商可以幫我們推廣農機,農資店、無人機飛手可以幫助培訓。對極飛來說,分銷商就是農機商,經銷商就是農資商和飛手。
Q3:極飛自然衍生的渠道網絡非常有趣,從更大的農業產業鏈角度來看,極飛如何賦能農業產業鏈中的傳統企業?
龔檟欽:農業產業鏈中的企業可以簡化為三大類:作物科學公司、農業技術公司、食品與供應鏈公司。作物科學公司包括拜耳、中化等,研究農藥、化肥、種子,負責為農業提供生產資料。食品與供應鏈公司包括拼多多、百果園、盒馬等,把農產品變為商品,進行流通並銷售。農業技術公司負責農產品、農作物的生長管理,通過技術來幫助農業提升效率,極飛就屬於這一類。我們有一個說法是極飛幫助了農產品進行「光合作用」,通過抵抗農業生產過程中由於氣候、資本、勞動力等多方因素導致的不確定性。
農業技術公司位於另兩類公司中間,起到連接上下游的作用。比如作物科學公司想知道種子的生產效果、農藥的效果,可以通過極飛的種植管理記錄來做調研,從而優化下一代產品。比如農產品超市想采購無過量農藥的水果,可以調取極飛植保服務記錄來識別更高品質的水果供應商。可以看出,除了提升效率之外,極飛還提升了農業的透明度和可追溯性。相應地,在終端也會產生更高的價值回報,農民能獲得更多收入,消費者願意為此買單。
Q4:極飛對未來的發展規劃是什麼?會繼續深耕農業還是拓展更多行業應用?
龔檟欽:極飛選擇深耕農業,因為對於已經有七年技術和經驗積累的我們來說,再造更多其他類型的農業機器人、無人機,或者結合材料科學、結構設計優化農業機械,再或者把AI演算法嵌入農業機器,並不會太困難,但別的行業企業要進入農業是很難的,農業的行業壁壘還是很高的。
而且,在農業中AI的應用剛剛開始,未來我們可以探索更多AI和農業的融合,比如用AI來賦能優化作物模型(crop modelling),幫助識別作物生長過程中的不確定因素,從而實現提前預警和判斷;又比如探索作物科學,用深度學習來挖掘作物性狀,再通過優化生長管理極大地提升作物產量或品質,這些都是未來的方向。
■要點回顧
1、在垂直產業生態中,AI企業大可以自建網絡,根據協同性和互補性來決定網絡中的生態夥伴。隨著佈局下沉和戰線拉長,構建網絡並不會容易,AI企業需要從挑戰中找尋機遇,用更縱深的網絡推動AI與產業持續交織。
2、AI企業能幫助傳統行業「化不確定為確定」,極大地提升給定資源條件下的生產效率,加速「光合作用」。而傳統企業應當主動與AI企業共同暢想未來,重新想像AI將為行業帶來什麼價值和機遇。
3、AI企業可以在垂直領域中探索將業務與AI以及生物、材料等諸多技術進行融合,持續深耕垂直領域。
ai模型種類 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳貼文
從火星探測系統到輔助工業製程,美國工業用 AI 新創 Beyond Limits 如何在台灣做到技術在地化應用?
李佳樺 2021/08/13
從2012 年美國太空總署成功將探測車「好奇號」送上火星至今,已經過了3000多個「火星日」,肩負著火星探測的重要任務,8年來好奇號傳回許多對火星的重要觀察與發現。背後更不為人知的,則是好奇號的 AI 運算系統,其實是由美國新創 Beyond Limits 的團隊建立的,公司發展至今也將觸角伸到能源、先進製造等產業,建立 SaaS 服務,為產業提供 AI 輔助平台,2020 年更獲得 1.3 億美元的投資,拓點到台灣、日本、新加坡、香港等地。
Beyond Limits 將 AI 應用到產業製程的契機,源自於當時跨國石油集團 BP 在墨西哥灣發生的漏油事件,企業希望導入 AI 優化決策過程,合作中也發現了石化能源產業的痛點,研發出石油配方建議系統、石油製程操作檢引系統等 SaaS 產品,不僅受到美國石油公司歡迎,日本市場也買單。
有了日本的先例,這套美國研發出的產品,照理說要拓展到亞洲市場應該不成問題,不料到了台灣卻窒礙難行,甚至需要重新開發不同的產品。
Beyond Limits 的台灣團隊究竟面臨了什麼挑戰?
台灣市場與美國差異大,Beyond Limits 台灣團隊必須如創業般從頭研發產品
台灣分公司總經理張中宜說明,台灣產業的先天特性,讓美國母公司已開發的產品都面臨市場可行性低落的問題,以石油產業的產品舉例,在台灣只有中油、台塑兩個客戶,且台灣的石油公司並不做研發工作,多半直接向國外公司購買配方,因此團隊必須在美國 SaaS 模式 的技術基礎下,研發出符合台灣市場、針對不同產業需求的商品。
「Beyond Limits 在台灣設立公司時的處境,跟重新創業差不多。」張中宜表示,AI 應用產品的開發不僅需要能夠從零開始寫演算法的工程師,也要有懂產業製程的專家團隊,龐大的研發費用與對產業專家的需求,讓每一次產品開發都像募資活動,團隊必須透過產業訪談做足市場研究找到痛點,說服製造公司與他們合作開發能解決產業問題的軟體。
然而開發全新市場對張中宜來說並不陌生。
她曾經在孟加拉創立幫助偏遠地區孩童課輔的非營利組織 e-Education ,第一年就讓偏鄉學子考上孟國最高學府卡達大學,更順勢搭上鼓勵企業與 NPO 合作的開放式創新風潮,讓卡西歐、 AI 新創、安永都找她擔任顧問,執行戰略布局或開發新通路的工作,面對 Beyond Limits 在台灣的難題,團隊選擇了電動車電池研發、面板機器手臂維修與人流異常預警系統等三個產業切入。
延伸既有美國產品技術,尋找合適的台灣在地產業切入開發產品
選擇電動車電池產業與 Beyond Limits 在美國石油產業的經驗有關,研發電池的過程與石油廠研發機油的邏輯相似,痛點都在於漫長的研發過程,就像做菜時要多次嘗試才會知道多少的鹽與油才是最佳的調配一樣,電池配方更要經歷至少半年的實驗,且實驗設計也要在無數次團隊與客戶的交鋒後才能成型,溝通成本相當高昂。
使用 Beyond Limits 導入認知 AI 架構的電池配方建議系統,研發人員只要以自然語言輸入期望的電池規格、價格與電車轉速,系統即可在 43 分鐘內提供數百種配方與實驗方式供選擇,縮短約 2 千倍的研發時間。
Beyond Limits 也在 7 月 29 日宣布與日本的三井物產公司進行策略結盟,以其認知 AI 的核心技術,協助三井投資的液化天然氣廠進行巨量資料分析,並整合作業人員專業知識與數位化作業模式,制定出精簡有效率的解決方案。日本三井整合數位策略部部長常務董事真野雄司氏說,透過與 Beyond Limits 的合作可以改善與再造營運流程,更有效率執行現有事業群的高附加價值項目。
另外,Beyond Limits基於公司在美國既有的輔助風電機維修平台,投入面板機器手臂維修建議系統的開發,「雖然也想在台灣用同一套產品幫助風電產業,也與風電廠陸續接洽,但台灣的風電仍在建設階段,缺乏營運經驗,目前的維修需求也不高。」張中宜談到,市場開發的大方向是要在台灣尋找具備預測維修需求,且市場密集、成熟的產業,公司在與投資人仁寶電腦的合作中,發現光電面板產線中機器手臂的維修概念與風機維修類似,而且痛點也類似:包含高昂的維修成本、未經標準化的維修流程,以及依賴經驗的維修決策。
目前輔助維修系統正與日本機器手臂原廠合作開發,由廠商提供維修資料與產業專家, Beyond Limits 透過 AI 分析維修數據,建立資料背後的邏輯推演,系統最終能判斷機器損壞的原因,並建議耗材種類與維修方式。從管理者的角度能降低維修、備料倉儲成本,對維修人員來說也有可依循的維修建議,長遠更能累積產業知識 ( domain know-how ) ,促進升級。
以邊緣運算技術,與北捷合作開發人流異常預警系統
而將技術從太空拉回到地面,Beyond Limits 也能在大眾運輸犯罪預警上有所發揮。他們與北捷合作,使用等同於在火星探測時、消弭與地球時差的邊緣運算技術,原理是透過分散式的運算提升效率,達成在監控系統的邊緣節點就進行異常人流的辨別,降低反應時間落差。
張中宜舉例,正常的人流像是乘客擠進車廂內的固定位置,開始滑手機,異常的人流可能是人群往四面八方散去,產生快速移動的樣態,異常訊息可以在 10 秒內將送到中控室,大幅縮減以往需要 4 分鐘以上的訊號傳輸時間,也能避免踩到人臉辨識的紅線,未來希望擴張應用到大樓監控,或是銷往他國的大眾運輸系統。
源自NASA,認知型AI成為技術優勢與門檻
與其他單純使用機器學習技術分類數據並預測結果的數值 AI 系統不同,Beyond Limits 的 AI 服務融合了數值 AI 與符號 AI ,前者的數值 AI 是透過大量數據讓模型認知「此為何物」,而符號 AI 則是藉由邏輯定義數值 AI 判斷的結果是好還是壞,並加以做出決策與判斷,以電池配方為例,將實驗室過去的實驗數據導入數值 AI 系統後,會得出樹種配方組合,再藉由符號 AI 判斷個配方辦法的優劣,並給予客戶回饋與建議。藉由結合數值 AI 與符號 AI 兩大系統的結合,讓人工智慧的每項建議都能以人類可理解的思路解釋,輔助人類做最後決策,也使人機協作的製程模式成為可能。
對於這項技術,張中宜表示這其實是源自於 NASA 將探測器「好奇號」送上火星後,由於火星與地球之間的數值傳遞有時間差,人類基本上不可能遙控好奇號,而且火星上的數據在這之前是 0,所以數值 AI 也無法運作,為了能夠讓好奇號自行在火星上探測與行動,勢必須要模擬人類大腦的認知型 AI 系統,當時才會開發出符號 AI。
根據研究報告,2025 年工業用 AI 規模將達 160 億美元,其應用開發仍具高度可能性,Beyond Limits 在台灣也希望更全面地研發產品打進該市場。除了正在培養市場的風電產業外,未來也希望協助優化晶圓半導體產業的製程,團隊更積極與社會、產業溝通,讓社會了解 AI 進入產業能讓人類更有餘力進行創意發想與決策,也讓產業正視轉型需求,近期將與台灣新創基地合作舉辦 AI 科普講座,持續促進製造業的人機共榮合作。
創業快問快答
Q:服務的創意來源,是因為發生甚麼事情而有這樣的想法?
A:台灣數位轉型瓶頸
Q:創業至今,做得最好的三件事為何?
A:用國際薪資招聘頂尖人才、台灣市場國際定位清楚、客戶分潤共創模式的商業模式
Q:要達到下一步目標,團隊目前缺乏的資源是?
A:能見度
附圖:BeyondLimits 台灣總經理 張中宜
Beyond Limits 以數值AI及符號AI兩大關鍵技術,達到人機互補智能
圖片來源 : Beyond Limits
擠捷運
圖片來源 : diGital Sennin on Unsplash
圖說:BeyondLimits Hybrid AI導入流程說明
BeyondLimits Hybrid AI導入流程說明
圖片來源 : BeyondLimits
資料來源:https://meet.bnext.com.tw/articles/view/47993?fbclid=IwAR2HbB5FrPIBoV9kDL27OnhNF-JDNzfYdsoLoVKn85yAA7GUjzDzI3y5Lw0
ai模型種類 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳貼文
摩爾定律放緩 靠啥提升AI晶片運算力?
作者 : 黃燁鋒,EE Times China
2021-07-26
對於電子科技革命的即將終結的說法,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有的,但這波革命始終也沒有結束。AI技術本質上仍然是第三次科技革命的延續……
人工智慧(AI)的技術發展,被很多人形容為第四次科技革命。前三次科技革命,分別是蒸汽、電氣、資訊技術(電子科技)革命。彷彿這“第四次”有很多種說辭,比如有人說第四次科技革命是生物技術革命,還有人說是量子技術革命。但既然AI也是第四次科技革命之一的候選技術,而且作為資訊技術的組成部分,卻又獨立於資訊技術,即表示它有獨到之處。
電子科技革命的即將終結,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有,但這波革命始終也沒有結束。
AI技術本質上仍然是第三次科技革命的延續,它的發展也依託於幾十年來半導體科技的進步。這些年出現了不少專門的AI晶片——而且市場參與者相眾多。當某一個類別的技術發展到出現一種專門的處理器為之服務的程度,那麼這個領域自然就不可小覷,就像當年GPU出現專門為圖形運算服務一樣。
所以AI晶片被形容為CPU、GPU之後的第三大類電腦處理器。AI專用處理器的出現,很大程度上也是因為摩爾定律的發展進入緩慢期:電晶體的尺寸縮減速度,已經無法滿足需求,所以就必須有某種專用架構(DSA)出現,以快速提升晶片效率,也才有了專門的AI晶片。
另一方面,摩爾定律的延緩也成為AI晶片發展的桎梏。在摩爾定律和登納德縮放比例定律(Dennard Scaling)發展的前期,電晶體製程進步為晶片帶來了相當大的助益,那是「happy scaling down」的時代——CPU、GPU都是這個時代受益,不過Dennard Scaling早在45nm時期就失效了。
AI晶片作為第三大類處理器,在這波發展中沒有趕上happy scaling down的好時機。與此同時,AI應用對運算力的需求越來越貪婪。今年WAIC晶片論壇圓桌討論環節,燧原科技創始人暨CEO趙立東說:「現在訓練的GPT-3模型有1750億參數,接近人腦神經元數量,我以為這是最大的模型了,要千張Nvidia的GPU卡才能做。談到AI運算力需求、模型大小的問題,說最大模型超過萬億參數,又是10倍。」
英特爾(Intel)研究院副總裁、中國研究院院長宋繼強說:「前兩年用GPU訓練一個大規模的深度學習模型,其碳排放量相當於5台美式車整個生命週期產生的碳排量。」這也說明了AI運算力需求的貪婪,以及提供運算力的AI晶片不夠高效。
不過作為產業的底層驅動力,半導體製造技術仍源源不斷地為AI發展提供推力。本文將討論WAIC晶片論壇上聽到,針對這個問題的一些前瞻性解決方案——有些已經實現,有些則可能有待時代驗證。
XPU、摩爾定律和異質整合
「電腦產業中的貝爾定律,是說能效每提高1,000倍,就會衍生出一種新的運算形態。」中科院院士劉明在論壇上說,「若每瓦功耗只能支撐1KOPS的運算,當時的這種運算形態是超算;到了智慧型手機時代,能效就提高到每瓦1TOPS;未來的智慧終端我們要達到每瓦1POPS。 這對IC提出了非常高的要求,如果依然沿著CMOS這條路去走,當然可以,但會比較艱辛。」
針對性能和效率提升,除了尺寸微縮,半導體產業比較常見的思路是電晶體結構、晶片結構、材料等方面的最佳化,以及處理架構的革新。
(1)AI晶片本身其實就是對處理器架構的革新,從運算架構的層面來看,針對不同的應用方向造不同架構的處理器是常規,更專用的處理器能促成效率和性能的成倍增長,而不需要依賴於電晶體尺寸的微縮。比如GPU、神經網路處理器(NPU,即AI處理器),乃至更專用的ASIC出現,都是這類思路。
CPU、GPU、NPU、FPGA等不同類型的晶片各司其職,Intel這兩年一直在推行所謂的「XPU」策略就是用不同類型的處理器去做不同的事情,「整合起來各取所需,用組合拳會好過用一種武器去解決所有問題。」宋繼強說。Intel的晶片產品就涵蓋了幾個大類,Core CPU、Xe GPU,以及透過收購獲得的AI晶片Habana等。
另外針對不同類型的晶片,可能還有更具體的最佳化方案。如當代CPU普遍加入AVX512指令,本質上是特別針對深度學習做加強。「專用」的不一定是處理器,也可以是處理器內的某些特定單元,甚至固定功能單元,就好像GPU中加入專用的光線追蹤單元一樣,這是當代處理器普遍都在做的一件事。
(2)從電晶體、晶片結構層面來看,電晶體的尺寸現在仍然在縮減過程中,只不過縮減幅度相比過去變小了——而且為緩解電晶體性能的下降,需要有各種不同的技術來輔助尺寸變小。比如說在22nm節點之後,電晶體變為FinFET結構,在3nm之後,電晶體即將演變為Gate All Around FET結構。最終會演化為互補FET (CFET),其本質都是電晶體本身充分利用Z軸,來實現微縮性能的提升。
劉明認為,「除了基礎元件的變革,IC現在的發展還是比較多元化,包括新材料的引進、元件結構革新,也包括微影技術。長期賴以微縮的基本手段,現在也在發生巨大的變化,特別是未來3D的異質整合。這些多元技術的協同發展,都為晶片整體性能提升帶來了很好的增益。」
他並指出,「從電晶體級、到晶圓級,再到晶片堆疊、引線接合(lead bonding),精準度從毫米向奈米演進,互連密度大大提升。」從晶圓/裸晶的層面來看,則是眾所周知的朝more than moore’s law這樣的路線發展,比如把兩片裸晶疊起來。現在很熱門的chiplet技術就是比較典型的並不依賴於傳統電晶體尺寸微縮,來彈性擴展性能的方案。
台積電和Intel這兩年都在大推將不同類型的裸晶,異質整合的技術。2.5D封裝方案典型如台積電的CoWoS,Intel的EMIB,而在3D堆疊上,Intel的Core LakeField晶片就是用3D Foveros方案,將不同的裸晶疊在一起,甚至可以實現兩片運算裸晶的堆疊、互連。
之前的文章也提到過AMD剛發佈的3D V-Cache,將CPU的L3 cache裸晶疊在運算裸晶上方,將處理器的L3 cache大小增大至192MB,對儲存敏感延遲應用的性能提升。相比Intel,台積電這項技術的獨特之處在於裸晶間是以混合接合(hybrid bonding)的方式互連,而不是micro-bump,做到更小的打線間距,以及晶片之間數十倍通訊性能和效率提升。
這些方案也不直接依賴傳統的電晶體微縮方案。這裡實際上還有一個方面,即新材料的導入專家們沒有在論壇上多說,本文也略過不談。
1,000倍的性能提升
劉明談到,當電晶體微縮的空間沒有那麼大的時候,產業界傾向於採用新的策略來評價技術——「PPACt」——即Powe r(功耗)、Performance (性能)、Cost/Area-Time (成本/面積-時間)。t指的具體是time-to-market,理論上應該也屬於成本的一部分。
電晶體微縮方案失效以後,「多元化的技術變革,依然會讓IC性能得到進一步的提升。」劉明說,「根據預測,這些技術即使不再做尺寸微縮,也會讓IC的晶片性能做到500~1,000倍的提升,到2035年實現Zetta Flops的系統性能水準。且超算的發展還可以一如既往地前進;單裸晶儲存容量變得越來越大,IC依然會為產業發展提供基礎。」
500~1,000倍的預測來自DARPA,感覺有些過於樂觀。因為其中的不少技術存在比較大的邊際遞減效應,而且有更實際的工程問題待解決,比如運算裸晶疊層的散熱問題——即便業界對於這類工程問題的探討也始終在持續。
不過1,000倍的性能提升,的確說明摩爾定律的終結並不能代表第三次科技革命的終結,而且還有相當大的發展空間。尤其本文談的主要是AI晶片,而不是更具通用性的CPU。
矽光、記憶體內運算和神經型態運算
在非傳統發展路線上(以上內容都屬於半導體製造的常規思路),WAIC晶片論壇上宋繼強和劉明都提到了一些頗具代表性的技術方向(雖然這可能與他們自己的業務方向或研究方向有很大的關係)。這些技術可能尚未大規模推廣,或者仍在商業化的極早期。
(1)近記憶體運算和記憶體內運算:處理器性能和效率如今面臨的瓶頸,很大程度並不在單純的運算階段,而在資料傳輸和儲存方面——這也是共識。所以提升資料的傳輸和存取效率,可能是提升整體系統性能時,一個非常靠譜的思路。
這兩年市場上的處理器產品用「近記憶體運算」(near-memory computing)思路的,應該不在少數。所謂的近記憶體運算,就是讓儲存(如cache、memory)單元更靠近運算單元。CPU的多層cache結構(L1、L2、L3),以及電腦處理器cache、記憶體、硬碟這種多層儲存結構是常規。而「近記憶體運算」主要在於究竟有多「近」,cache記憶體有利於隱藏當代電腦架構中延遲和頻寬的局限性。
這兩年在近記憶體運算方面比較有代表性的,一是AMD——比如前文提到3D V-cache增大處理器的cache容量,還有其GPU不僅在裸晶內導入了Infinity Cache這種類似L3 cache的結構,也更早應用了HBM2記憶體方案。這些實踐都表明,儲存方面的革新的確能帶來性能的提升。
另外一個例子則是Graphcore的IPU處理器:IPU的特點之一是在裸晶內堆了相當多的cache資源,cache容量遠大於一般的GPU和AI晶片——也就避免了頻繁的訪問外部儲存資源的操作,極大提升頻寬、降低延遲和功耗。
近記憶體運算的本質仍然是馮紐曼架構(Von Neumann architecture)的延續。「在做處理的過程中,多層級的儲存結構,資料的搬運不僅僅在處理和儲存之間,還在不同的儲存層級之間。這樣頻繁的資料搬運帶來了頻寬延遲、功耗的問題。也就有了我們經常說的運算體系內的儲存牆的問題。」劉明說。
構建非馮(non-von Neumann)架構,把傳統的、以運算為中心的馮氏架構,變換一種新的運算範式。把部分運算力下推到儲存。這便是記憶體內運算(in-memory computing)的概念。
記憶體內運算的就現在看來還是比較新,也有稱其為「存算一體」。通常理解為在記憶體中嵌入演算法,儲存單元本身就有運算能力,理論上消除資料存取的延遲和功耗。記憶體內運算這個概念似乎這在資料爆炸時代格外醒目,畢竟可極大減少海量資料的移動操作。
其實記憶體內運算的概念都還沒有非常明確的定義。現階段它可能的內涵至少涉及到在儲記憶體內部,部分執行資料處理工作;主要應用於神經網路(因為非常契合神經網路的工作方式),以及這類晶片具體的工作方法上,可能更傾向於神經型態運算(neuromorphic computing)。
對於AI晶片而言,記憶體內運算的確是很好的思路。一般的GPU和AI晶片執行AI負載時,有比較頻繁的資料存取操作,這對性能和功耗都有影響。不過記憶體內運算的具體實施方案,在市場上也是五花八門,早期比較具有代表性的Mythic導入了一種矩陣乘的儲存架構,用40nm嵌入式NOR,在儲記憶體內部執行運算,不過替換掉了數位週邊電路,改用類比的方式。在陣列內部進行模擬運算。這家公司之前得到過美國國防部的資金支援。
劉明列舉了近記憶體運算和記憶體內運算兩種方案的例子。其中,近記憶體運算的這個方案應該和AMD的3D V-cache比較類似,把儲存裸晶和運算裸晶疊起來。
劉明指出,「這是我們最近的一個工作,採用hybrid bonding的技術,與矽通孔(TSV)做比較,hybrid bonding功耗是0.8pJ/bit,而TSV是4pJ/bit。延遲方面,hybrid bonding只有0.5ns,而TSV方案是3ns。」台積電在3D堆疊方面的領先優勢其實也體現在hybrid bonding混合鍵合上,前文也提到了它具備更高的互連密度和效率。
另外這套方案還將DRAM刷新頻率提高了一倍,從64ms提高至128ms,以降低功耗。「應對刷新率變慢出現拖尾bit,我們引入RRAM TCAM索引這些tail bits」劉明說。
記憶體內運算方面,「傳統運算是用布林邏輯,一個4位元的乘法需要用到幾百個電晶體,這個過程中需要進行資料來回的移動。記憶體內運算是利用單一元件的歐姆定律來完成一次乘法,然後利用基爾霍夫定律完成列的累加。」劉明表示,「這對於今天深度學習的矩陣乘非常有利。它是原位的運算和儲存,沒有資料搬運。」這是記憶體內運算的常規思路。
「無論是基於SRAM,還是基於新型記憶體,相比近記憶體運算都有明顯優勢,」劉明認為。下圖是記憶體內運算和近記憶體運算,精準度、能效等方面的對比,記憶體內運算架構對於低精準度運算有價值。
下圖則總結了業內主要的一些記憶體內運算研究,在精確度和能效方面的對應關係。劉明表示,「需要高精確度、高運算力的情況下,近記憶體運算目前還是有優勢。不過記憶體內運算是更新的技術,這幾年的進步也非常快。」
去年阿里達摩院發佈2020年十大科技趨勢中,有一個就是存算一體突破AI算力瓶頸。不過記憶體內運算面臨的商用挑戰也一點都不小。記憶體內運算的通常思路都是類比電路的運算方式,這對記憶體、運算單元設計都需要做工程上的考量。與此同時這樣的晶片究竟由誰來造也是個問題:是記憶體廠商,還是數文書處理器廠商?(三星推過記憶體內運算晶片,三星、Intel垂直整合型企業似乎很適合做記憶體內運算…)
(2)神經型態運算:神經型態運算和記憶體內運算一樣,也是新興技術的熱門話題,這項技術有時也叫作compute in memory,可以認為它是記憶體內運算的某種發展方向。神經型態和一般神經網路AI晶片的差異是,這種結構更偏「類人腦」。
進行神經型態研究的企業現在也逐漸變得多起來,劉明也提到了AI晶片「最終的理想是在結構層次模仿腦,元件層次逼近腦,功能層次超越人腦」的「類腦運算」。Intel是比較早關注神經型態運算研究的企業之一。
傳說中的Intel Loihi就是比較典型存算一體的架構,「這片裸晶裡面包含128個小核心,每個核心用於模擬1,024個神經元的運算結構。」宋繼強說,「這樣一塊晶片大概可以類比13萬個神經元。我們做到的是把768個晶片再連起來,構成接近1億神經元的系統,讓學術界的夥伴去試用。」
「它和深度學習加速器相比,沒有任何浮點運算——就像人腦裡面沒有乘加器。所以其學習和訓練方法是採用一種名為spike neutral network的路線,功耗很低,也可以訓練出做視覺辨識、語言辨識和其他種類的模型。」宋繼強認為,不採用同步時脈,「刺激的時候就是一個非同步電動勢,只有工作部分耗電,功耗是現在深度學習加速晶片的千分之一。」
「而且未來我們可以對不同區域做劃分,比如這兒是視覺區、那兒是語言區、那兒是觸覺區,同時進行多模態訓練,互相之間產生關聯。這是現在的深度學習模型無法比擬的。」宋繼強說。這種神經型態運算晶片,似乎也是Intel在XPU方向上探索不同架構運算的方向之一。
(2)微型化矽光:這個技術方向可能在層級上更偏高了一些,不再晶片架構層級,不過仍然值得一提。去年Intel在Labs Day上特別談到了自己在矽光(Silicon Photonics)的一些技術進展。其實矽光技術在連接資料中心的交換機方面,已有應用了,發出資料時,連接埠處會有個收發器把電訊號轉為光訊號,透過光纖來傳輸資料,另一端光訊號再轉為電訊號。不過傳統的光收發器成本都比較高,內部元件數量大,尺寸也就比較大。
Intel在整合化的矽光(IIIV族monolithic的光學整合化方案)方面應該是商業化走在比較前列的,就是把光和電子相關的組成部分高度整合到晶片上,用IC製造技術。未來的光通訊不只是資料中心機架到機架之間,也可以下沉到板級——就跟現在傳統的電I/O一樣。電互連的主要問題是功耗太大,也就是所謂的I/O功耗牆,這是這類微型化矽光元件存在的重要價值。
這其中存在的技術挑戰還是比較多,如做資料的光訊號調變的調變器調變器,據說Intel的技術使其實現了1,000倍的縮小;還有在接收端需要有個探測器(detector)轉換光訊號,用所謂的全矽微環(micro-ring)結構,實現矽對光的檢測能力;波分複用技術實現頻寬倍增,以及把矽光和CMOS晶片做整合等。
Intel認為,把矽光模組與運算資源整合,就能打破必須帶更多I/O接腳做更大尺寸處理器的這種趨勢。矽光能夠實現的是更低的功耗、更大的頻寬、更小的接腳數量和尺寸。在跨處理器、跨伺服器節點之間的資料互動上,這類技術還是頗具前景,Intel此前說目標是實現每根光纖1Tbps的速率,並且能效在1pJ/bit,最遠距離1km,這在非本地傳輸上是很理想的數字。
還有軟體…
除了AI晶片本身,從整個生態的角度,包括AI感知到運算的整個鏈條上的其他組成部分,都有促成性能和效率提升的餘地。比如這兩年Nvidia從軟體層面,針對AI運算的中間層、庫做了大量最佳化。相同的底層硬體,透過軟體最佳化就能實現幾倍的性能提升。
宋繼強說,「我們發現軟體最佳化與否,在同一個硬體上可以達到百倍的性能差距。」這其中的餘量還是比較大。
在AI開發生態上,雖然Nvidia是最具發言權的;但從戰略角度來看,像Intel這種研發CPU、GPU、FPGA、ASIC,甚至還有神經型態運算處理器的企業而言,不同處理器統一開發生態可能更具前瞻性。Intel有個稱oneAPI的軟體平台,用一套API實現不同硬體性能埠的對接。這類策略對廠商的軟體框架構建能力是非常大的考驗——也極大程度關乎底層晶片的執行效率。
在摩爾定律放緩、電晶體尺寸微縮變慢甚至不縮小的前提下,處理器架構革新、異質整合與2.5D/3D封裝技術依然可以達成1,000倍的性能提升;而一些新的技術方向,包括近記憶體運算、記憶體內運算和微型矽光,能夠在資料訪存、傳輸方面產生新的價值;神經型態運算這種類腦運算方式,是實現AI運算的目標;軟體層面的最佳化,也能夠帶動AI性能的成倍增長。所以即便摩爾定律嚴重放緩,AI晶片的性能、效率提升在上面提到的這麼多方案加持下,終將在未來很長一段時間內持續飛越。這第三(四)次科技革命恐怕還很難停歇。
資料來源:https://www.eettaiwan.com/20210726nt61-ai-computing/?fbclid=IwAR3BaorLm9rL2s1ff6cNkL6Z7dK8Q96XulQPzuMQ_Yky9H_EmLsBpjBOsWg
ai模型種類 在 訓練AI模型,要多少數據?拆解企業人工智慧專案為何難落地... 的推薦與評價
這時候,工程師就會針對這個命題,餵給AI模型不同病毒種類的數據,讓它學會判斷不同病毒的重要性,分辨出哪些病毒比較嚴重不能有判斷錯誤,而哪些病毒比較無害,不一定 ... ... <看更多>