好書推薦《#造局者》部落格文末抽獎贈書 2 本
這是我今年讀過最喜歡的書之一,作者探討在這個 AI 崛起和時局飄渺動盪的年代,人類已經無法跟演算法和電腦的計算速度競爭。但是,身為人類的我們仍然擁有一項電腦無法取代的優勢:「懂得建立、想像、創造各種思考框架的能力」,掌握這項能力的人在未來會愈來愈有優勢。
部落格文章 https://readingoutpost.com/framers/
Podcast 用聽的 https://readingoutpost.soci.vip/
.
【這本書在說什麼?】
《造局者》這本書的作者是三位學者共筆,他們都是在 AI 和 大數據領域有卓越的成就,分別是《經濟學人》雜誌資深編輯庫基耶(Kenneth Cukier)、英國牛津大學網路研究所教授麥爾.荀伯格(Viktor Mayer-Schönberger)、歐洲管理科技學院教授,決策、模型暨數據中心主任德菲爾利科德(Francis de Véricourt)。
他們發現在 AI 崛起和世局動盪的現在,人類最無可取代的能力之一就是「決策能力」,而要擁有好的決策能力就必須掌握許多不同的「思考框架」。因為當一個人能提出正確的思考框架,就能找出更多的選項,做出更好的決策,創造更好的局勢。深諳此道的人就被稱之為「造局者」。
這本書從人類如何做出好的決策出發,談到建立思考框架的重要性,也提供我們三種最重要的建立思考框架的方式。在書本中段,則說明了遇到瓶頸的時候,如何重啟另一個思考框架。在後半段則說明了我們該如何學習更多的思考框架,以及讓自己擁抱更加多元性的策略,並且培養敏銳的心智。
如同這本書的介紹影片裡談到的:生活中一切都需要抉擇,而做出更好抉擇的秘訣,就在於思考框架。駕馭這種思考方式可以讓你更瞭解世界、改善工作表現和人際關係、促進社會進步。這也是人類之所以能夠勝過機器和 AI 的因素。成為「造局者」正是未來人才必不可缺的關鍵技能。
.
【什麼是造局者?】
以標準的定義來說,「造局者」(Framer)指的就是起草美國憲法的那一群人,他們建立了聯邦政府的框架。因為美國憲法就像是一個思考框架,用來定義和界定聯邦政府的職權及程序。而在這本書中,造局者指的就是那些「懂得建立和運用思考框架的能手」。
這本書要講的重點之一,就是無論人們的地位高低,每個人都可以成為造局者:「能夠發揮和建立思考框架,或是重啟思考框架的能力,讓自己的生活乃至於整個世界有所不同。」作者也不斷強調建立思考框架所需要的技巧,可以靠著訓練與經驗不斷進步。這本書就像是一本操作指南。
.
【什麼是思考框架?】
在1970年代,「心智模型」(Mental Model)的概念開始流行,人類的推理並非以邏輯形式在運作,反而更像是在模擬現實:人們評估各種選項的方式,是去想像可能發生的種種情況。我們對於世界萬物的思考方式,會受到你「相信」這個世界如何運作而影響。因此,面對同樣一件事情,用不同心智模型在思考的人會有不同的觀點。
而在這本書中所謂的「思考框架」(Frame)就是我們選擇和應用的心智模型,這會決定我們如何理解世界、決定我們如何行動。面對一個新的情境,我們也可以用思考框架去歸納和歸類,並且想出一個抽象的概念,在應用到這個全新的情境裡面。
舉例來說,當我們要畫地圖的時候,經常會採取「笛卡爾直角坐標」的思考框架,這上面有X軸和Y軸的維度可以幫我們用2D的觀念畫出相對的距離和位置。可是當你要在台北市搭捷運從A地到B地的時候,反而採用「捷運地圖」的思考框架比較有效,雖然捷運地圖的站點之間,距離和位置都不是真實的呈現,可是卻能幫助乘客直覺地理解:下一站要去哪裡。這時的重點就不是距離和位置,而是清楚地辨認出目的地的站點該搭乘哪一條線。
所以當我們問:「哪一種地圖最好?」這個問題本身並沒有意義,而是會因為使用的情境和目的的不同,而產生不同的答案。所以,也沒有什麼叫做最正確的思考框架,都是要看情況和目的而定。讓自己成為建立思考框架的能手——也就是造局者,就能懂得如何選擇並且應用思考框架,這會是各種決定與行動的基礎。
.
【思考框架的轉變】
在聊主動建立思考框架之前,讓我們先看一個被動轉換思考框架的真實故事,這是書中提到一段關於朗讀到默讀的閱讀框架轉變。在西元11世紀之前,歐洲大部分都是在教堂才會有閱讀的行為,而且都是以「集體朗誦」的方式在進行,主要的目的是讓大家參與一個讚頌神的集體活動。但是到了11世紀之後,開始出現另外一種閱讀的框架,也就是「默讀」。
默讀讓閱讀這件事情不再是集體的體驗,而是一種個人的經歷。每個讀者都可以控制自己要讀快一點或慢一點,你也可以重複閱讀某一些篇章,自己可以慢慢思考書裡面的內容,產生新的點子,促進獨立思考。到底,是什麼東西造成了人們從朗讀的閱讀框架,轉移到默讀的閱讀框架呢?
在早期的書籍和文章裡面,常常沒有標點符號,字跟字之間也沒有空格,就像是一連串的字母之間不斷地延續。這種情況下光是要閱讀就非常困難了,想要默讀更是不可能的任務。這個時候集體朗讀就有它的功能,因為在一群人裡面,總會有人過去曾經讀過這篇本文,還記得某些字跟段落該怎麼念,就可以帶領大家一起朗讀下去。
在後來才出現了一項創新,書籍的字裡行間,開始有了「空格」和簡單的「標點符號」,這個時候就不再需要有人帶領,許多讀者可以自己進行斷句,獨自閱讀一本書了。於是,在這個時候人們就可以切換到另外一種閱讀框架。這件事情的影響非常的深遠,因為這一整個新世代的讀者都可以自行默讀,有助於人們自己的獨立思考,進而激發出更多元的思考框架。
.
【建立思考框架的三個方式】
建立思考框架的方式有三個:想清楚因果關係,想像出平行現實,運用物理學定律制定適合的限制條件。這三個特色正是應用思考框架的時候最重要的因素。值得注意的是,思考框架本身並不是解決方案,而且是尋找解決方案的工具。以下分別介紹這三個方式:
.
1.#因果關係
人類運用因果思維來看待這個世界,可以更容易理解世界,也有助於預測未來可能發生的事情,可以說人類是天生「因果推理」的機器。相較起來,AI 科技就無法擁有自己的因果思維,而是需要人類幫忙設定。舉經典的 Dota 電腦遊戲來說,這是一個兩隊人馬 5 vs. 5 互相廝殺,力求破壞對方大本營的遊戲。
科學家找來遊戲高手擔任 AI 策略的開發人員,設計了一些獎勵因素,讓 AI 跟自己進行的數百萬次的對戰,反覆嘗試錯誤,找出最好的操作手法。但是當 AI 跟人類正式交鋒的時候,人類還是取得了上風,尤其在團隊合作上面 AI 顯得像一團散沙。
後來,開發人員發現說,一般玩家會分成三個階段來安排戰鬥,所以開發人員就依照這樣的順序安排程式,在不同的階段給予不同的策略,調整獎勵的優先次序。然後開發人員就發現說一開始機器人通常只會照顧自己,所以還得幫他們建立「團隊合作」精神的框架。他們建立起了一些跨越個人遊戲角色的「超參數」,調整成一隻要達成共同獎勵的團隊。經過這一些修改之後,AI 反過來把人類打得落花流水。
值得注意的是,電腦不是自己學會這些事情的,而是因為人類先輸入了一些「因果框架」的獎勵因素,才可以讓這些運算發揮它的功效。同樣的現象發生在其他像是圍棋和西洋棋遊戲的對決,真正的突破並不在於機器高速的數字運算,而在於人類調整了 AI 對於因果關係(獎勵)的思考框架。
.
2.#平行現實
書中的說法是「反事實思考」,但我認為有點難懂,用「想像出另一個平行現實」比較好理解。這個方法可以讓我們跳脫當下對世界的認知,想像出一個全新的情境,問自己:「如果……會怎樣?」就像是小孩子在玩扮家家酒,或者是科學家透過抽象理論設計出全新的實驗。透過想像出一個平行現實,我們可以將因果關係轉換成實際行動,測試看看可能有什麼影響,帶來什麼後果。
心理學家高普尼克(Gopnik)認為這種能力其實在人類孩童時期就已經具備了,他還把嬰兒稱為「搖籃裡的科學家」,她設計過一個很有趣的實驗名叫「贊多測試」的假裝遊戲(贊多指的是顏色鮮豔、形狀可愛的物體)。
實驗的第一階段,高普尼克和孩童待在同一個房間,孩童會學到一個因果關係:把贊多放到一個機器上面,機器就會播放生日快樂歌,幫一隻猴子玩偶慶生。然後,在實驗的第二階段,會有實驗人員走進來把機器和贊多拿走,高普尼克和孩童一起露出失望的表情。
這時候高普尼克會拿出一個「盒子」、兩個不同顏色的「積木」,並對孩童說:「我們假裝這個盒子是機器,這塊積木是贊多,另一塊積木不是贊多。」接著她鼓勵孩童繼續幫猴子玩偶慶生。此時,孩童挑選了正確的積木,放到盒子上。即使她把兩塊積木的定義互相對調,孩童都能夠選到正確的積木。
這個假裝遊戲的實驗,證實了人類自幼就擁有了反事實思考的能力,也就是有能力可以想像出另一個平行現實。高普尼克發現,更會玩假裝遊戲的孩子,就能對平行現實做出更好的推論。她說:「嬰兒和幼兒就像人類社會的研發部門,至於成人這是那些單調無聊的製造與行銷部門。」許多人在成年之後,反而容易落入單一現實的思考方式,而忘記了我們天生就有想像平行現實的能力。
.
3.#限制條件
作者提到,所謂的建立思考框架,並不是任由想像力無邊無際地飛翔,也不是像斷了線的氣球到處亂飄,而是要有一定程度的「條件限制」,有助於約束我們的想像力,讓平行現實的想像維持在可以執行的程度,這才能讓思考光架真正發揮效用。
書中舉了一個很像電影裡才會發生的真實故事「恩德培行動」,這是一個以色列精銳部隊在恩德培機場的行動中,從恐怖分子手裡救出人質的戰鬥情節。1976年,恐怖分子綁架了飛機上106名人質,關押在烏干達的恩德培機場航廈中。當時烏干達獨裁者跟以色列當局並不友好,出動軍隊肯定不是好的選項。另一個方案是讓突擊隊員假裝成獲釋的巴基斯坦犯人,但太容易被看穿了。還有人提議讓突擊隊員降落在機場旁的湖裡,但是湖裡有許多鱷魚,而且任務結束之後這麼多人該怎麼全身而退?
評估了各種可能選項後,在種種條件限制之下,以色列想出了一個奇招:讓突擊隊搭乘運輸機在夜間降落到機場,搭乘機場內常見的車輛前往航廈,消滅恐怖份子、救出人質之後搭乘運輸機直接回國。他們在空軍基地搭建了航廈的等比例模型,透過少數獲釋的人質口中知道人質的大約位置,並且一次又一次地排練所有行動,講究到每一秒、每一步該怎麼進行。
在一個沒有烏雲的午夜,29位突擊隊員搭乘運輸機降落機場,他們身穿烏干達軍隊的服裝開著機場車輛前往航廈。突擊隊以迅雷不及掩耳的速度突擊航廈,只花了十分鐘就解決所有的恐怖分子,然後就帶著人質直接搭乘運輸機返回以色列。整場行動中只有三位人質喪生,而且連烏干達政府都還來不及反應。這個故事從天馬行空的平行現實裡,限縮了各種條件,找出了最可行的方案,最後成功執行了這次任務。
.
【重啟另一種思考框架】
當你想要解決一個全新問題的時候,尤其是還沒有人曾經解決過的問題,你可能會感到不知所措。這個時候,先透過兩個步驟來思考:(1) 先從自己腦袋裡的框架庫找找看,有沒有其他適用和類似的框架、(2) 檢查其他不同領域的框架庫,看看有沒有能夠直接借用,小幅度調整就可以使用的框架。
如果這兩個步驟都找不到適合的框架庫,那麼才嘗試最困難、也是最後的殺手鐧:「發明新的思考框架」。作者提醒道:「切換到不同的思考框架,能讓你對世界有不同的觀點,但這也有風險。」一旦你重新找到一個新的思考框架,帶來的報酬可以是相當可觀的。
書中有一個重啟框架的例子很值得我們參考,美國紐澤西南邊的小城市康登市為了改善當地的犯罪率,直接解散整個警察隊伍並且重整執勤策略。當時城市的治安非常糟糕,市容也很破舊,到處都會發生大小程度不同的犯罪。這還不是最慘的,警方栽贓、造假、暴力執法的情況更是屢見不鮮。民眾除了害怕黑道,也非常害怕警察。
當地首長找來社區領袖和居民共同商討,最後決定放棄頭痛醫頭、腳痛醫腳的貼膏藥方式,採取全新的執法策略。解散警隊之後,他們精挑細選和新聘任的警察,改變了巡邏的方式。他們逐家登門拜訪、自我介紹、談談可以幫忙居民什麼。警察在街頭舉辦派對,和民眾聚餐,和小孩打籃球。
過去的思考框架是「警方將人民視為罪犯」,但是新的思考框架則是「警民一家親」的社區群體,警察從原本打擊犯罪的戰士,搖身一變成了社區當中親切的守護者。最後,康登市的犯罪率下少了一半,謀殺率少了六成,警方過度使用武力的案件少了九成五。重啟思考框架的方式,獲得了前所未有的成功。
.
【創造多元性的四種策略】
作者指出,很多人可能會認為,想要擁有多元性就代表要接觸大量的想法和觀點,其實那是抓錯了重點。多元性的優勢不是來自於數量,而是來自於差異。找出七百個類似的想法,不如找出七個不同的想法來得有價值。如果一個工具箱可以有七種不同的工具,絕對會比擁有七百把錘子的工具箱更加實用。
如果我們想要擁有多元的思考框架,就是要刻意的去營造,以及一起維護,這並不是一次的成功就可以高枕無憂。如同貝佐斯在《創造與漫想》書中提到的:「這個世界要你與眾無異,千方百計把你拉向跟大家一樣,別讓它得逞。」人類本能的從眾傾向,以及社會自然而然的同質化趨勢,都需要我們自己刻意地、有意識地選擇,才能夠擺脫與眾趨同的自然發展,擁抱更加多元化的觀點和想法。
如果你想為自己的生活、家庭、工作環境創造出多元性的樣貌,可以採取以下四種策略:擁抱變化,運用教育,鼓勵遷徙,容許摩擦。
.
1.#擁抱變化
如果一個思考框架一直以來都行不通,最好的做法就是擁抱改變,試試看別種思考框架。書中舉例同性戀婚姻的推動者,把美國從1995年支持同婚的人從25%提高到2020年將近70%。以前的同志運動一直把婚姻當成是核心議題,也一直把爭取這種「法律權利」當作是重點。但是進展並不顯著。
當時那種法律思考的框架,講究的是「法律權利」,但就是沒有效果。那種框架太缺乏想像力、太唯物主義,沒有說服力。到了2000年,他們研究很多民意調查還有焦點團體的意見,想弄清楚大家到底還有什麼疑慮。他們去思考說要怎麼樣用大眾的思考模式來談。最後他們選定了一個價值觀的思考框架,鎖定大部分的人結婚的原因:「愛、奉獻、家庭」。
他們把同性戀婚姻不再當成一種自由或者是權利,而是對於愛的表達與承諾。他們漸漸的讓大家知道,世界上有許許多多不同的框架,而且都同樣正當。到了2011年,第一次出現的黃金交叉,支持的人數正式超過了反對的人數。根據調查,只有14%的人會說這是一種「自由」,而有32%的人會說這是一種「愛」,是一種人類的情感。最後在2015年聯邦最高法院正式裁定的用憲法來保障同性伴侶的結婚權利。這並不是強迫民眾接受某種特定的思考框架,而是讓各種不同的思考方式能夠共存。
.
2.#運用教育
要建立起多元的思考框架,從教育著手是非常有效的模式。美國有一個很有趣的研究,就是去看美國的白人父母和黑人父母怎麼跟孩子談論種族。發自內心一片好意的白人父母,通常不會去刻意談到種族議題,因為他們相信「種族色盲」這種做法比較能夠讓孩子避免成為種族主義者。
另一方面,黑人父母卻常常和孩子討論種族議題,在他們看來,這種種族色盲的做法就是在故意忽視各種明顯的歧視現象。例如逛超市的黑人被懷疑是小偷,開著車子卻無緣無故被警察攔下來,黑人孩子的家庭教育就是要強調看到「種族的各種顏色」在日常生活的各種影響。
最後,這些社會學家發現,種族色盲的框架正好是種族歧視的主要來源,白人父母雖然出自於好意不想強調種族之間的差異,但也在無意之間,否認了有色人種遭受到歧視的真實狀況。這種教育方式忽略了差異,抹去了多元性。要培養多元的思考,就必須認識到差異的存在,承認仍然存在的落差。
.
3.#鼓勵遷徙
如果我們能夠鼓勵遷徙及流動,人們會把自己的文化和思考方式帶到別的地方,促進融合和變化。曾經有學者研究各個區域和城市的經濟成敗因素,發現了這些地區成功背後的原因有三個主要的因素:「科技、人才、寬容」。作者認為,「寬容」是其中最關鍵的一項,那些現在最開放的地方,經濟表現就最好。因為這些地方有更大的思考地圖,會讓人能夠放手冒險,這也是思考框架多元化所造成的經濟紅利。
像是美國被譽為一個民族「熔爐」,但是最近比較像一個「燉湯」,也就是讓裡面的好料都還維持各自的形狀。像是韓國人會住在洛杉磯的韓國城,華人會住在舊金山的唐人街,拉丁美洲的族群住在德州南方,古巴人住在佛羅里達州,巴西人就住在波士頓。雖然這種文化融合的速度不像我們想像中的快速,但是不同的文化激盪之下,也為美國社會注入了很多元的觀點和看法。
.
4.#容許摩擦
把社會上的摩擦,看成是這個社會的優勢、而非缺點。作者說到:「如果在社會裡面維持思考框架的多元化,確實會讓人們彼此之間感覺到不安很衝突,就是因為大家要看到彼此的不同,而且還要可以彼此互動。但畢竟,大家觀點不同、意見相對,本來就是正常生活該有的模樣。」
哈佛法律學院的昂格(Unger)教授認為,如果要讓政治進一步的去中心化,就必須要用一些反事實的模型來做思考。他說:「當社會很果斷地沿著一條路前進的時候,應該要多方下注,以避免損失,也就是要允許在特定的地點或部門,跳脫一般的解決方案,實驗看看不同的國家走向會怎樣。」
昂格鼓勵讓社會充滿摩擦,也鼓勵教育上面要用辯證式的討論方式,不要讓社會被束縛在單一的版本,而是可以嘗試其他的社會組織方式。運用和擁抱多元的思考框架,才能擁有多樣化的各種策略,再從中選取適合的方案。
.
【對思考框架保持警覺】
這本書告訴我們,幾乎沒有錯誤的思考框架,只有不適合某種情況的思考框架。而且各種框架應該要有共同存在的權利。但是作者們提醒我們要保持一個警覺,他們說:「唯一要注意的是,這種慷慨的態度要有一個前提,也就是說:『唯一』的一種錯誤的思考框架,就是拒絕其他的思考框架。」
要讓框架多元性的目的,就是為了讓各種框架可以彼此競爭、互補、對抗、共存。然而,如果有某一套思考框架的目的在於完全抹煞其他框架的存在,這就是不可被接受的。所以作者們才說:「如果你聽到有任何人或團體,說只有自己的思考框架放諸四海皆準,只有自己說的是真理的時候,千萬別相信。」
.
【後記:拓展想像的邊界】
如果說另一本我很喜歡的《超級思維》那本書是心智模型的「百科全書」,那麼《造局者》就像是心智模型的「使用指南」。書中有清楚的概念和步驟,讓我們了解為什麼要學習更多的心智模型,以及該怎麼樣活用各種心智模型,並且在必要的時刻推翻自己的假設,重新啟動一個新的心智模型。
這本書是今年我讀過的書裡面感到非常印象深刻,也讓我的思考方式深受啟發的。作者們把故事和理論的比例搭配得恰到好處,從一則又一則的故事和研究案例當中,會自然而然地理解作者們要帶給我們的觀點,也讓我感受到什麼叫做多元性,以及為何要擁抱差異。
從書中也可以發現,AI 並不會削弱心智模型的重要性,反而是增強了心智模型的重要性。因為 AI 無法自己建立思考框架,仍然只能依靠人類。人類最重要的特色就是可以處理「假設之外」的新問題,能夠把心智模型的空間拓展到可以親身體驗的範圍之外,也就是能夠做到抽象與推理。人類只靠著極少數的資料,甚至是完全沒有新的資料,就能夠適應全新的、過去從來沒有體驗過的情境。
作者最後提醒到:「這是一個救贖也是一個警訊:一個人如果擁有建立思考框架的能力,就會保有價值。但要是放棄了努力,沒有辦法做好這件事情,就會失去現在人類的特權地位。」我們能夠想像的邊界,就是我們世界的邊界。
.
Kobo 購書連結:https://bit.ly/3rRI8Kg
Kobo 電子書7折代碼:WAKIFRAMER
使用期限:8/15~8/21
.
感謝 天下文化 提供贈獎抽書
「訓練集驗證集測試集差異」的推薦目錄:
- 關於訓練集驗證集測試集差異 在 Facebook 的最佳貼文
- 關於訓練集驗證集測試集差異 在 台灣物聯網實驗室 IOT Labs Facebook 的精選貼文
- 關於訓練集驗證集測試集差異 在 青創學院 Facebook 的最讚貼文
- 關於訓練集驗證集測試集差異 在 [問題] Validation set 到底在做什麼? - 看板DataScience 的評價
- 關於訓練集驗證集測試集差異 在 訓練集、驗證集、測試集的定義與劃分 - 辛西亞的技能樹 的評價
- 關於訓練集驗證集測試集差異 在 鐵達尼號生存預測資料集練習 - GitHub 的評價
- 關於訓練集驗證集測試集差異 在 【機器學習2022】為什麼用了驗證集(validation set) 結果卻 ... 的評價
訓練集驗證集測試集差異 在 台灣物聯網實驗室 IOT Labs Facebook 的精選貼文
佈署 IoT Edge 和霧運算技術以開發智慧建築服務
2021年2月19日 星期五
《3S MARKET》這篇報導把物聯網的架構與實作,描寫的非常詳細,雖然在建築的細節上描述不多,但報導中也提及這是個實際驗證,可適用在很多的場域。不知道,有多少人真正看得懂?當然,連這篇都看不懂的人,就別說他真正了解物聯網、Edge 與 Cloud。
事實上這篇報導的描述不難了解,真正物聯網與邊緣運算的挑戰,是在實作。實作真正面臨的,是這些數據處理、融合、分析上的完整度,還有 —— 找到實作的場景!
摘要
基於 SoC 架構的嵌入式系統的進步,使許多商業設備的開發變得足夠強大,足以運行操作系統和複雜的算法。這些設備整合了一組具有連通性、運算能力和成本降低的不同感測器。在這種情況下,物聯網(IoT)的潛力不斷增加,並帶來了其他發展可能性:「事物」現在可以增加數據源附近的運算量;因此,可以在本地系統上,佈署不同的物聯網服務。
這種範例稱為「邊緣運算」,它整合了物聯網技術和雲端運算系統。邊緣運算可以減少感測器與中央數據中心之間,所需的通信頻寬。此方法需要管理感測器、執行器、嵌入式設備,和可能不連續連接到網路的其他資源(例如智慧手機)。這種趨勢對於智慧建築設計非常有吸引力,在智慧建築設計中,必須整合不同的子系統(能源、氣候控制、安全性、舒適性、使用者服務、維護和營運成本)以開發智慧設施。在這項工作中,分析和提出了一種基於邊緣運算範例的智慧服務設計方法。
這種新穎的方法,克服了現有設計中與服務的互操作性,和可伸縮性有關的一些缺點。描述了基於嵌入式設備的實驗架構。能源管理、安全系統、氣候控制和資訊服務,是實施新智慧設施的子系統。
1. 簡介
建築自動化系統使用開放式通信標準和介面,可以整合多種不同的建築控制規則,例如供暖、通風、空調、照明和百葉窗、安全功能和設備。但是,現有建築物通常不具有這些系統。
通常,每種安裝類型都提供特定的服務:供暖通風和空調(HVAC)控制氣候服務,攝影機和感測器提供安全服務等。僅當設計能源管理系統時,不同的子系統相關,但僅透過以下方式,連接建築物的能源管理系統。能源管理服務,集中在專用軟體中。
對於使用者和維護技術人員來說,提供不同服務的不同製造商,發現很難整合新的服務和功能。自動化建築將用於控制和數據採集的軟體,與工業協議和介面整合在一起。此外,將新服務整合到這種解決方案中並不容易,這取決於已安裝軟體的開發。
這些工業發展還為能源管理,提供了雲端連接解決方案和智慧服務。這些服務,也在集中式電腦系統中開發。數據被傳輸到這些系統或雲端進行分析。本文提出使用佈署在物聯網(IoT)技術中的邊緣和霧運算範例,主要有兩個目的:
A. 在自動化和非自動化建築物中,促進新的智慧和可互操作服務的整合(整合)。
B. 允許在建築物的所有子系統之間,分配智慧服務(互操作性)。
透過該建議,可以促進建築物子系統之間的關係。它還促進創建新的智慧服務(例如,新的分佈式智慧控制算法;使用電源管理捕獲的數據,來檢測人類活動;捕獲設備連接的模式辨識,運算可再生電力預測,在安全服務中使用電力數據等)。在這項工作中,我們設計了一個中間軟體的體系結構,該體系結構具有兩個主要層,這些層基於嵌入式設備、IoT 通信協議和硬體支援,來開發人工智慧算法(圖1)。
為了實現這一目標,我們在建築物的設施中添加了兩個概念等級:邊緣節點和霧節點。每個等級都有不同種類的設備和功能。我們佈署並實現了基於層的中間軟體的體系結構,以對模式進行實驗。
本文的組織結構如下:第 2 節回顧了智慧建築技術,建築物中的 IoT 佈署以及邊緣運算範例。第 3 節提出了一種在建築物(自動與否)中佈署邊緣和霧運算範例的方法。第 4 節介紹了進行的實驗。最後,第 5 節介紹了結論和未來的工作。
2. 相關工作
本節介紹與這項工作相關的主要研究領域。首先,我們在分析雲端運算層之後,回顧了基於邊緣運算範例的資源和服務供應。最後,我們研究了實現智慧建築的技術,並在最後的小節中,總結了先前研究的貢獻。
2.1. 邊緣運算資源和服務供應
最近,網路在兩端被標記為「邊緣」和「核心」,以查明處理發生的位置。邊緣端靠近數據源和使用者,核心端由雲端伺服器組成。透過這種方式,邊緣運算範例將運算推送到 IoT 網路的邊緣,以減少數據處理延遲,和發送到雲端的數據數量。基於雲端的後端,可以處理對時間不太敏感,或源設備本身不需要結果的處理請求(例如,物聯網網路狀態下的大數據分析)。
在邊緣運算資源供應方面,正在進行的 Horizon 2020 RECAP 項目,提出了一種整合的雲端 - 邊緣 - 霧端架構,目的在解決應用放置、基礎架構管理和容量供應。雲端/邊緣基礎架構監控功能豐富了應用,基礎架構和工作負載模型,這些模型又被回饋到優化系統中,該系統可以協調應用並持續配置基礎架構。
徐等人進行的研究。 提出了一種用於邊緣運算的實用感知資源分配方法,稱為 Zenith。借助 Zenith,服務提供商可以與邊緣基礎設施提供商,建立資源共享合同,從而允許延遲感知資源調配算法,以滿足其延遲需求的方式,來調度邊緣任務。
邊緣節點資源管理(簡稱 ENORM),是管理邊緣/霧節點資源的框架,可透過監控應用需求,來自動擴展邊緣節點。可以透過靜態優先等級分配,來確定特定應用的優先等級。供應和自動縮放機制,是基於線性搜索的相對簡單的實現。
當源本身是可行動的時,邊緣雲範例也是可行的。 Chen 等人研究了行動設備向邊緣節點(特別是在無線電接入網路邊緣)的智慧運算分流。在這項工作中,作者提供了任務卸載算法,將分佈式運算卸載決策表述,為多使用者運算卸載功能。在同一項工作中,Wang 等人研究了聯合協調卸載任務,到多個邊緣節點的問題,並提出在邊緣等級引入及准入控制,以及兩階段調度方法,與傳統的最近邊緣選擇方法相比,改進了卸載性能。
2.2. 雲端運算服務配置
就社會和行業採用資訊技術而言,雲端運算範例是最具創新性的策略之一。提供的優勢提高了效率,並降低了成本,同時提供了可透過 Internet,普遍存取訪問的按需 IT 資源和服務。
當前,雲端運算服務種類繁多,甚至如何提供,這是一個受到廣泛研究的主題,正在提出許多的方案。甚至有評論總結了雲端運算範例的相關研究。
本小節介紹了有關以下問題的先前工作,這些問題與本手稿的主題有關:(i)安全性; (ii)服務品質(QoS); (iii)提供邊緣服務。
(i)安全是雲端運算中一個具有挑戰性的問題。雲端服務位於應用環境之外,並且超出了防火牆的保護範圍,因此,需要附加的安全層。另外,邊緣和霧運算應用的行動性和異構性,使得難以定義單個過程。因此,需要一種分佈式安全策略。
此外,必須有一個標準化的環境,才能正確解決此問題,並指定霧運算和邊緣設備,如何相互協作。網路邊緣上的多個霧節點之間的敏感數據通信,需要資源受限的事物的輕量級解決方案。另一個與安全性相關的問題是數據位置。在雲端中運行數據分析是很常見的。因此,關於數據安全或隱私的公有雲與私有雲的爭論就出現了。
(ii)分配給雲端應用的資源,通常是根據合同規定的服務水準協議(SLA)所設置的。但是,實際上,由於偶爾執行大量事務,而導致分配的基礎結構飽和,可能會出現瓶頸。為了解決此問題,可以在資源可用時,動態擴展雲端基礎架構。當前,最具創新性的趨勢,目的在建構自動 SLA 合同合規系統。在 Faniyi 和 Bahsoon,以及 Singh 和 Chana 進行的研究中,可以找到與品質服務管理相關建議的詳盡綜述。考慮到這一點,提出了幾種策略來預測,應用的資源需求和 QoS 的要求。最近的工作試圖將安全性和 QoS 問題結合起來,以提供全面的性能指標。
(iii)最後,濫用雲端服務,是該領域的另一個問題。物聯網環境是霧和邊緣設備不斷加入或離開,動態的執行前後關聯。因此必須在網路邊緣提供彈性的服務。為此,在網路的可用設備之間,共享應用工作負載,可以為高階運算應用提供靈活性。提出了可靠的服務供應方法,來為系統提供更高的彈性,並提供靈活和優化的雲端服務。
在本主題中,將雲端框架和中間軟體技術,設置為與雲端層,以及具有不同介面操作系統,和體系結構的設備之間,進行通信的平台。
2.3. 物聯網在建築服務工程中
物聯網開發為在建築物上,開發數位服務提供了新資源。建築物中常見的物聯網應用,包括節能的過程環節、維護改進、雜務自動化和增強安全性。由於全球變暖,建築物的節能是一個重要的課題。
物聯網技術引入智慧建築,不僅可以減少本地溫室氣體排放,還可以將減少溫室效應擴大到更大的領域。目前,物聯網還被用於建築領域,以協助設施管理。物聯網使營運系統能夠提供更準確和更有用的資訊,從而改善營運,並為房客租戶提供最佳體驗。有基於物聯網的建議,這些建議顯示建築系統,如何與雲端進行通信,並分析所獲取的數據,以開發新的業務見解,從而能夠推動真正的增值和更高的績效。
實驗研究顯示,物聯網平台不僅可以改善,工業能源管理系統中實體的互連性,而且可以降低工業設施的能源成本。 FacilitiesNet 表示,建築物聯網(BIoT)正在推動我們獲取資訊,彼此互動和做出決策的方式發生重大轉變。BIoT 不僅與連接性或設備數量有關,而且還與交付實際和相關結果有關。當前,有很多基於物聯網的智慧家庭應用的例子。
然而,智慧設備或「物」,僅僅是連接到網路的設備或嵌入式系統。增值來自設計協調系統,和提供智慧服務,以提供實際收益的能力。這些特徵基本上,取決於對不同類型連接事物的異質性,及其互操作性的管理,並取決於數據處理提供的情報潛力。
Tolga 和 Esra 進行的研究得出的結論是,就智慧家庭系統中的軟體和硬體而言,物聯網技術尚未變得穩定。原因之一,有可能是物聯網技術仍處於發展階段。McEIhannon 所撰寫有關物聯網應用的邊緣雲和邊緣運算的未來,其評論得出了類似的結論。這篇評論提到概念和發展,目前還處於早期階段,從學術和行業的角度來看,許多挑戰都需要解決。
物聯網帶來了新的機會,但許多企業仍在尋求了解和分析,其將如何影響,並與現有的 IT 結構和管理策略整合。為此,必須創建專門的使用模式和技術,來彌合這一差距。
2.4. 發現
以下結論闡明了這項研究建議的新穎之處:
雲端運算作為「實用」的一般概念,非常適合智慧家庭應用的常規需求。但是,在某些情況下,將所有運算都移到雲端中,是不切實際的。
邊緣計算作為一種計算範例而出現,可以在物聯網設備生成的數據附近執行計算。這種範例可能有助於滿足最新應用的安全性和 QoS 的要求。
當前,控制子系統的高級建築設施,通常使用 Internet、IoT 協議和 Web 服務。專有系統是使用標準的 Internet 通信協議設計的,用於管制和監控。先前的工作顯示,基於無線感測器網路、Web 介面和工業控制模式,用於氣候控制、電源管理或安全性的控制系統,使用不同的監視和控制技術。監控應用分析,得自監控和數據採集系統中的這些子系統。對於不同的子系統,有不同的解決方案。考慮到上述情況,本工作中提出的模式,引入了以下新穎元素:
A. 介紹了一種分層架構(整合了邊緣和霧端等級),以及提供子系統之間互操作性,以及在建築物控制中開發智慧服務的方法,該方法使用了邊緣和霧端範例,這些範例將 IoT 協議整合在一起,並在本地 Intranet 中操作 AI 技術,讓雲端服務的通信層,完善了該層的架構。
B. 介紹了一種基於使用者為中心的方法,用於在互操作性需求下設計、驗證和改進新服務。
C. 該提案允許使用可以在已建的建築物中,實施的非專有硬體和軟體系統。
3. 計算模式設計
建築物中的設施子系統分為有照明、氣候、能源、安全、警報、電梯等。在自動化建築中,這些子系統由專門的控制技術控制和監控。在非自動化建築物中,不存在這些服務,並且子系統透過電子和電氣方式進行控制。在這兩種情況下,所有子系統都為建築營運,提供必要的服務。
從邏輯上講,每個子系統都在其場景中起作用,並且不能與其他子系統互操作。嵌入式電子控制器和連接的不同感測器,可以使每個子系統自動化。這些服務都是基於直接反應性控制規則。除了嵌入式控制系統和感測器之外,通信技術(基於 Internet 協議)和新的行動設備還為開發管制、監控和數據訪問服務,提供了新的可能性。
在智慧型動設備上開發,並連接到 Web 伺服器的人機介面和專用應用,是近年來已實現的服務的範例。每個子系統中的專家(氣候、安全性、電源等),都具有可以轉換為專家規則的知識。這些規則被轉換為用於管理、維護、控制、優化和其他活動的控制算法。這些規則是可以,在可程式設備上編程和實現的。但是,它們是靜態的,不會在出現新情況時發生變化,並且不能互操作,也無法適應每個安裝的特性。
例如,氣候或安全專家決定,如何使用標準啟動條件,來配置每個子系統。每個控制規則僅在一個子系統(此範例中為氣候或安全性)中工作,因此,這些子系統之間沒有互操作性。考慮到這種情況,提出的模式有助於並允許,基於不同子系統的互操作性,來整合新的數位服務,並將人工智慧(AI)技術的新服務,引入當前設施。
例如,諸如電梯控制的設施,可以用於安全服務或建築能源管理服務。氣候控制設施,可以與安全子系統整合在一起。整合到模式中的天氣預報軟體系統,可以由能源管理服務,或建築物空調服務使用。
目的是讓每個子系統中的專家,參與設計整合服務,並將所有子系統轉換為可互操作的系統。該模式會開發自動規則,並允許在考慮安裝行為本身的情況下進行決策。該模式基於一個過程,該過程包括四個開發階段(圖2)和分為不同級別的硬體 - 軟體體系結構(圖3)。該體系結構的主要等級,是邊緣等級和霧等級。這兩個層次介紹了在建築物中,應用物聯網技術的新穎性。下面介紹了模式的各個階段(分析、設計、實施和啟動)。
.分析:在此階段確定了不同的專家使用者(氣候、安全、電力、水、能源、管理人員,以及資訊和通信技術(ICT)技術人員)。諮詢專家使用者,以指定需要控制的主要過程。資訊通信技術專家作為整合環節,參與了這一過程。第一種方法產生了設計控制規則,和潛在服務所需的事物(對象)。在此階段,使用以使用者為中心的方法,並捕獲子系統的需求。
.設計:我們提出了一個三層架構(邊緣、霧端和雲端),如圖 3 所示。
.實施和數據分析:在此階段中已安裝和整合了子系統。服務基於每個子系統中的規則,分析事物(對象)生成的數據,以設計基於機器學習的服務。
.啟動:最初,在每個子系統的監督下制訂專家規則。然後,使用回饋過程安裝規則。最後,透過人工智慧技術,可以推斷出自動的和經過調整的規則。
3.1. 分析與設計
專家使用者對此過程,進行不同的審查。以使用者為中心的技術,用於設計整合流程。目的是獲得所需的所有事物(對象),它們之間的關係,以及潛在的服務。一旦指定了事物(對象)和服務,就必須關聯通信協議和控制技術。選擇了物聯網協議和嵌入式控制器;提出了人機介面;指定了邊緣層和霧層及其功能;分析專家規則和智慧服務。最後,提出了維護和操作方法。所有這些任務在專家技術人員,和資訊技術專家之間共享。
結果是事物的定義,它們之間的關係,以及與邊緣和霧層的交互作用。該過程中代表了建築物的所有子系統,數據感測器、執行器、控制器、規則和過程經過設計,可以整合所有子系統。數據集、對象和設備,由物聯網概念表示。事物由具有狀態和配置數據的實體,和前後關聯組成。事物數據位於霧和邊緣節點中,儲存的不同配置中的關聯性。
事物以數據向量表示:[ID、類型、節點、前後關聯情境]。
– ID是辨識碼。
– 類型可以是感測器、執行器、變量、過程、設備、介面、數據儲存,或可以在 IoT 生態系統中寫入、處理、通信、儲存或讀取數據的任何對象。
– 節點指定建築物子系統、功能描述、層類型(邊緣、霧端、通信或雲端)、IoT 協議和時程存取訪問。
– 前後關聯表示在 IoT 生態系統中,用於發布或讀取數據的時間、日期、位置,與其他事物的關係、狀態和訪問頻率。
表 1 是由事物([ID、類型、節點])。所有事物都可以訪問配置文件(CF),以了解如何使用可用數據,以及如何使用適當的訪問權限配置新數據。前後關聯數據位於內建記憶體,或是靜態儲存。使用定義的事物,設計不同的控制規則。這些控制規則是分佈在連接到網路的不同嵌入式系統中,控制過程的一部分。事物表示佈署在安裝的不同子系統中,所有的可用資源。在此等級上,設計師對所有事物進行分析、指定和關聯。基本控制算法是使用此資訊實現的。配置關聯性允許層和設備之間,所有事物的互操作性。
在此階段的另一級設計,必須提出物聯網管理中,使用的節點要求和規範。設計的流程和服務,將在邊緣或模糊節點中實施。必須指定每個節點,以確定其內部功能、通信及其服務。在獲取數據的地方,開發了智慧和處理能力。邊緣和霧層的節點,位於數據感測器、執行器和控制器附近。本文提出的方法,使用具有兩個功能的兩層(邊緣和霧端)。每一層都可以佈署互連節點的網路,以促進互操作性。
邊緣和霧層的功能是:
邊緣層功能:在連接感測器/執行器的嵌入式設備上,開發的控制軟體。某些 AI 算法可以安裝在邊緣節點上。中央處理器(CPU)和計算資源有限。安裝了通信介面,以允許在本地網路中進行整合。
霧層功能:局域網級別的通信、AI 範例、儲存、配置關聯性和監控活動。霧節點透過處理、通信和儲存,來處理 IoT 的Gateway、伺服器設備,或其他設備中的數據。在此等級實施本地、全球的整合服務。利用這些節點的硬體、軟體和通信功能,開發了基於機器學習範例的算法。霧層設備還可以在很少單位的設施或服務中,執行邊緣節點功能。
透過這兩個等級,可以優化建築設施,以獲得不同子系統之間的整合和互操作性。
表 1 顯示了每件事與關聯性配置,和節點規範的關係。節點標識其所屬的子系統(控制、能源、氣候等),層(霧端、邊緣、通信和雲端)及其執行的功能。
3.2. 架構設計
在分析和設計階段,獲得對象(事物)及其關係。規範和要求用於實現每個層。實施取決於提供所需功能的設計,和現有技術(硬體、通信和軟體)。在此階段,開發了一種適合現有設施的體系結構。物聯網協議提供互操作性,而 AI 範例則提供了適應性和優化性。邊緣運算節點用於控制設備,霧運算節點安裝在本地網路節點上。這些等級為配置、安裝和運行新流程,提供了強大的資源。
物聯網協議,傳達所有子系統數據。每個子系統由對象/事物(虛擬等級)組成,安裝為可連接的感測器/執行器/控制器設備(硬體等級)。
物聯網通信中,針對建築場景建立的要求是:標準協議、低功耗、易於存取訪問和維護、支援整合新模組,非專有硬體或軟體,以及低成本設備。
MQTT 協議,是目的在用於提供整合和互操作性資源,異構通信場景的主要物聯網協議之一。該協議被提議作為感測器、執行器、控制器、通信設備,和子系統之間的通信範例。
MQTT 協議的一些主要功能,在不同的著作中有所顯示,這使其特別適合於這項研究。他們之中有一些是:
.它是針對資源受限的場景開發的發布 - 訂閱消息協議。
.它具有低頻寬要求。
.這是一個非常節能的協議。
.編程資源非常簡單,使其特別適合於嵌入式設備。
.具有三個 QoS 等級,它提供了可靠和安全的通信。
MQTT 開發了無所不在的網路,該網路支持 n-m 節點通信模式。任何節點都可以查詢其他節點,並對其進行查詢。在這些情況下,任何節點都可以充當基地台的角色,能夠將其資訊傳輸到遠端處理位置。無處不在的感測器網路(USN)中的節點,可以處理本地數據。如果使用 Gateway,則它們具有全局可訪問性;他們可以提供擴展服務。
節點(邊緣或霧),可以具有本地和全局存取訪問權限。這些設施具有不同的可能性和益處。本地數據處理,對於基本過程控制是必需的,而全局處理則可用於模式檢測和資訊生成。從這個意義上講,擬議的平台使用了組合功能:連接到 IoT 雲端服務,本地網路區域上不同的 USN。在這種情況下,運算層(邊緣或模糊等級)將用作控制流程和雲端服務之間的介面。該層可以在與雲端進行通信之前,進行處理數據。
實現邊緣和霧端運算節點需要執行三個操作:
.連接和通信服務:所有設備必須在同一網路中,並且可以互操作。所有感測器和執行器都可用於開發服務。此活動的一個示例,是在 Internet 上遠端讀取建築物的電源參數、環境條件和開放的天氣預報數據。此活動中應實現其他功能,例如連接的安全性、可靠性和互操作性。
.嵌入式設備(邊緣運算層)中的控制算法和數據處理:在此活動中,這些設備中實現的基本控制規則和數據分析服務,可以開發新功能。此階段可以應用於數據過濾、運算氣候數據或分析功耗、直接反應控製,或使用模式辨識技術檢測事件。
.Gateway 節點(霧運算層)上的高階服務:此等級使用和管理 AI 範例,和 IoT 通信協議。霧運算節點對數據執行智慧分析,對其進行儲存,過濾並將其傳遞到不同等級,以糾正較低級別的新控制措施,或者生成雲端中服務感興趣的資訊。此階段的應用示例,包括分析新模式、預測用水量,或功耗、智慧檢測和其他預測服務。
3.3. 測試與回饋
在測試階段使用標準方法,邊緣和霧層提供不同的功能。提出了針對不同子系統的機器學習模式,並且可以將其安裝在邊緣或霧節點上。必須執行以下操作,來測試機器學習應用:
A. 定義和捕獲數據集:必須辨識、捕獲和儲存主要變量。在不同的建築子系統中,過程數據集是由連接到邊緣層的感測器捕獲的數據。使用通信協議監控和儲存數據集。一個案例是電表,該電表在配電盤中連接到嵌入式設備(邊緣節點),該嵌入式設備傳送電力數據,以在霧節點設備中儲存和處理。
B. 訓練數據集和形式辨識模式。先前數據集的一個子集,用於訓練不同的模式。評估針對從未用於訓練的數據測試模式,此過程的結果已由專家使用者驗證。目的是獲得一組代表性的結果,以了解模式在現實世界中的表現。
C. 實際場景中的驗證:必須在邊緣和霧節點上,實施新的服務和控制算法。這些模式具有用於分析數據,實施特定模式,並使用結果開發最佳參數的算法。在此階段,可以修改或進行改善模式。
D. 用統計術語和模式演變,得出測試結果:基於 AI 算法的模式而將產生近似值,而不是精確的結果。分析應用結果以確定置信度,並允許模式演化。該活動支持開發新的 AI 服務,或對已實現的算法進行修改。有監督的自動更改,是維護和改進系統的過程。此階段的過程,包括所有模式層。
建議對使用邊緣和霧,任何的安裝進行這些活動。如前所述,該模式既可以安裝在既有舊的建築物中,也可以安裝在新建築物中。對於新建築設計,基於建議模式的安裝更易於整合。此外,可以提供的服務的潛力,也使其對於既有建築物具有吸引力。
4.在建築子系統中,實施智慧服務
該模式在預先存在的住宅建築物上,進行了測試。設計和實施電源管理、管制和監控服務。物聯網協議(MQTT 和 HTTP)和 ML 範例,用於建議的層體系結構。基於 KNN 的機器學習方法,和樹決策算法用於管理功耗(家用電器),和可再生能源發電(風能和太陽能)。使用房屋中的霧節點,在雲端平台上實現監控和統計數據。該節點連接到控制可再生,和家用電器子系統的不同邊緣節點。
在圖 6 中,邊緣節點,整合在先前安裝的可再生子系統中。透過邊緣層上的這種新設備、電源管理、安全控制和操作流程得以整合,並且可以與其他子系統互操作。可以設計新的智慧服務。邊緣節點將數據傳輸到霧節點 Gateway,該 Gateway 管理功耗和發電,並控製家用電器。該節點中的輸入,是可再生能源發電的數據。輸出控件是 ON-OFF 開關,用於優化發電、安全性和操作。
4.1. 分析與設計
分析了住宅建築,以設計電源管理,安全和控制服務。 在第一種方法中,所需的主要事物(對象),它們之間的關係和不同的服務,如表 2 所示。
4.2. 執行
分析房屋中的建築子系統,以整合這個執行模式層:邊緣控制、霧服務,與雲端的通信和雲端服務。 選擇了本實驗工作中使用的感測器、執行器和控制過程(事物)。 表 3 列出了使用的嵌入式設備。
家庭服務中的控制過程,需要反應時間和互操作性。人機介面、數據存取訪問和分析服務,是本地和雲端運算上的服務。上面提到的兩個需求,都使用不同的協議處理:控制/通信上的 MQTT,和雲端服務上的 HTTP(RESTful API)是用於整合,並使所有子系統互操作的 IoT 協議。在提出的該層模式中,還使用 MQTT 協議、控制、數據處理,以及使用 RESTful 協議,到雲端的數據通信,來開發機器對機器(M2M)應用。
MQTT 使用開放的消息協議,該協議可以將遙測樣式的數據(即在遠端位置收集的測量結果),以消息的形式,從設備和感測器,沿著不可靠或受約束的網路傳輸,到伺服器(BROKER)。消息是簡單、緊湊的二進制數據包,有效載荷(壓縮的標頭,比超連結傳輸協議(HTTP)少得多的詳細資訊),並且非常適合推送簡單的消息傳遞方案,例如溫度更新或移動通知。例如,消息也可以很好地用於,將受約束的或更小的設備,和感測器連接到 Web 服務。
MQTT 通信協議,使所有對象可以互操作。透過此協議實現的發布者和訂閱者模式,可以互連所有設備和事物。該通信層由安裝在霧節點上的代理設備管理。不同的發布者和訂閱者,在不同的節點上實現。安裝了一個 Gateway 設備(霧節點)和兩個嵌入式控制器(邊緣節點),來控製家用電器和電源管理。事物和流程佈署在所有節點上。
邊緣節點控制子系統,霧節點根據決策樹,以及專家定義的規則,實現 AI 範例。霧設備將數據傳輸到雲端平台,以開發儀表板螢幕,來監看子系統的狀態。
可以開發新的雲端平台服務:事件檢測、機器學習處理、統計分析等。專家使用者設計基本的控制算法。在學習和訓練過程之後,將根據專家系統的結果,對這些算法進行調整和修改。在這項工作中,目標是在不損失生產力的情況下優化資源(控制和能源)。在邊緣或霧節點中,執行不同的控製過程;分類過程和決策樹在霧節點中實現。算法以 Python 語言實現。此語言的開源庫用於不同的應用。
4.3. 佈署與測試
對於現有建築物,邊緣節點交錯插入已安裝的控制器、配電板,以及感測器和執行器中。如果在分析階段指定了新的東西(電錶、氣候和控制器),則會安裝一些新的感測器/執行器。這項工作中佈署的邊緣節點具有以下優點:
.請勿干擾先前的安裝操作。
.他們使用新的專家規則和自動規則,引入新控件。
.他們測試和重新配置,在分析、學習和測試驗證中,設計更新的專家規則。
圖 7. 佈署在配電盤中的節點。 使用 IoT 協議通信,在不同節點中開發數據捕獲、控制算法、數據分析、儲存和通信服務
在電力管理過程中,專家使用者根據電力消耗、發電量、消耗負荷曲線、氣候數據和氣候預測數據,對具有選定流程的時間表,進行可程式處理。邊緣節點捕獲數據,並將其發送到霧節點。
霧節點處理室內和室外環境的日記數據,以及天氣狀況。霧節點還可以捕獲其他感測器數據。對房屋中的這些數據消耗和生成方式,進行檢測和分類。消費和發電結果,作為數據添加,以便與儲存的數據一起進行分析。可以使用機器學習方法開發,作為家用電器或人類活動檢測的智慧服務(圖8)。
4.3.1. 機器學習:數據捕獲過程(邊緣節點)和家用電器分類(霧節點)
連接在主配電盤中的電表,用於捕獲數據,並使用標準的 K 近似值,最近鄰(KNN)分類算法,來開發形式辨識模式。 KNN 是機器學習系統中最常見的方法之一。電表捕獲電流;如果連接了新的家用電器,則電流數據會更改。不同的家用電器具有不同的變化等級。
用於辨識家用電器的不同模式的主要變量,是連接時的電流水準差異。數據捕獲過程流程圖(圖9),顯示了在邊緣節點中實現的算法,以捕獲預處理並傳遞電力數據。
在此過程中,監督階段使用訓練數據集。接下來,真實場景中的驗證,將測試分類模式。家用分類設備將用於不同的服務:人類活動的辨識、負載控制、可再生能源管理、空調、安全性等。在訓練階段,已捕獲了不同的家用電器開機,以獲得一組形式。每個家庭都有一個矩心向量,將用於分類過程中的檢測。如上面所示的算法所示,分類器處理將產生連接時的電流數據作為輸入。KNN 分類過程流程圖(圖10)描述了 KNN 方法,它在霧節點中實現。
4.3.2. 可再生電源管理。控制電力自耗的決策樹
每個建築物都有不同的需求曲線,以及在接入電網方面的特定情況。為此,整合和可互操作的設施,可以實施適用於每種情況的不同解決方案,從而提供對太陽風資源的最佳管理,優化電源效率,簡化管理流程,並實現最高的成本節省。當可再生能源超過消耗的能源時,在使用 AC 耦合到電網的設施中,會出現問題。
在實驗工作中,太陽能在一天的中央時段的能量,大於所消耗的能量(圖11)。但是,在分析了消耗曲線之後,可以在這段時間內連接負載,以避免注入電網。可以透過設計一種算法,來滿足這一要求,該算法可以預測,何時發生此事件,以自動連接不同的負載。利用所有感測器和執行器的整合,和互操作通信,已經開發了在不同節點中,所實現的算法(圖12)。
13. 在電源管理子系統上開發的決策樹。 它由專業使用者設計,並整合在邊緣節點上。該決策樹的目的,在優化可再生能源的使用。
4.3.3. 基於 Edge 和 Fog 節點的 Control Home
圖 14 顯示了安裝在住宅房間中的邊緣節點。 該節點可以控制四個設備(設備),並捕獲感測器數據(功耗、發電量、溫度、濕度等)。該設備可以使用 MQTT 協議進行通信。該協議允許設備之間,進行其他類型的通信:智慧手機、新邊緣節點等。圖 7 和圖 14 顯示了可以在其他建築物中,佈署的標準實現。在所有系統中,都有配電板,這些配電盤佈署了霧節點和邊緣節點,如圖所示。
4.3.4. 使用物聯網協議的雲端服務
雲端服務可以監控,透過霧節點或人機介面(HMI)訪問的數據。 IoT 協議(MQTT)從任何已連接 Internet 的設備推送數據。事件檢測、儲存統計分析等其他服務,完善了該資源的功能。提供類似服務的不同平台,顯示了商用物聯網技術的狀態:Amazon IoT、Microsoft Azure、Ubidots 和 Thingspeak,是提供 IoT 平台的公司一些案例。提供了資源以及客戶端,和 IoT 平台之間的應用程式介面(API)通信,以便可以使用它們。
用於設計儀表板監控和管制的 HMI 資源,是這些平台上的主要實用功能之一。霧節點使用雲端 API 傳達數據和資訊,可以實施其他控制服務。在這些雲端平台上,預先建構了用於監控數據的儀表板設計。使用 API 實用功能,霧節點中的過程處理,會將數據發送到每個儀表板。API 文件指定了在設備、IoT 平台和 Mobile-Alerts Cloud 之間,交換數據的結構,以及用於加速項目的代碼案例和形成資料庫。
圖 15 顯示了在 Ubidots 雲平台上,設計的儀表板。Ubidots是本實驗工作中使用的物聯網平台。該模式可以在實現這些協議的層,和平台中使用不同的標準協議。圖 16 顯示了在雲端平台中,IF 變量 THEN 動作的事件配置。大多數物聯網平台,都提供此功能。
5. 結論
為了設計物聯網系統,越來越多地提出邊緣霧模式。但是,每個範例都提供特定應用領域的解決方案。不同子系統之間的整合和互操作性,可以改善這種情況,並提供更好的服務。這項工作的主要目的,是透過提出一種基於邊緣層和霧層,兩層體系結構的運算模式,來解決這個問題。透過這兩層,可以基於使用邊緣或霧節點中,嵌入式的設備捕獲數據所產生的新型有用資訊,來設計和開發新服務。這些節點使用雲端平台和 IoT 協議(例如 MQTT)。
MQTT 是作為不同層(霧 – 邊緣 – 雲)之間提出的通信協議,並進行實驗的。雲端平台用於開發儀表板的面板資訊和 Internet 上的新服務,例如控制、儲存和通信事件。該平台可用於透過 API,交付不同的服務。
該模式可以在現有建築物和新建築物中,開發這些服務。在這種情況下,要求每個子系統中的專家和專業人員,參與新服務的設計。
為了測試該模式的功能,並顯示如何在實際設施中,實現該模式,在住宅中進行了一項實驗性工作。在此霧和邊緣節點前後關聯中,描述了實現的幾個範例。開發了模式辨識和決策樹方法,以展示人工智慧在設計 IoT 解決方案中的潛力。已安裝服務的結果顯示,邊緣和霧節點佈署,產生了預期中整合和互操作性的好處。
提出的工作演示了,如何將邊緣和霧範例,整合到可以增強其優勢的新架構中,從而擴展了應用領域。該體系結構的主要科學貢獻,是整合、技術的互操作性,及其為開發 AI 服務提供的設施的範例。所有這些改進,都在已開發的實驗的不同示例中顯示。具體的優化和改進,將在以後的工作中進行。此外,使用機器學習平台,和 AI 範例的新控制規則,將確保可以創建和改進新的智慧服務。
附圖:圖1.自動建構子系統和資訊技術環境。
圖2.基於使用者為中心關係的模式。
圖3.通信架構。 每個等級都有不同的功能。 提出了兩個通信等級:IoT(使用消息隊列遙測傳輸(MQTT))和 Web(使用代表性狀態傳輸(REST)協議)。這些協議的層,涵蓋了已建立的整合和互操作性要求。
圖4. 在建築物的現有設施上實施的邊緣霧架構示例:邊緣節點是較低的層次,必須與安裝的設備進行新連接。互連所有子系統的霧節點,是透過整合連接到邊緣節點的新設備來實現的。邊緣和霧節點,可以佈署在所有建築物子系統中。
圖5. 住宅建築中的第一個實驗工作。
圖6. 整合在先前安裝的可再生子系統中,邊緣節點的示例。 該節點可以使用新算法控制 ON-OFF 開關,以管理發電過程,以及通信和監控電源數據。
表1.事物示例描述。寫入 ID、類型和節點數據,以配置 XML 文件。配置關聯性儲存在霧節點中。
表 2. 實驗工作中的分析和設計要求。
表 3. 實驗室內使用的嵌入式設備。
圖 7 顯示了分佈在配電板上的節點(邊緣和霧狀)。在此節點中,設計並安裝了功率計、ON-OFF 開關控件和 AI 服務。
圖 8. 佈署的智慧電源功能。在霧節點中實施的分類過程,可用於檢測電連接和人類活動。可以使用 IoT 通信實現其他服務
圖9. 邊緣節點中捕獲,並預處理的用電量數據;MQTT 協議用於通信數據。另外,其他節點可以使用捕獲的數據,來提供其他智慧服務,佈署了整合和互操作性。
圖10. 分類過程。處理捕獲的電數據以檢測家用電器連接。可以使用 IoT 協議整合,來設計其他智慧服務。
圖11. 該圖顯示了實驗工作中的消耗和生產數據。 在自儲存的電力自備設施中,沒有儲存並且沒有注入電網,所產生的能量必須即時使用,並且不得超過所消耗的能量。 能源經理必須預測此事件,並提前連接電荷。
圖 12. 用電自耗設施中的可再生電源管理。
圖 13 是在電源管理子系統中,開發的算法的示例。 可以在邊緣節點上安裝此過程。該節點獲取氣候數據預測,並預測系統是否可以在不儲存的情況下,使用可再生能源。
圖14. 佈署的邊緣節點。該節點可以使用新算法,控制 ON-OFF 開關,並可以在每個房間或建築物中,通信和監控感測器數據。
圖 15. 在雲平台上配置的儀表板。顯示了風力發電數據和預測風力。
圖 16. 在雲端平台上配置事件的儀表板:IF 事件 THEN 動作。 該服務顯示了,如何使用雲端訪問來控制設施。與霧節點的 Internet 通信,可以控制建築物中的不同子系統,並使用電子郵件,SMS 或其他 Internet 服務來通報事件。
資料來源:https://3smarket-info.blogspot.com/2021/02/iot-edge.html?m=1&fbclid=IwAR0uijX5WdNrfzmGjVsakFGaEsWivPgyH1zumxVr7fwvvgqtdFFTI6jJXS8
訓練集驗證集測試集差異 在 青創學院 Facebook 的最讚貼文
▍加速產業躍進的背後推手
#創業誌
宜特屬科技產業鏈中的服務業,從輔助客戶解決工程問題的角度出發,初期以服務IC 設計公司改善研發速度,陸續拓展至零件廠、系統廠、品牌廠,並與國際企業建立緊密互動合作。歷經24年的醞釀、發展與深耕,站穩亞洲驗證測試龍頭,幕後推手正是白手起家的余維斌。
📌看盡興衰起落 窮怕了!
余家原籍臺南西港鄉,家中數代仕官,在當地無論是財力及聲望都不容小覷。余維斌的叔叔們多以務農為生,唯獨父親擁有高工畢業文憑,因此外公便將多數的田地交由叔叔們繼承,父親則分配較多財產。
聽說都蘭山有藍寶石礦,加上政府推出開發補貼政策,余維斌的父親就這樣帶著全家大小和一個夢,移居臺東闖蕩。「圍繞在父親周圍的『蒼蠅』很多,不少人慫恿他投資,無論是賣買木材、開照相館、買地、種西瓜、薑、檳榔...想得到的幾乎都做過,但所有的投資全都虧得一塌塗地。」每當錢賠光了,父親就回頭當個小會計掙錢,之後又周而復始,相同戲碼不斷重覆上演。
記憶中,家裡開雜貨店時,由於債務實在太多,每天都能看到債權人在店門口站崗,只要一有客人上門付現,下一秒錢就被收走,最後甚至連房子也拿去抵押,一貧如洗。「在那個年代裡,女人沒有地位,一切都是男人當家說了算,直到父親大受打擊瀕臨崩潰後,罹癌的母親便一肩扛起照顧全家的重擔。母親總是疼我,對我寄予厚望,就算拖著孱弱的身軀依舊咬牙苦撐,排除萬難也要讓我完成大學學業,能有今天的成就和一切,全部要歸功於我的母親。」
從父親的身上體會到「做生意,真的很難!」但換個角度再看,那段記憶也成為余維斌在未來創業路上最重要的養分與驅動力,因為「真的窮怕了!很想~很想賺錢,我一定要活下去!」
退伍後,淡江物理系畢業的他聽說科學園區發展機會多,而且政府也有補貼,於是選擇先去半導體培訓中心接受專業訓練,之後進入工研院電子工業研究所服務,開始接觸電子分析技術。在工研院的6年裡,因為勤奮踏實和積極進取,獲得主管們高度肯定和喜愛,經常派他至歐美交流考察,獲得實地觀察市場的絕佳機會,了解電子產品故障分析的委外需求,結果意外嗅出臺灣還尚未開發的獨特生意-「開創IC電路缺陷修改服務」(FIB)。
📌傾聽 解決客戶的痛處
1994年余維斌毅然決然離開舒適圈,31歲的他找了幾位工研院同事與親朋好友集資1000萬後,勇闖創業路,「宜特科技」就在一間老舊的公寓裡成立,而這條路難走也是預料中的事,光是買下全臺灣第一部晶片檢測與電路修改FIB機臺就耗資950萬元,開業第二天沒想到會計又無預警離職,只剩他一個人校長兼撞鐘,白天勤跑業務拜訪客戶,晚上則窩在儀器前分析案件。
「當時我的存款只有20萬,靠著媽媽和妹妹的支持才硬湊足100萬元與友人合股創業。這世上還有什麼人可以讓你不用解釋太多,就心甘情願拿錢讓你去實現夢想呢?唯有家人了!因此我絕對不能輸,輸了就一無所有!」
當時,技術環境所開發出來的IC設計平均僅有30%~50%的成功率,無論是在定性及表現上皆無法達到目標,然而產生失敗的原因可能發生在IC晶片製程的任何一個環節與過程中。初期宜特從一周只能接獲幾個零星案件,每件費用約10000元,但憑著余維斌強烈的企圖心苦幹實幹,以及專業技術及服務的差異化,終於靠著口碑推薦,讓宜特業務穩定、逐步成長。
爾後,宜特逐年拓展新服務,包括故障分析(FA)、可靠度驗證(RA)、材料分析(MA)、化學/製程微汙染分析、訊號測試等,建構完整驗證與分析工程平臺的全方位服務,客群囊括電子產業上游IC設計至中下游成品端。「不僅僅是找出問題,更要幫忙解決問題,大幅縮短IC設計由概念到量產上市的時間,這對於研發競爭激烈的IC設計產業而言,十分重要。」
「當我們做完一項驗證工作之後,客戶還有遇到什麼問題嗎?還有什麼是我可以幫上忙的呢?」余維斌常常為了客戶的特殊需求,不斷斥資添購新的設備儀器,借位思考的態度,讓許多客戶與他之間不僅僅只是業務上的關係,更像是朋友和夥伴。
📌聚焦深化 持續不懈
隨著電子產品開發週期愈來愈短,產業競爭愈來愈激烈,驗證需求相對提高,他發現客戶不只是想要加速研發腳步,同時也希望測試新產品投入的市場預期,因此光從這兩項需求就可以再延伸出許多服務項目和解決方案。
「我們雖然不是萬能,但宜特具備各種工具、經驗與人才,在硬體、軟體、材料分析上都有能力提供客戶專業協助,幫助電子零件加速研發,並且保證品質良好,甚至在產品尚未開發之前就預先協助客戶評估成本及了解產品能否申請專利,透過分析協助客戶進行客觀判斷,正是宜特的服務強項與核心價值。」
2004年宜特掛牌上櫃,至今除了金融海嘯那一年虧損之外,其餘每年每股獲利幾乎都在4元以上,而且從成立至掛牌上櫃之前都未辦過現金增資,這個成績使得股東們和當初支持他創業的親友們都非常佩服,當然也讓大家的荷包滿滿,投資報酬率暴增。
如今,宜特陸續在大陸、日本、美國等地拓展營運據點,並成為國際知名且具有公信力機構——IEC/IECQ、TAF、TUV NORD、CNAS認可的實驗室。同時在國際大廠的外包趨勢下,扮演獨立品質驗證第三方公正實驗室,取得 TI、Lenovo、Dell、Cisco、DELPHI、Continental Automotive、ISTA、HDMI等品牌大廠供應鏈驗證認證資格,服務項目高達800多項,客戶數超過6000家,年營業額突破28億元。
「專心一致把『自己最強的東西』與『客戶最在意的東西』做到最好、最大,只要能幫助客人解決問題與困難,發揮自身價值,一切自然水到渠成。」多數創業者對於「這個事業能否投入」以及「規模要做多大」都有強烈的不確定感,他建議不妨先從檢視企業能力與團隊強項開始著手,「看懂自己的優點在哪裡是最難的,因此評斷的標準應該來自於外界。」藉由外部顧問、業界高手的請益與協助,將企業的定位與優勢搞清楚。
倘若公司尚未具備強而有力的核心項目,建議伺機而動、小規模的做,降低創業風險;若是公司本身已具備特殊技術或市占率不錯的項目,便可以再深入思索這些項目與未來趨勢兩者之間,能否找到共同的交集。「趨勢大家都知道,問題是在這個趨勢裡,『你可以有什麼角色?』」
余維斌認為,如果無法從中去創造一個產品、服務或客戶價值,千萬不宜貿然投入,因為商機背後也隱含著大家爭先搶食的危機,因此,「不用做多,只要聚焦」,在特定領域將1、2樣項目做到最突出、做到發光發熱,企業價值自然顯而易見。當企業穩定成長後,再進一步思考是否要與其他佼佼者策略聯盟、合資……等,以擴增產品或服務的深度與廣度,提高企業競爭力。
📌五大趨動 後勢可期
在物聯網、5G通訊、汽車電子、人工智慧、先進製程五大需求驅動下,余維斌乘勝追擊擴大投資規模,2017年10月將總部進駐新竹科學園區,廠房從原來的3000坪擴充4倍為12000坪,吸引各國大廠陸續到宜特進行新廠的驗證及洽談長期合作,目前握有的訂單已攀升至歷史高點,成果逐步展現在業績與獲利上。此外,隨著車用電子產品功能愈來愈多元,金屬氧化物半導體場效電晶體(MOSFET)成為車用電子、電動車不可或缺的必備功率元件,余維斌認為汽車電子未來在半導體產業中將佔據舉足輕重的地位。
「一部車達1萬多顆電子零件,檢測驗證的需求必然增加,但在服務客戶的同時,我們也發現晶圓量產到封裝之間,還缺少晶圓薄化與表面處理的重要橋段,這塊市場非常值得投資經營。」於是,今年宜特正式宣布跨入「MOSFET晶圓後段製程整合服務」,結合子公司(創量科技),提供從晶圓製程處理一路到後段CP、WLCSP與DPS一站式解決方案。隨著各項專業平臺陸續布局與到位,未來可望成為宜特再創高峰的重要跳板。
歷經20多年的篳路藍縷,靠著不斷鞭策、持續創新及工作團隊胼手胝足的努力之下,才達到今天的規模。當一個市值不到100億的公司,面對規模高達數兆的大企業客戶時,余維斌形容得直白:「他不太理你!」唯有專注在獨特專精之處,才有機會吸引國際大廠的目光。他強調,雖然我們無法第一時間知道客人在發展過程中遇到哪些問題,但是當他們遇見困難時,如果能深切感受到我們與他是站在同一陣線、同一艘船上,此時正是打動客戶最好的時機。「只是當機會來臨時,你準備好了嗎?」
「我很榮幸將宜特的品牌刻劃在全球電子產業的歷史上,一路累積千百種解決方案與核心技術平臺,接軌國際認證規範,定義新的準則,甚至創造新的指標。這一切的全力以赴,都為了一個初衷:『為客戶創造更大的價值。』」未來,宜特也將秉持永續經營的理念,持續在經濟、社會與環境三面向,為客戶提供更完整、快速、先進與創新的高品質技術服務,與全球領先趨勢共同成長,朝長久發展的目標勇往直前。
宜特科技 Integrated Service Technology
#新創總會
訓練集驗證集測試集差異 在 訓練集、驗證集、測試集的定義與劃分 - 辛西亞的技能樹 的推薦與評價
訓練集 (training) 舉例來說就是上課學習。 · 驗證集(validation) 舉例來說就是模擬考,你會根據模擬考的成績繼續學習、或調整學習方式重新學習。 · 測試 ... ... <看更多>
相關內容
訓練集驗證集測試集差異 在 鐵達尼號生存預測資料集練習 - GitHub 的推薦與評價
測試集 準確率:80.7%,結果還不錯,資料應該沒有調整的需要(至少非garbage),可以從模型參數持續調整,包括訓練週期、batch size或是調整MLP各層模型。 ... <看更多>
訓練集驗證集測試集差異 在 [問題] Validation set 到底在做什麼? - 看板DataScience 的推薦與評價
請問一下各位高手 關於Validation set 跟 Training set的差別
特別是validation set 的功用是什麼?
(這裡的validation set 不是 test data的意思 雖然文獻上這兩個詞也滿常交互使用)
要訓練一個Neural net model, 需要兩組數據, Training set 跟 Validation set.
兩組數據都是*已知數據*, 模組就從這裡學. 我的問題是 為什麼特別區分成兩組呢?
還有印象中黃金比例是 2:1 (train:val)
我自己模模糊糊的理解是 training set 教會大部分的parameter,
再用validation set來微調.
這樣的理解是對的嗎?
如果對的的話 那些parameter是只有在validation 才能調 training set調不了的呢?
這是合理的問題嗎?
(小弟我只懂的大方向 跟怎麼用 很多基本的原理還是學的不扎實...慢慢補強...)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 68.230.60.98
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1521691079.A.014.html
※ 編輯: lucien0410 (68.230.60.98), 03/22/2018 11:59:20
我回去查了文獻 (我做的是機器翻譯) 有這段話
(https://arxiv.org/abs/1709.07809 page 18)
"A common stopping criteria is to check progress of the model on a validation
set (that is not part of the training data) and halt when the error on the
validation set does not improve. Training longer would not lead to any
further improvements and may even degrade performance due to overfitting.
"
這跟siscon大說的相符 (一開始手殘i打成u)
我用的軟體是OpenNMT 這個軟體要求 val set 又自動停在 epoch 13
這樣說的話 是不是OpenNMT搞錯了 validation set 功用呢?
(OpenNMT 有個論壇 我可以去抱怨一下)
※ 編輯: lucien0410 (68.230.60.98), 03/22/2018 13:18:20
※ 編輯: lucien0410 (68.230.60.98), 03/22/2018 13:34:13
但問一問基本的問題也不錯吧 讓有興趣的但還在學的人也來討論討論
像是教學的blog的性質 這樣的datascience版 也不錯吧
正如你說的 嚴格來說 OpenNMT沒有拿 val set 來調參數
而是拿來評估 overfitting 和 convergence
但這又讓我覺得奇怪了 這樣的話 epoch的數量 應該是自動設定的
converged後 自動停止才對
但OpenNMT的epoch 又是手動設定的 hyperparameter (預設值是13)
另外 結果這個問題 真的有人在論壇上問過:
https://forum.opennmt.net/t/validation-data/128
那些OpenNMT的developers 也真的自己出來回答 滿有意思的
Guillaume Klein說實際上來說 val set 可以來讓做為挑選那個epoch的標準
就挑 validation perplexity 最低的那個
※ 編輯: lucien0410 (68.230.60.98), 03/23/2018 01:32:23
... <看更多>