導讀
人工智能的蓬勃發展離不開云計算所帶來的強大算力，然而隨著物聯網以及硬件的快速發展，邊緣計算正受到越來越多的關注。未來，智能邊緣計算將與智能云計算互為補充，創造一個嶄新的智能新世界。本文中，微軟亞洲研究院系統與網絡研究組首席研究員劉云新將為大家介紹智能邊緣計算的發展與最新研究方向。
01
智能邊緣計算的興起
近年來，“物聯網”“云計算”等技術得到廣泛應用，但是隨著萬物互聯以及 5G 高帶寬、低時延時代的到來，各類業務如車聯網、工業控制、4K/8K、虛擬現實 / 增強現實(VR/AR)等所產生的數據量爆炸式增長，對計算設施帶來了實時性、網絡依賴性和安全性等方面的要求，為了解決這些問題，國內外學者們提出了邊緣計算的概念。
邊緣計算的“邊緣”指的是在數據源與云端數據中心之間的任何計算及網絡資源。例如，智能手機就是個人與云端的“邊緣”，智能家居中的網關就是家庭設備與云端的“邊緣”。邊緣計算的基本原理就是在靠近數據源的地方進行計算，是在靠近物或數據源頭的網絡邊緣側，融合網絡、計算、存儲、應用核心能力，就近提供邊緣智能服務的開放平臺。與云計算相比較，邊緣計算就近布置，因而可以理解為云計算的下沉。
邊緣計算實現了物聯網技術前所未有的連接性、集中化和智能化，由此可以滿足敏捷連接、實時業務、數據優化、應用智能、安全與隱私保護等方面的需求，是實現分布式自治、工業控制自動化的重要支撐。
邊緣計算是計算系統從扁平到邊緣，以及面向 5G 網絡架構演進的必然技術，同時也提供了一種新的生態系統和價值鏈。第三方數據分析機構IDC 預測，到2020年，全球將有約500億的智能設備接入互聯網，其中主要涉及智能手機、可穿戴設備、個人交通工具等，其中 40% 的數據需要邊緣計算服務。邊緣計算有著強大市場潛力，也引起了各研究機構、標準組織、服務提供商和產業界極大的關注。
邊緣計算(Edge Computing)在學術界和工業界都成為了一個熱門話題。事實上，邊緣計算是相對于云計算(Cloud Computing)而言的。在云計算中，所有的計算和存儲資源都集中在云上，也就是數據中心(Datacenter)里;在終端設備上產生的數據通過網絡傳輸到云上，計算任務和數據處理都在云上進行。而在邊緣計算中，計算和存儲資源被部署到邊緣上(邊緣服務器或者終端設備)，可以就近對本地的數據進行處理，無需把數據傳輸到遠端的云上，從而避免網絡傳輸帶來的延遲。
雖然邊緣計算成為廣受關注的熱門話題的時間并不久，但邊緣計算的概念并不新。早在2008年，微軟研究院的 Victor Bahl 博士邀請了學術界和工業界的知名學者，包括卡內基·梅隆大學的 Mahadev Satyanarayanan 教授、AT&T 實驗室的 Ramón Cáceres博士、蘭卡斯特大學(Lancaster University, U.K.)的Nigel Davies教授、英特爾研究院(Intel Research)的 Roy Want 博士等，一起探討云計算的未來時 [1]，就提出了基于 Cloudlet 的邊緣計算的概念;并于次年在 IEEE Pervasive Computing 期刊上發表了廣為人知的名為 “The Case for VM-based Cloudlets in Mobile Computing”的文章 [2]。
此后，越來越多的研究人員開始關注邊緣計算。值得一提的是，2016年，首屆專注于邊緣計算的學術會議 The First IEEE/ACM Symposium on Edge Computing 在美國華盛頓特區召開 [3]。目前，邊緣計算已成為相關頂級學術會議(比如MobiCom)的重要專題之一。在工業界，2017年微軟公司 CEO 薩提亞·納德拉就將邊緣計算和云計算并列成為全公司的戰略之一。之后，各大云計算公司和運營商都紛紛推出了自己的邊緣計算服務;邊緣計算相關的創業公司更是不斷涌現。
在人工智能時代，邊緣計算不僅僅只是計算，更是智能+計算，我們稱之為智能邊緣計算(Intelligent Edge Computing)。
02
計算模式的輪回：
在集中式和分布式之間的搖擺
唯物辯證法指出，事物的發展總是曲折、循環往復，并在波浪中不斷前進的。計算模式(Computing Paradigm)也不例外。如圖1所示，如果我們回顧計算模式的發展歷史，就會發現一個簡單的規律：計算模式是在集中式計算和分布式計算之間不斷搖擺，往復式發展前進的。
圖1：計算模式的發展歷史
在大型機(Mainframe)時代，計算資源稀缺，很多人共享一臺主機，計算是集中式的;到了個人計算(Personal Computing)時代，硬件變得小型化，價格低廉，人們可以擁有自己的個人設備，計算成為了分布式的;在云計算時代，通過高速網絡，人們可以共享云上的海量的計算和存儲資源，計算模式又回到集中式的。此時，人工智能蓬勃發展，云上提供的眾多智能服務帶來了智能云計算。而隨著邊緣計算的出現，計算模式再一次成為分布式的。現在，我們不僅有智能云，還有智能邊緣。
智能邊緣計算的出現當然不僅僅是滿足表面上的簡單規律，背后有其必然性和強大的驅動力，是計算機軟硬件和新應用新需求不斷發展的必然結果。
首先，隨著物聯網特別是智能物聯網(AIoT)的發展，各種新型智能設備不斷涌現，產生了海量的數據。比如，監控攝像頭已經無處不在(據統計，在倫敦每14個人就有一個監控攝像頭 [4])，每天產生大量的視頻數據。而每輛自動駕駛汽車每天更是會產生多達5TB的數據。把所有這些數據都傳輸到云上進行處理是今天的云和網絡無法承受的。
其次，新的場景和應用需要對數據在本地進行處理。比如，自動駕駛和工業自動化對數據處理的實時性有很高的要求。數據傳輸帶來的網絡延遲往往無法滿足實時性的要求，如果網絡發生故障可能帶來災難性后果。再如，人們對個人隱私越來越關注，而很多數據(視頻、圖片、音頻等)都包含大量的個人隱私。保護個人隱私的最好的方法就是在本地進行數據處理，不把個人數據傳到網絡上去。
另外，同樣重要的是，硬件的快速發展使得智能邊緣計算成為可能。隨著 AI 算法的日益成熟，人們開始設計制造專用的 AI 芯片，特別是專門用于深度學習模型推理的 AI 芯片，這些 AI 芯片不僅數據處理能力強大，而且尺寸小、功耗低、價格便宜，可以應用到各種邊緣設備上，為智能邊緣計算提供了堅實的硬件基礎。
需要指出的是，智能邊緣計算并不是要取代云計算，而是和云計算互為補充，一起更好地為用戶提供服務。云計算和邊緣計算會不斷融合;智能計算分布在不同的地方，但又相互連接，協同合作。
03
智能邊緣計算中的關鍵問題研究
在微軟亞洲研究院，我們致力于研究智能邊緣計算中的關鍵問題，更好地將 AI 賦能于邊緣設備(包括終端設備和邊緣服務器)和應用，提高智能邊緣計算的系統性能和用戶體驗。具體來說，目前我們主要關注以下幾個研究方向：
針對不同設備的模型壓縮和優化。高精度的深度學習模型通常都十分龐大，由數百萬甚至以億計的參數構成。運行這些模型需要耗費大量的計算和內存資源。雖然智能邊緣設備的處理和存儲能力大幅增長，但仍遠遠比不上云計算設備。因此，如何把深度學習模型在資源受限的邊緣設備上運行起來是一個巨大的挑戰。傳統的模型壓縮和優化(比如剪枝、量化等)主要關注的是在如何把模型變小的同時盡量少損失模型精度。然而，邊緣設備的特點是類型多、差異性大，處理器類型性能和內存大小千差萬別。我們認為，沒有一個統一的模型能夠適用于所有的邊緣設備，而是應該結合硬件的特性，為不同的設備提供最適合的模型，不僅考慮模型大小和精度損失，更要考慮模型在設備上的執行性能，比如延遲和功耗等。
基于異構硬件資源的系統優化。即使有了一個可以運行的模型，如何提高模型的運行效率仍是一個值得深入研究的課題。我們需要一個高效的模型推理引擎，把系統性能提高到極致。這不僅需要軟件層面的系統優化，更要有軟件和硬件的協同設計，能夠充分利用底層硬件的能力。邊緣設備往往有著各種異構的硬件資源，比如智能手機擁有大小不同的 CPU 核(ARM big.Little)、DSP、GPU、甚至 NPU。而現有的系統往往只能利用其中一種計算資源(比如 CPU 或者 GPU)，還不能充分發揮硬件的性能。我們的工作致力于研究如何充分利用同一設備上的異構硬件資源，深度優化系統性能，大大降低模型執行的延遲和能耗。
隱私保護和模型安全。如前所述，用戶隱私數據保護是一個重要的課題。在邊緣設備無法運行高精度模型的情況下(比如在低端的監控攝像頭上)，利用云計算或者邊緣服務器來執行深度學習模型就不可避免。在這種情況下，我們就需要研究如何利用遠程的計算資源的同時還能不泄露用戶的隱私數據。另外，在邊緣設備上運行模型還帶來了一個新的問題——模型的安全。訓練一個好的模型需要花費巨大的人力、物力。因此，模型是重要的數字資產。在云計算模式下，模型的存儲和運行都在云上，終端用戶無法直接接觸模型數據。而在邊緣計算中，模型是部署到本地設備上的，惡意用戶可以破解終端系統，復制模型數據。所以，如何在智能邊緣計算中保護模型的安全就是一個新的重要研究課題。
持續學習和合作學習。智能邊緣計算還帶來了新的改善模型的機會。目前的模型訓練和模型使用通常是割裂的。一個模型在事先收集好的數據集上進行訓練，然后被部署到設備上進行使用。然而，模型使用中的數據通常是和訓練時的數據集不一樣的。比如，每個智能攝像頭由于其位置和光線的不同，它們看到的圖像內容和特征都不盡相同，從而導致模型精度下降。我們認為，模型被部署到設備上以后，應該根據設備上的輸入數據進行適配和優化，而且隨著設備處理越來越多的新數據，它應該從中學習到新的知識，持續不斷地提高它的模型，這就是持續學習(Continuous Learning)。此外，多個設備還應該把它們學習到的不同的新知識合并到起來，一起合作來改進完和善全局的模型，我們稱之為合作學習(Collaborative Learning)。與主要關注如何利用多方數據集進行模型訓練而不相互泄露數據的聯邦學習(Federated Learning)不同，持續學習和合作學習的重點是如何在模型部署后從新獲取的數據中學習新的知識。
此外，我們還關注智能邊緣計算中的各種新場景和新應用，比如視頻分析、VR/AR、自動駕駛、AIoT 等，特別是隨著 5G 的到來，如何構建更好的智能邊緣+智能云的系統，為這些場景和應用提供更好的支撐。
在過去兩年，我們和國內外的高校緊密合作，在這些研究方向上取得了一系列的進展，也在相關學術會議上發表了多篇論文。其中，我們和北京大學和美國普渡大學關于如何利用緩存技術(Cache)提高卷積神經網絡(CNN)執行效率的工作發表在 MobiCom 2018上 [5];和哈爾濱工業大學等學校合作的關于如何利用模型稀疏性(Sparsity)加速模型執行的工作發表在 FPGA 2019和 CVPR 2019上 [6] [7];和韓國 KAIST 等學校合作的關于如何利用 SGX 保護用戶隱私的工作發表在 MobiCom 2019上 [8];和美國紐約大學和清華大學合作的關于合作學習的工作發表在 SEC 2019上 [9]。
04
世界發展現狀與趨勢
目前，邊緣計算技術與應用仍處于發展初期階段，亞馬遜、谷歌和微軟等云計算巨頭是該領域的領跑者。
2017年，亞馬遜攜AWS Greengrass 進軍邊緣計算領域，走在了行業的前面。該服務將AWS擴展到設備上，這樣就可以“在本地處理它們所生成的數據，同時仍然可以使用云來進行管理、分析數據和持久的存儲”。
微軟公司計劃未來4年在物聯網領域投入 50 億美元，其中包括邊緣計算項目。2017 微軟發布了Azure IoT Edge 解決方案，該方案“將云分析擴展到邊緣設備”，支持離線使用。該公司還希望聚焦于人工智能應用。
谷歌2017年以來已宣布了兩款相關的新產品，即硬件芯片Edge TPU 和軟件堆棧Cloud IoT Edge，意在幫助改善邊緣聯網設備的開發。谷歌表示，“Cloud IoT Edge 將谷歌云強大的數據處理和機器學習功能擴展到數十億臺邊緣設備，比如機器人手臂、風力渦輪機和石油鉆塔，這樣它們就能夠對來自其傳感器的數據進行實時操作，并在本地進行結
果預測。”
國際上許多公司也在開發軟件和技術幫助邊緣計算實現騰飛。惠普公司計劃在未來 4 年內向邊緣計算領域投資40億美元。該公司的 Edgeline Converged Edge Systems 系統的目標客戶是那些希望獲得數據中心級計算能力，且通常在邊遠地區運營的工業合作伙伴。其系統承諾在不依賴于將數據發送到云或數據中心的情況下，為工業運營(比如石油鉆井平臺、工廠或銅礦)提供來自聯網設備的洞見。
人工智能芯片制造商英偉達于2017年推出了 Jetson TX2，這是一個面向邊緣設備的人工智能計算平臺。它的前身是 Jetson TX1，它號稱要“重新定義將高級AI 從云端擴展到邊緣的可能性”。
有關邊緣計算的標準化工作也逐漸受到各大標準化組織的關注，主要國際標準化組織紛紛成立相關工作組，開展邊緣計算標準化工作。2014年，歐洲電信標準化協會(ETSI)成立移動邊緣計算標準化工作組;2015年，思科、ARM、戴爾、英特爾、微軟、普林斯頓大學等機構聯合發起成立開放霧計算聯盟;2017 年 ISO/IECJTC1SC41 成立了邊緣計算研究小組，以推動邊緣計算標準化工作。2017年 IEC發布了VEI(Vertical Edge Intelli-gence)白皮書，介紹了邊緣計算對于制造業等垂直行業的重要價值。2018年初，ITU-TSG20(國際電信聯盟物聯網和智慧城市研究組)成功立項首個物聯網領域邊緣計算項目“用于邊緣計算的 IOT 需求”。
來源：沈向洋博士在2018微軟人工智能大會上的演講 [10]
05
我國發展現狀與水平
2016年11月30日，我國邊緣計算產業聯盟(ECC，Edge Computing Consortium)在北京成立。該聯盟由華為技術有限公司、中國科學院沈陽自動化研究所、中國信息通信研究院、英特爾公司、ARM和軟通動力信息技術有限公司創始成立，首批成員單位共 62 家，涵蓋科研院校、工業制造、能源電力等不同領域。2016年和2017年分別出版了國內的《邊緣計算參考架構》1.0 和2.0版本，梳理了邊緣計算的測試床，提出了邊緣計算在工業制造、電力能源、智慧城市、交通等行業應用的解決方案。
邊緣計算是 5G 的核心能力之一，是實現 5G 性能提升的關鍵。2017 年，中國通信標準化協會(CCSA)發起了邊緣計算研究項目。CCSA 無線通信技術委員會(TC5)和工業互聯網特設任務組(ST8)都分別立項了有關邊緣計算的項目。在 CCSA ST8 中，重點討論面向工業互聯網的邊緣計算和邊緣云標準化內容。目前，ST8 任務組已經立項標準包括：《工業互聯網邊緣計算總體架構與要求》，《工業互聯網邊緣計算技術研究》《工業互聯網邊緣計算邊緣節點模型與要求》，《工業互聯網邊緣計算需求》。
在 CCSA TC5 中，三大運營商分別在邊緣計算領域立項，涉及邊緣計算平臺架構、場景需求、關鍵技術研究和總體技術要求。中國聯通發起并主導的“5G 邊緣計算平臺能力開放技術研究”項目，將結合邊緣計算平臺架構以及移動網絡能力，進行 5G 邊緣計算能力開放的場景分析和方案研究，進一步標準化網絡信息開放框架與內容。中國移動和中國電信也分別牽頭立項《邊緣計算總體技術要求》和《邊緣計算關鍵技術研究》，內容涵蓋了 5G MEC 的關鍵技術，包括：本地分流、業務緩存和加速、本地內容計費、智能化感知與分析、網絡能力開放、移動性管理和業務連續性保障。
三大運營商在邊緣計算方面已經展開廣泛探索。其中，中國聯通 2018 年 2 月宣布正式啟動全國范圍內 15 個省市的 Edge-Cloud 規模試點和數千個邊緣數據中心的規劃建設工作;中國移動在江蘇、浙江等地通過核心網下沉網關分流至 CDN 邊緣節點，并探索了一些商用場景;中國電信在 2018 年搭建了基于邊緣計算的vCDN 概念驗證解決方案環境，測試結果理想。
目前，運營商的邊緣計算主要處于技術研究、實驗室測試，以及相對簡單場景的預商用階段。英特爾和阿里云聯合在重慶瑞方渝美壓鑄有限公司打造的工業邊緣計算平臺，采用了英特爾開發的深度學習算法和數據采集到協議轉換的軟件，以及阿里云開發的基于 Yocto 的操作系統(AliOS Things)、數據接入云端Link Edge。該平臺可以運行在工業邊緣計算節點本地，并將結果聚合并存儲在邊緣服務器上，再通過阿里云的 LinkEdge 實現數據上云。該平臺采用的機器視覺解決方案在 0.695 秒的時間內，幾乎可以實時地識別制造缺陷，檢測精度約為 100%。
總體來說，我國的邊緣計算研究還處于起步階段。
06
邊緣計算面臨的挑戰
目前，關于邊緣計算的研究才剛剛起步，雖然已經取得了一定成果，但從實際應用來說，還存在很多問題需要研究，下面對其中的幾個主要問題進行分析。
第一，多主體的資源管理。邊緣計算資源分散在數據的傳輸路徑上，被不同的主體所管理和控制，比如用戶控制終端設備、網絡運營商控制通信基站、網絡基礎設施提供商控制路由器、應用服務供應商控制邊緣服務器與內容傳輸網絡。而云計算中的資源都是集中式的管理，因此云計算的資源管理方式并不適用管理邊緣計算分散的資源。而目前關于邊緣計算的研究也主要集中在對單一主體資源的管理和控制，還未涉及多主體資源的管理，實現靈活的多主體資源管理是一個十分富有挑戰性的問題。
第二，應用的移動管理。邊緣計算依靠資源在地理上廣泛分布的特點來支持應用的移動性，一個邊緣計算節點只服務周圍的用戶，應用的移動就會造成服務節點的切換，而云計算對應用移動性的支持則是“服務器位置固定，數據通過網絡傳輸到服務器”。所以，在邊緣計算中應用的移動管理也是一種新模式，涉及到資源發現和資源切換等問題。
第三，虛擬化技術。為了方便資源的有效管理，邊緣計算需要虛擬化技術的支持，為系統選擇合適的虛擬化技術是邊緣計算的一個研究熱點。目前，新型的虛擬化技術層出不窮，如何打破虛擬機和容器的規則與界線，將兩者充分融合，同時具備兩者的優勢，設計適應邊緣計算特點的虛擬化技術，也是一大挑戰。
第四，數據分析。數據分析的數據量越大，往往提取出的價值信息就越多。但是收集數據需要時間，價值信息往往也具有時效性。邊緣計算使數據可以在匯集的過程中被處理與分析，很多數據如果被過早地分析，可能會丟失很多有價值的信息，所以如何權衡提取信息的價值量與時效性是一個關鍵性問題。
第五，編程模型。邊緣計算資源動態、異構與分散的特性使應用程序的開發十分困難。為減少應用的開發難度，需要可以適應邊緣計算資源的編程模型。
07
我國發展邊緣計算技術的對策
據估算，2017—2026 年美國在邊緣計算方面的支出將達到 870億美元，歐洲則為 1850 億美元。因此，為應對新的發展機遇，對我國發展邊緣計算技術，建議采取以下對策。
第一，加強邊緣計算的技術標準和規范建設。邊緣計算涉及到海量的終端設備、邊緣節點，是數據采集、數據匯聚、數據集成、數據處理的前端，而這些設備往往存在異構性，來自于不同的生產廠商、不同的數據接口、不同的數據結構、不同的傳輸協議、不同的底層平臺等。為此，統一的技術規范和標準亟待達成一致。這些標準和規范的制定，也將大大節約邊緣云等的建設成本。
第二，注重將邊緣計算技術發展與新一代信息技術結合。應將邊緣計算技術的研發和應用與“互聯網 +”、云計算、大數據和新一代通信技術等研發計劃發展協同起來。邊緣計算是與云計算相生相伴的一種技術，并且與大數據、5G 通信和智能信息處理技術等高度聯接。因此，我國在制定相關研發計劃的時候，要將對邊緣計算技術和應用的發展納入進去，加快相關核心技術的研發，促進邊緣計算技術成熟度的提升。
第三，加強邊緣計算的開源生態建設。邊緣計算本身由海量的終端設備構成，而眾多智能終端如采用統一的開源操作系統，便可形成邊緣計算的開源生態環境。利用開源生態來維持核心代碼，形成業界認可的技術接口、關鍵功能、發展路徑等，將會給各廠商提供均等的發展機會。
08
結論
邊緣計算給基于人工智能的系統的開發者帶來了下一個巨大的挑戰。隨著設計師增加更高層次的智能，需求將增長的解決方案，可以更快速和準確地響應不斷變化的環境條件。尋找開發人員采用廣泛的技術來滿足這一新的需求。
