人工智慧應用的快速演進正改變設備的創建和使用方式。隨著人工智慧技術能力不斷增強，所有物聯網相關產品開始朝向符合終端需求的應用開發，不再僅依靠雲端連接的支持。終端運算的優勢包括實時性、數據隱私和領先的能源效率，對設備製造商來說，不需要在產品銷售的每個區域都佈署雲基礎設施，產品上市的時間和成本就能縮短。雖然雲端和邊緣運算各有優勢，但若邊緣運算能克服雲端無法解決的問題，人工智慧的未來將會在終端實現……

目前AI主要有雲端人工智慧（Cloud AI）和人工智慧邊緣運算（Edge AI）兩種形態。從2012年深度學習開始到2016年、2017年，大部分AI應用都是在雲端開發的。雲端的優勢是計算能力很強、運算速度很快，這是終端無法比擬的，在2014年時，若把一張照片丟到雲端再回來，網路延遲大概是250～1250毫秒（ms）；當時若在終端運算，需要耗時3秒鐘，這種速度當然是無法被接受的。但到了2016年，因為硬體和演算法的進步，終端的網路延遲從3秒鐘一口氣降低到50ms，代表AI在終端是可行的。

發展邊緣AI運算能力的重要原因之一，就是要解決延遲的問題。AI若能更靠近物聯網設備，把原本在雲端的運算引到邊緣設備，由邊緣電腦用更快的速度做出即時決策，這是在雲端解決方案中無法實現的。

Edge AI將成潮流？

聯發科技計算與人工智慧技術群處長吳驊指出，邊緣AI的優勢在於提高智慧深度神經網路（DNN）的執行效率，同時保持良好的準確性，並縮短產品上市的投資與風險。深度學習從2012年開始慢慢走紅，讓機器從蒐集好的數據中進行學習，除了增加準確率，也減少人工的投入，尤其是影像辨識的錯誤率從26％大幅下降到16.4％，2015時已達到人工辨識的水準，錯誤率只有3.6％。

圖一、聯發科技計算與人工智慧技術群處長吳驊

吳碧娥／攝影

另一方面，雲端可能會有大量數據傳輸速度慢、反應不及時、隱私容易洩露等問題，因此若將AI部署在終端，可以省去數據在本地與雲端來回傳遞的過程，不僅反應速度更快，且可避免傳輸過程中洩漏隱私，並能降低整個系統的功耗。吳驊認為，雖然雲端和終端各有優勢，但若終端能克服雲端上無法解決的問題，AI必定會在終端實現；至於終端無法辨識的部分，可也以和雲端計算合作。

邊緣AI運算量快速成長

邊緣AI的運算量正在快速成長，過去深度學習是做影像分類、主體偵測；2018年進入影像分割，運算需求達到500G MACs等級，今年深度學習開始進入影像品質階段，運算效率可能會達到10T MACs等級，意味著邊緣運算量將不斷增加。邊緣AI正在實現新穎的應用，並驅動更高的AI運算能力，因為新興的APP越來越複雜，需要更高的AI能力，為AI裝置設計的系統單晶片（SoC）將比往任何時候都更具挑戰性。

在AIoT 時代，人與設備、設備與設備之間的交流，都有賴於資料安全、超低時延的邊緣AI計算能力。聯發科近日發佈人工智慧加上物聯網的AIoT平台，NeuroPilot是一個以異構運算為基礎，整合軟硬體、完整、開放的人工智慧平台，將CPU、GPU和APU等異構運算功能內建到SoC中，透過Edge AI處理平台生態系統，發展出從智慧手機到智慧家庭、可穿戴、物聯網和聯網汽車所需的全面軟體工具，藉由打造專為邊緣裝置設計的AI處理器，聯發科目標是成為邊緣裝置AI運算的重要推手，攜手產業鏈合作夥伴共同打造AIoT生態圈。

AI Everywhere

聯發科希望透過NeuroPilot AI平台，結合產業鏈其他廠商一起把edge AI做大，要讓人工智慧的快速普及，Edge AI的最高境界就是實現AI Everywhere。為了做到這一點，聯發科的AI平台採用跨操作系統的通用架構，能夠跨平台和跨產品線進行部署，將同一套架構應用到各種智慧型裝置甚至車用電子上，合作夥伴只要編寫一次程式，即可實現處處部署。聯發科正在轉化各種智慧型裝置並創造更多商機，像是掃地機器人不只要會打掃，還要能分辨寵物排泄物；視訊會議要直接能辨識與會者身份、語言自動轉換、還能自動撰寫會議紀錄；車用方面則是投入無人駕駛研發。針對上述情境，聯發科會在已有的裝置解決方案中，進一步帶入AI，從「被動的智慧」化為「主動的智慧」。

吳驊也強調，邊緣AI技術的快速發展將推動更多AI應用，記憶體和散熱將是兩個最關鍵的設備限制，DNN效率提升和專用硬體設計繼續會是關注焦點。

參考資料：2019/5/24「聯發科AI平台應用分享研討會」，吳驊簡報資料

Facebook 在北美智權報粉絲團上追踪我們