AIGC（生成式AI）可以說是近年來科技產業最大的進展，諸如ChatGPT以及Stable Diffusion等應用的興起，不論作為個人助手、輔助內容創作，或者是廣告設計製作，都帶給產業很大的衝擊，激發很多新的想法。然而目前這些應用都還是透過雲端實現，這也帶給產業很多資安方面的疑慮，比如說三星的製程機密資料外洩事件，以及各大科技公司紛紛禁止公司員工使用ChatGPT之類的服務，都讓業界思考，或許應該把AIGC往終端推動，藉以解決資安的問題，並希望降低成本。AIGC的核心技術是LLM，也就是大型語言模型，在全球科技大廠競相追逐相關模型的建立與發展時，台灣也沒有自外於世界潮流，產學界都全力跟上這波潮流，推動LLM的相關技術發展。

圖片來源 : shutterstock、達志影像

八月中於台灣國立陽明交通大學所舉辦的LLM產學技術交流會中，來自產業、學界與政府單位的各路專家分享了許多針對LLM（大型語言模型）的技術發展以及未來應用的展望，會中提出了包括智慧製造、永續發展、大型模型發展機會、社會責任以及國家網路中心的服務應用與AI技術產業落地等六大項目。

而其中最令人關注的，還是諸如業界對於AIGC未來應用的展望，以及國家高速網路與計算中心主任張朝亮對發展自有大型語言模型的推動的深刻觀點。

聯發科在主題演講中提到未來AIGC在終端的發展潛力，指出該公司已於此應用領域之相關技術與生態布局很久。事實上，在交流會結束後沒幾天，聯發科就公開了他們與Meta合作，要將AIGC應用引進智慧型手機晶片的計畫[1]。

張朝亮主任也在演說中直指未來AIGC走向邊緣或終端是趨勢。

驅動AIGC往終端發展的關鍵因素

近年來，AIGC模型取得了長足發展，代表性的ChatGPT等語言模型已經可以實現基本的人機對話，並協助人類完成各種創意或日常工作。然而大型AIGC模型通常需要大量運算資源，目前主要依靠雲端運算平台部署，比如OpenAI的GPT模型就部署在微軟的Azure雲平台上。隨著模型規模不斷增大，其運行成本也在飛速增長。

為降低成本並擴大使用場景，AIGC未來必將向終端設備轉移。一方面通過模型壓縮等技術手段實現AIGC在終端的部署；另一方面終端設備的大量用戶基礎也為AIGC提供了廣闊的應用空間。除了經濟考量，終端AIGC還具有保護用戶隱私、低延遲即時運算以及隨身便攜使用等優勢。可以預見，AIGC將在手機、耳機、汽車等終端設備上大規模落地，推動終端設備產業的新一輪革新。

第一，降低成本。終端運算可以避免積累大量運營開支，對於商業化應用更加經濟高效。隨著AIGC模型日益複雜，其運算成本也在飛速增長。根據Analytic India Magazine發布的研究報告指出，單ChatGPT的日常運營就需要花費約70萬美元。若是放在中小企業乃至大公司，都是沉重的負擔。如果轉移到終端，就可以避免雲運算的高額訂閱和交易費用，降低商業化應用的門檻。

第二，改善用戶體驗。本地運算可以實現更快速的響應，提高交互的即時性。對話系統和創作助手等應用，都需要低延時的即時體驗。如果全部依賴雲端運算，既不能實現毫秒級的響應，也增加了網路不穩定的風險。轉移到終端後，用戶體驗可以得到全面提升。

第三，保護隱私。本地運算可以避免個人數據外流，更有利於保護用戶隱私。AIGC應用往往需要處理用戶的個人信息，如果這些敏感數據上傳到雲端，可能會遭到濫用。終端計算則可以將敏感操作局限在設備內部，減少數據外泄的風險。

第四，提高可靠性。終端計算免去對網路的依賴，運行更加穩定可靠。一旦網路中斷，雲端應用就會完全失效。而終端計算則可以在離線的情況下持續運行，大大提升了應用的可靠性。這對於一些敏感場景的應用尤為重要。

第五，拓展應用場景。終端的可攜性更有利於AIGC在移動、旅行等多樣場景的應用。雲端運算要求時刻保持網路連接，這對於外出旅行的情形不夠友好。而可攜式終端設備則可以隨時隨地使用AIGC功能。這也大大拓寬了AIGC技術的應用場景。

終端產品迎接AIGC的技術布局

面對AIGC浪潮，終端設備正在進行大規模的技術升級以滿足模型運行的需求。

從晶片角度看，高通、聯發科等頂級晶片商已將AIGC能力的強化作為重點發展方向。高通計劃在今年10月發布的驍龍8 Gen 3晶片中加入AIGC運算單元；聯發科也宣布將在年底的旗艦晶片整合META的LLM模型，未來更將擴及應用在數位家庭甚至車用等智慧終端上。可以預見，未來絕大多數旗艦手機都將內置AIGC運算能力。也有像耐能這類AI晶片公司推出針對AIGC應用的終端與邊緣AI晶片產品，這些晶片公司都在快速推動性能升級，未來要執行複雜的內容生成工作都不會是問題。

從系統平台來看，Android和Windows等主流作業系統也在導入AIGC支援。Google I/O大會曾宣布將在Android系統中引入AIGC框架；微軟曾在Build 2022開發者大會則提出將AIGC引入Windows 11。這些都為終端AIGC的部署建立了堅實的生態基礎。

最後從框架層面看，目前正有多個機器學習框架致力於AIGC模型的最佳化。其中MobileNet、TensorFlow Lite和Core ML等框架可以幫助開發者輕鬆將AIGC模型部署到手機和其他終端設備上。這為AIGC在邊緣或終端上的快速商業化應用奠定基礎。

首當其衝的終端產品

目前，多款首批內置AIGC的終端產品已經面世或即將推出。

智慧型手機是當仁不讓的首選，蘋果iPhone 14 Pro系列手機已經內置Core ML框架，支持基本的影像生成功能；Google Pixel 8手機也宣布加入AIGC支援。隨著驍龍8 Gen 3等新一代晶片的推出，屆時旗艦手機完成從雲端到終端的AIGC轉移只是時間問題。

其次是智慧型耳機，蘋果的AirPods Max已經啟用AIGC翻譯等功能。隨著骨傳導技術的發展，支持AIGC的智慧耳機有望成為與智慧手機並駕齊驅的重要終端形式。

智慧型汽車也是重點終端領域。特斯拉的Model S和Model X已宣布內置AIGC運算單元，未來整車AIGC有望實現。這將帶來更人性化的用戶體驗，比如AIGC導航和備忘系統等。

終端AIGC將催生新應用

隨著AIGC在終端設備的落地，許多潛在的新應用即將出籠。

在智慧手機領域，利用本地知識圖譜，AIGC可以實現更個性化的搜索和推薦功能，理解用戶的實際需求並作出回應。此外，基於內置語音助手和AIGC模型，智慧手機可以實現與用戶的自然對話，提供即時的、泛用的AI助手服務。在創作方面，AIGC也可直接在手機上完成文生圖、文生音等任務，為用戶提供即時的內容創作能力。

智慧型耳機和其他可穿戴設備在引入AIGC後，將實現跨語言的即時翻譯，免去手動操作的麻煩，也可直接將語音轉換為文字。此外，AIGC也將賦能更自然的人機交互界面，以及基於語音的複雜操作指令等。

對汽車來說，AIGC導航系統可以根據實際路況自動調整建議路線；智慧型備忘系統可以提醒駕駛者注意事項，並可以像Siri那樣回答各種問題。AIGC將為未來的智慧出行提供強大支撐。

終端AIGC面臨的挑戰

儘管應用前景廣闊，終端AIGC在商業化道路上也會遇到一些挑戰。

首先是安全性，如何避免模型被非法使用或濫用是個重要課題，需要在系統層面實現權限管控和監測機制。此外，模型本身也可能存在安全漏洞，這需要持續評估和修正。

其次，目前終端設備的計算能力與記憶體資源仍然有限，難以支撐大規模AIGC模型的運行，這需要通過模型壓縮、量化等方法進行最佳化。且部分複雜任務仍需借助雲端支援，終端設備需要具備雲端協同的能力。另外，且AIGC生產的內容也可能不適合某些年齡段的使用者或者有違反道德的可能，需要系統設計去避免或者在某種程度上對內容進行審核。

總體而言，儘管終端AIGC前景巨大，但技術難關仍然存在。業界需要通過創新技術與商業模式設計去應對這些挑戰。

備註：

Facebook 在北美智權報粉絲團上追踪我們