Yahoo奇摩財經 
【Yahoo專訪】AI民主化是最終願景 曾志光：未來各種裝置因有了AI而更具價值
Chat GPT的問世，在全球掀起一波生成式AI浪潮，也意味著AI的發展跨出了一大步。AI 從最初回答問題到執行簡單的行為（例如 Amazon Echo），到Chat GPT的互動問答，凸顯出AI角色已從助理轉變為人類的得力助手，開始能協助處理複雜的步驟，例如撰寫文章。
Arm台灣總裁曾志光表示，2023年是生成式AI的元年，OpenAI也是今年才做 Developer Conference，所以現階段AI還有很多應用尚未被開發，但當未來越來越多AI功能被放到手機、電腦上時，硬體端就要有足夠的效能去搭載AI算力。
【Yahoo專訪】從Arm轉戰新創再回鍋 Arm台灣總裁曾志光：找到喜歡的事才是最重要的
從整體來說，在邊緣裝置執行AI推論是未來必然趨勢，這也包含了生成式AI的推論；如今AI PC成為產業熱門話題，但Arm認為，除了PC外，將來各種終端裝置都未因為加入了AI而更有價值。
「AI民主化也是需要這個領域需要考量的關鍵，但要落實這項概念，對當前的基礎是困難的，尤其是生成式AI特別難。」曾志光說。
舉例來說，以Chat GPT-4.0來看，它大概需要的一兆（trillion）的參數，若要把Chat GPT-4.0的參數簡化放到手機、PC等終端產品上，可想而知將是非常龐大，特別是在能源消耗上面；譬如以一個16奈米的CPU去執行1TB記憶體的內容，就需要一瓦的能耗，若將AI算力放入手機、錄音筆等這些吃電池的產品來說將更是困難。
「所以，若想達到AI民主化，除了必須讓裝置的AI運算功能提升、簡化模型使其具備Hybrid模式，同時使用者也必須時常跟AI互動已保有即時性，才能協助做出最適當的選擇；而這，正是Arm負責的領域。」曾志光說。
從三面向加速實現AI民主化
為此，Arm從三面向積極推動AI發展。首先是強化異質運算能力，曾志光說明，在AI領域，異質計算（Heterogeneous computing）是開發時必然要考量的基本架構。以（德國投機大師科斯托蘭尼）「老人與狗」的理論為例，演算法在AI領域的角色可比喻為狗，其支援的硬體平台可比喻為老人，演算法會隨著時間不斷變形塑造，而硬體平台則是根據演算法的改變而指令執行，因此如何找到方法，將最新的演算法和硬體平台做完美的結合，就是這個產業的開發人員必須解決的首要重點。
【Yahoo專訪】Arm發起半導體教育聯盟 曾志光：加速人才養成、連結AI民主化願景
曾志光表示，以Arm為例，便將過去HPC處理器規格的算力，憑藉著Arm第九代指令集，如今在終端產品的手機就能實現；Arm提供一個良好的生態系統，協助演算法的開發人員將其演算法，結合到適合的硬體裝置上完成更佳的AI運算。
其次是推動AI on device（裝置上的 AI）。曾志光說明，Arm從系統面跟做架構的公司合作，以此加強我們IP的基本AI運算功能，再加上演算法工程師的協助，將大型語言模型簡化成7個Billion、13個Billion、33個Billion的參數都好，並有能在用戶手機、平板、電腦上使用的生成式AI功能。目前我們合作夥伴發表的SoC已經可做到這類邊緣式AI功能，像是聯發科新發表的天璣9300，就搭載了更多生成式AI功能。
最後，由於許多裝置必須依靠電池才能運行，當該裝置需要長時間的運行同時又需要 AI 功能，就必須從「省電」的角度去設計。換言之，AI的發展除了效能的進化，功耗也是重要的改進項目。
「要做到AI民主化，首先要做的就是能源最佳化，落實在低功耗的情況下，具備AI功能。」曾志光強調。
為此，Arm針對市場對微小功率（Mini Watt）市場的需求，不僅提供Cortex-M系列CPU，同時在向量擴充指令集（Vector Extensions）提供了Helium技術，可協助機器學習 (ML) 與數位訊號處理 (DSP) 應用大幅提升效能，使小型低功耗嵌入式系統能夠應對許多應用中的運算挑戰，例如音訊裝置、感測器中樞設備、關鍵字識別和語音命令控制、電力電子、通訊和靜止影像處理。
該項技術在Cortex-M55和Cortex-M85都有搭載，如今為了進一步加快AI民主化腳步，Arm在近期更發表專為人工智慧物聯網（AIoT）應用設計的Arm Cortex-M52，同樣也搭載了Helium技術，可因應各種人工智慧物聯網應用需求，在終端裝置部署更多運算密集的機器學習推論演算法。
舉例來說，舉例來說，若家中的門鈴可具備簡單識別的功能，這樣即使屋主不在家也能開門讓郵差把包裹放進家中；或是當人們入眠時，當有不明物體靠近，這項裝置能有人臉識別功能，經由精準的判斷後，啟動對應機制，如錄影、傳簡訊、甚至是啟動警報。
曾志光補充，要達成上述所說的功能，不見得需要用到生成式AI，只需要最基本、簡單的AI功能就能達成，但它就能開拓AI使用的範圍；雖然這種AI功能相較於生成式AI來說沒有那麼有趣，但它對於日常生活的運用具有非常大的幫助。
「所謂的AI民主化，就是讓所有人在所有狀況下都可以用，雖然這個想法需要很長一段時間去落實，但AI一定會隨著時間推進慢慢進行演算法優化，前提是必須先具備足夠效能的硬體才有機會去提升並實現 Device AI的願景。」曾志光說。
Yahoo財經大人物介紹
由Yahoo財經特派記者以專訪企業人物為主軸，搭配企業經營及人物側寫等資訊，以企業CEO層級的角度提供讀者更多元的視野認識企業，「Yahoo財經大人物」每雙周二推出。更多專訪內容，請連結至專題。
看更多Yahoo財經大人物
Yahoo財經特派記者 侯冠州：自進入新聞產業後便於科技領域鑽研，採訪足跡遍及台積電、鴻海、NVIDIA、Arm等外商與台企，期許能在瞬息萬變的科技產業中提供讀者真實、專業的新聞內容。
