企業AI擴張成本飆升 邊緣運算成永續發展關鍵

商傳媒｜葉安庭／綜合外電報導

隨著人工智慧（AI）技術日益普及，企業正積極將其大規模應用於日常營運，但《Business Insider》分析指出，這種AI擴張模式正導致成本急速攀升，促使企業必須發展一套全新的「AI數學」思維來進行規劃與管理。

傳統的預算編列方式已不足以應對規模化AI部署所帶來的隱藏成本，特別是當前盛行的代理式人工智慧（agentic AI），由於其每個任務可能需要多達數十次模型互動，會消耗大量 Token（AI處理資訊的基本單位，通常用於計費）。雖然從 2022 年 11 月到 2024 年 10 月，查詢像 GPT-3.5 級模型的 Token 成本已從每百萬美元 20 元大幅下降至 0.07 美元，但代理式模型對 Token 的消耗量是一般生成式人工智慧（GenAI）聊天機器人的 5 到 30 倍，因此整體推論成本仍將顯著增加。為此，「Tokenomics」（Token 經濟學）已成為企業AI成本策略中的關鍵考量，而單純限制員工的 Token 使用量並非長久之計。

高德納諮詢公司（Gartner）建議，企業應針對不同AI工作負載，採取精準的部署策略。例如，對於重複性高且頻繁執行的任務，可採用小型、特定領域的語言模型；而對於高價值且複雜的推理任務，則保留昂貴的尖端模型。高通（Qualcomm）全球市場運算銷售副總裁 Jason Banta 指出，許多企業IT主管在預算規劃時，並未充分考量這類多模型互動的工作流程。他表示：「領導者需要用全新的方式來計算AI時代的總體擁有成本（Total Cost of Ownership, TCO）。」

為有效控制成本並提升效益，企業開始轉向邊緣運算（On-device AI）。將部分AI運算直接部署在終端裝置上，不僅能降低推論成本、減少能源消耗及AI碳足跡，還能提供更高的資料安全性與隱私保護，這對於受嚴格法規管制的產業尤其重要。根據一份美國數據中心能源使用報告預估，到 2030 年，美國數據中心的電力消耗可能佔全國總耗電量的 9.5% 至 15.3%。透過在終端裝置上執行如摘要、轉錄、草擬、翻譯、搜尋和影像清理等高頻率AI任務，能有效減輕雲端資料中心的負擔。

Jason Banta 進一步說明，許多常規的代理式工作流程，例如分類與摘要，都能透過小型或中型模型直接在裝置上完成。他強調：「將AI工作負載部署在最合理的位置，無論是終端裝置或雲端，都始於一個基礎性選擇：為組織AI策略提供動力的晶片平台。」高通提供的解決方案，旨在協助企業在成本、效能、安全性和使用者體驗之間取得平衡，從而實現永續的企業級AI應用。因此，企業需要建構一套客製化的AI架構框架，並以實現價值與控制成本並重，才能確保AI的規模化擴張能帶來最大的效益。