「(去年以前,)我們一個月的(AI)成本大概就一千多塊美元,很少超過;今年開始,尤其從一月起,就是每個月都是double(翻倍)在起跳。」軟體公司多奇數位創意技術總監黃保翕所描述的狀況,其實也是許多企業正在面臨的挑戰。
隨著企業員工對於使用AI工具越來越上手,當AI開始成為企業營運流程的一部分,隨之而來的,就是飆升的Token用量。由於每使用一個Token就要付給模型商一個對應的金額,Token支出逐漸成為企業財報上無法被忽視的成本。
要想避免AI從賺錢幫手,瞬間變成吃掉利潤的怪獸,企業首先必須掌握一個核心觀念:重點,不在Token用量最小化,而是要做到不浪費。
關鍵一》以透明化為根本
公開用量、分段驗證法檢視價值
要如何不浪費呢?第一根基礎支柱,就是建立「Token的使用透明度」。
雖然Token已經成為AI時代的新計價單位,讓人力成本、生產力有了衡量標準,但如果沒辦法看清楚每一筆Token的來源和去向,AI依然是一筆模糊帳。
反之,波士頓顧問公司(BCG)台北分公司董事總經理暨全球資深合夥人徐瑞廷指出,當一家企業有了使用Token的透明度,下一步就有辦法做最佳化的資源配置、效益評估。
以台灣AI公司Appier為例,他們在內部設有「儀表板」,可以用來追蹤每個人的Token用量。
該公司執行長游直翰強調,儀表板的重點,不只是要掌握每個人的用量,更是要了解這些用量、以及各項生產力指標之間的連結,以確認花出去的Token,是否被用得有價值。
舉例來說,如果今天使用AI的目的是要降低支出,那最直接的指標,就是「確認花出去的Token費用,是否低於因此節省的人均工時費用」,又或者有些使用效益雖然無法與商業目標直接連結,還是可以採取「分階段驗證」的方式。
以業務員為例,第一階段可以先觀察,當Token用量增加,業務在同時間內可以拜訪的客戶數是否也提高;第二階段再確認,客戶數增加後,業務提案成功的投報率是否也跟著拉高;最後,再去檢視這是否反映到最終的營收貢獻。
游直翰表示,建立這樣的驗證機制,有助於內部建立更重視「投報率」的文化,也可以更即時對異常狀況做出反應,而不會在收到帳單那一刻,才對Token花費感到後悔。
透明化在多奇數位的身上,則是帶來了另一種效果。
黃保翕表示,在他們公司內部,有一個公開的「員工每日Token用量排行榜」。
這個排行榜除了可以讓他即時注意到異常用量,另一個好處,就是員工也會開始意識到自己的Token用量是會被看見的。
「(使用者)在沒有焦慮的情況下,不會想要節省成本。」黃保翕認為,這是人之常情,但一旦有了關注,自然就會改變行為,例如在對AI下指令之前,多思考一步Token耗用的合理性。
多奇數位的AI帳單,在今年五月大幅飆升,超過一萬五千美元,他們當月觀察到Token用量飆升後,便開始推出公開排行榜等舉措,接著六月的帳單金額就縮減到只剩五分之一。
關鍵二》提升員工AI素養
了解各使用情境、挑選適合模型
不過,即使有想改變行為的意識,如果沒有先具備知道如何改變的判斷力,那也是白搭,這就帶出了企業Token管理的第二根支柱:「強化AI素養的重要性」。
游直翰舉例,不論是不斷用高階模型去解簡單任務,還是用低階模型花費更長時間去解困難任務,都是一種浪費。
但在員工已經先具備基礎AI素養的情況下,在使用AI時自然會知道,每一項任務都有它最適配的模型,那就可以降低很多無效的Token耗用。
就像是同樣用AI翻譯一本書,黃保翕只多做了一個步驟,就讓翻譯成本降到別人的十分之一。
「我拿最聰明的模型幫我規畫翻譯的策略,再用最便宜的模型做翻譯,我只是這樣而已。」他說。
當一個組織成員的AI素養越高,Token的浪費就越有機會降至最低。試想,如果是一家百人企業,一個人省下一百個Token,那全公司就能省下一萬個Token的浪費。
而且奠基於高AI素養所形塑出來的判斷力,能夠創造的節省,對企業其實是一個一路疊加的連鎖效應。
「假設我今天的使用情境很清楚,那我需要的模型就不會太大,需要的算力也不用太多,電力消耗就不會太高。」Google機器學習開發專家、APMIC執行長吳柏翰說。
反過來說,企業因為一個失準的判斷,所要付出的代價,也絕對不會只是被浪費掉的Token成本而已。
抓住「不浪費」這個核心概念,站穩「透明化」和「AI素養」兩大支柱,那你已經走在Token效益最大化的路上。