經過五十年，矽谷熱門話題終於從大數據、APP、SaaS，回歸到當初矽谷崛起的緣由：晶片，只是這次的主角從 CPU 變成 GPU。
從 OpenAI 這樣的 AI 新創，到微軟、Google 和亞馬遜這三大公有雲，以及雲端服務新挑戰者 CoreWeave 和 Lambda，再到 Meta、Tesla 等有 AI 需求的科技大廠，都在想辦法搶下更多 GPU 算力。
GPU 不只能拿來訓練AI模型，更成為一種官方認證的「新資產」。在 2023 年，雲端服務新創 CoreWeave 以 Nvidia 熱門晶片 H100 GPU 當作抵押品，成功獲得高達 23 億美元的債務融資。這也造就在 GPU 市場絕對領先的 Nvidia，市值在過去一年成長超過兩倍，躍升為僅次於微軟和 Meta 的全美第三大企業。
然而，GPU 供不應求，已經成為當下 AI 發展最大的瓶頸。例如 2023 年底，OpenAI 就曾因 GPU 算力不足，而不得不暫停新用戶註冊數週。我也聽到身邊的創業者分享，現在若想透過公有雲服務取得 GPU 算力，至少需等一到兩季。也難怪，儘管有微軟的算力支援，最近仍傳出 OpenAI 執行長 Sam Altman 為了打造自己的AI晶片工廠，正在募集約 7 兆美元資金。
GPU 短缺不只掀起科技巨頭們的「軍備戰」，也墊高 AI 新創的創業門檻。首先是，AI算力目前的分配極度不平均，根據估計，Nvidia 最新款 GPU 僅有不到 6% 是流向新創，讓新創取得 AI 算力變得更困難。再加上，AI 創業者如今在開發產品、找到用戶以前，得先募到數億美元的資金，想辦法取得用於開發和優化 AI 模型的算力，最後才能開始開發應用服務，跟以往開發 SaaS 或 APP 的創業邏輯完全不同。
然而，這波 AI 算力短缺的現象，短時間內可能還很難消退，甚至還會再加劇。原因是，我們正在從通用運算（general-purpose computing）轉到專用運算（niche computing）。簡單來說，就是未來晶片將變得更多元，因應其搭載的裝置和應用類型而有不同的設計。例如，AI 生成影片跟生成文字所需要的算力就不同；我們也看到Google推出專為類神經網路設計的 TPU（Tensor Processing Unit）晶片，以及 AI 新創 Groq 推出專為大型語言模型設計的 LPU（Language Processing Unit）晶片。
當晶片用途變得更細分，我們很難再像過去一樣，僅靠少數雲端大廠提供如此多樣化的晶片算力。當算力變得更分散，「找算力」這件事將變得更挑戰。
在這趨勢下，受惠的除了 Nvidia、台積電等晶片商，我認為，另一個機會點在於改善「分配」——誰能將既有閒置算力以更有效率的方式重新分配，誰就能吃下商機。很難想像在 GPU 如此短缺的現在，還會有閒置的 GPU 算力吧？不過數據指出，近年美國資料中心的使用率僅有12-18%，顯示資料中心的資源分配仍有許多優化空間。
心元投資的雲端 GPU 運算新創 Inference.ai 就是妥善掌握「分配」商機的例子。其主打「GPU版的 Airbnb」，將各地資料中心閒置的 GPU，媒合給有 AI 算力需求，但不想自行搭建 GPU 伺服器的企業。他們也開發出「ChatGPU」，這款聊天機器人會針對客戶的開發需求，推薦適合的晶片款式和數量。在過去，採購 AI 算力就像是在盲開「黑盒子」，很難估計要達到特定精準度的 AI 模型，需要多少算力、花多久時間，而 Inference.ai 因事前對不同 AI 模型做了許多測試，因此能對標出用戶需要多少算力、找到哪裡有這項閒置算力，並提供用戶該算力。
就如文章開頭提到的，GPU 供不應求在許多人眼中是發展瓶頸，不過看在優秀創業者眼裡卻成為擁有巨大機會的創業點子。相信只要保有這樣的心態，一定能幫助我們在新時代開啟、市場面臨洗牌和重組時，找到最能發揮自己優勢的位置！
本篇文章授權刊登於《數位時代》專欄
