生成式 AI 是什麼?
生成式 AI 在相對短的時間內,對世界產生了巨大的影響。使用者運用這項技術,只要輸入簡單的指令,就能產生文情並茂的文字。智慧、回應能力強且類似人類的數位聊天機器人,不需要員工任何程度的參與就能協助客戶。在回覆任何您想像得到的詢問時,幾乎可以立即在內容建立美麗的影像、影片或音訊。
實現生成式 AI 的推手是龐大的資料,以及經過複雜精細訓練的 AI 演算法,而且資料科學家與開發者必須全力以赴,才能確保輸出或體驗符合業務需求。理想的狀況是,AI 會部署於精挑細選的強大硬體,這類硬體能實現這些工作負載需要的低延遲和快速回應,而且不超出預算限制。
生成式 AI 通常是指為了回應使用者提示而產生內容的 AI 解決方案,無論是需求產生電子郵件、美不勝收的景觀,或是生動活潑的聊天機器人回覆。利用 ChatGPT、Stable Diffusion 與 Dall-E 這類技術打造的解決方案,成了每天的頭條新聞,各地組織紛紛想方設法將它們轉化為可具體行動的計畫,讓其改變競爭態勢的價值發揮得淋漓盡致。
生成式 AI 經過非結構化資料集訓練,利用必須仰賴資料科學家和開發者的 Transformer 模型,微調業務需要的輸出或體驗。
希望應用生成式 AI 應對克服業務難題的組織,可以選擇從頭訓練模型,也可以選擇預先訓練的模型,再根據業務需求微調。
生成式 AI 搭配語言 AI 和自然語言處理(NLP)建置及部署,因此 AI 可以處理及理解人類語言。生成式 AI 結合 NLP 能瞭解使用者提示,產生恰到好處的回覆,而且可以是文字、影片、影像或音訊的形式。
生成式 AI 如何運作?
生成式 AI 採用大量資料集,「指導」AI 模型如何回應使用者提示。生成式 AI 模型可以在相似類型的資料與資訊之間找到共同點,建立新的內容。此外,資料科學家和主題專家輸入的內容,也為模型訓練提供了資訊,協助指導演算法學習,引導演算法產生更準確的輸出。
為了實現生成式 AI 解決方案,可以依照組織獨特的需求,量身打造開放原始碼模型。舉例來說,可以依照組織客群基礎與業務模型的特定屬性,訓練通用的 AI 聊天機器人演算法。或者,以另一個例子為例,旨在產生內容行銷用文字的模型,可以進一步專門化或微調,側重於特定產業和目標族群。特定領域的模型也正如雨後春筍般快速出現。相較於更大型的模型,這些模型訓練時使用的資料集更小,也更具針對性。初步結果顯示,如果使用精心挑選的資料訓練,這些小型模型能夠複製大型模型的準確性。
生成式 AI 解決方案使用稱為大型語言模型(LLM)的 AI 分支。這些語言 AI 模型採用深度類神經網路處理及產生文字。這類模型經過大量文字資料訓練,旨在提供連貫又有意義的輸出。LLM 採用 Transformer 架構,以並行方式處理輸入序列,相較於傳統類神經網路,效能與速度獲得了改善。
生成式 AI 和語言 AI 使用案例
生成式 AI 和語言 AI 結合,即可建立新的工具、服務與應用程式,包括:
- 內容生成:自動創作文章、部落格貼文、產品說明和其他書面資料。
- 聊天機器人:客戶可以透過文字或語音互動的權力動態智慧對話式 AI 模型。
- 影像、影片與音訊生成:檢查預先存在的資料,並根據使用者提示,建立新的視覺效果和聲音。
- 語言翻譯:將文字從一種語言翻譯為另一種語言。
- 資料增強:為其他機器學習模型建立合成資料,協助改善模型的準確度與效能。
- 文字摘要:將一大段文字摘要為簡潔的格式,讓讀者能快速瞭解主要觀點與想法。
若要瞭解更多 AI 使用案例,包括語言和生成式 AI 之外的使用案例,請造訪 Intel® AI 使用案例概要。
利用 Intel® 技術訓練及部署生成式 AI
讓生成式 AI 的力量為貴企業效力的關鍵在於,讓速度、成本與規模取得平衡。為了協助您胸有成竹部署生成式 AI 功能,Intel 提供專門打造的軟硬體技術產品組合,合力協助為您簡化計畫並加速 ROI。我們的使命是支援 AI 創新者,以最佳效能、擴充性與成本,視需要在任何地方部署 AI,跨越邊緣、雲端和資料中心。
簡化生成式 AI 訓練與部署的軟體資源
Intel 為開發者與資料科學家提供各種軟體工具與最佳化,可協助在訓練與部署期間,極致改善效能,大幅提高生產力。
針對 PyTorch 與 TensorFlow 這類熱門的資料科學架構,我們提供的最佳化,可在 Intel® 架構上大幅提升效能。我們在 oneAPI 整合性程式設計語言提供 Intel® oneAPI Deep Neural Network Library,並以高度最佳化的方式實作深度學習架構模塊。oneAPI® 整合性程式設計模型也可以用來支援異質硬體平台,減輕開發團隊的工作量。
Intel® Extension for Transformers 則是另一項重要工具,可協助您在 Intel® 平台加速 Transformer 技術的模型。這個工具組具有流暢的模型壓縮使用者體驗、進階軟體最佳化、獨特的壓縮感知執行階段,以及最佳化的模型套件,包括 Stable Diffusion、GPT-J-6BM 與 BLOOM-176B。
此外,我們與 Accenture 合作,提供一系列參考工具組,可協助您更快展開生成式或語言 AI 計畫。
Intel® Distribution of OpenVINO™ 工具組
Intel® 發行版 OpenVINO™ 工具組有助於開發者在開發及部署生成式 AI 時,節省時間並加速成果。這套開放式原始碼工具組可讓開發者編寫一次程式碼,然後部署於任何地方。您可以為 TensorFlow、PyTorch 與 Caffe 等熱門架構轉換及最佳化模型,在 AI 策略所需要的各種類型硬體架構,以加速效能部署模型。
若要馬上開始,請查看 GitHub 上的 Image Generation with Stable Diffusion,以及 Text-to-Image Generation with ControlNet Conditioning 筆記本。
如需搭配 Intel® 發行版 OpenVINO™ 工具組,在 Intel® GPU 與 CPU 使用 Stable Diffusion 的更多詳細資料,也可以參閱這篇文章。
與 Hugging Face 合作發展生成式 AI
為協助生成式 AI 和語言 AI 訓練及創新,Intel 與 Hugging Face 合作,利用這個熱門平台分享 AI 模型與資料集。最引人矚目的是,Hugging Face 是以專為 NLP 打造的 Transformer 資料庫聞名遐邇。
我們與 Hugging Face 合作,打造尖端的軟硬體加速,利用 Transformer 模型訓練、微調及預測。硬體加速由 Intel® Xeon® 可擴充處理器驅動,軟體加速則是由我們最佳化的 AI 軟體工具、架構和資料庫產品組合支援。
Optimum Intel 為 Hugging Face Transformers 資料庫,以及我們在 Intel® 架構加速端對端管道的不同工具和資料庫(包括 Intel® Neural Compressor)提供介面。Intel Labs、UKP Lab 與 Hugging Face 合力同心,打造了 SetFit 這個高效架構,支援 Ssentence Transformers 使用少量樣本微調模型。
此外,Intel 的 Habana® Gaudi® 深度學習加速器透過 Habana® Optimum Library 搭配 Hugging Face 開放原始碼軟體,可讓開發者輕鬆使用 Hugging Face 社群最佳化的龐大模型。
Hugging Face 也針對 Habana® Gaudi®2 在生成式 AI 模型的效能發布了多種評估:Stable Diffusion、T5-3B、BLOOMZ 176B 和 7B,以及全新的 BridgeTower 模型。
Hugging Face 還針對 Intel® 發行版 OpenVINO™ 工具組執行的 Stable Diffusion 提供其他資源。
若要進一步瞭解 Intel 與 Hugging Face 可如何協助您規劃及最佳化生成式和 AI 工作,請造訪:
- 部落格:在 Intel® CPU 微調 Stable Diffusion 模型
- 部落格:在 Intel® CPU 加速 Stable Diffusion 推論
- 部落格:利用 NNCF 與 Hugging Face Optimum 為 Intel® CPU 最佳化 Stable Diffusion
- 部落格:利用 Intel® Xeon® 可擴充處理器加速 PyTorch Transformers,第 1 部
- 部落格:利用第 4 代 Intel® Xeon® 可擴充處理器加速 PyTorch Transformers,第 2 部
- SetFit 網路研討會:正式作業環境中的少量樣本學習
- 利用 Intel 與 Hugging Face 的工具,將 Transformer 模型最佳化
生成式 AI 訓練與部署的硬體建議
雖然合適的軟體工具組是生成式和語言 AI 部署成功的關鍵,但硬體也是不可或缺的一環。AI 從實驗室走入日常使用情境之際,擴充性與永續性已成了訓練和推論的主要考量。
部署生成式或語言 AI 模型的運算要求,因涉及的參數數量而異。訓練模型也是如此。無論計畫規模如何,Intel 都會提供適合您的硬體解決方案。
大規模訓練與推論:Habana® Gaudi®2
大規模訓練、微調與推論生成式 AI 工作負載需要專門的 AI 硬體,Habana® 解決方案正好能派上用場。
視您的訓練與部署需求而定,Habana® Gaudi®2 部署可從單一加速器擴充為由八個加速器 AI 伺服器組成的數千個 Habana® Gaudi®2 叢集。在 Intel® Developer Cloud,您可以探索在 Habana® Gaudi®2 平台執行訓練與推論工作負載的優勢。
若要進一步瞭解 Habana® Gaudi®2 解決方案的進階效能功能,請參閱 https://habana.ai/blog/。
中型訓練與推論:搭載整合式加速器引擎或獨立顯示晶片的 Intel® Xeon® 可擴充處理器
一般來說,我們建議生成式 AI 推論模型的微調,以及要求較不嚴苛的訓練工作負載,使用 Intel® Xeon® 可擴充處理器。這些解決方案若要處理較進階的工作負載,使用獨立 GPU 即可增強。
最新的 Intel® Xeon® 可擴充處理器採用兩個強大的整合式 AI 加速引擎,將部署成本效益提升至最大:
- Intel® Advanced Matrix Extensions (Intel® AMX) 透過專業的架構,最佳化深度學習的訓練和推論工作負載。
- Intel® Auto Mixed Precision (Intel® AMP) 同時利用單精度(32 位元)和半精度(16 位元)表示法,加速訓練並大幅提升記憶體效率。
若充分利用這些整合式功能,無須投資專業硬體,使用 Intel® Xeon® 可擴充處理器,即可支援要求更嚴苛的推論與訓練工作負載 這樣一來,AI 解決方案的成本效率與擴充性便可大幅提升。
小型推論:搭載整合式或獨立顯示晶片的 Intel® Core® 處理器
若為基本推斷工作(包括邊緣部署),則可部署 Intel® Core™ Ultra 處理器,既能滿足效能需求,還可將成本效益發揮到極致。這些處理器內建顯示晶片,可處理許多複雜度低的推論工作。若要改善效能,支援更高的複雜度,也可使用 Intel® Arc™ 顯示晶片增強處理器。
此外,Intel® Core™ Ultra 處理器透過強大的內建顯示晶片功能,或是利用獨立顯示晶片加速器增強,也可為複雜的工作負載提供高效能推斷功能。推論若採用通用型 CPU,則可視需求變化,透過支援更廣泛的工作負載,增強整體靈活度。
立即開始在 Intel® AI 平台建置
Intel® AI 軟硬體產品組合兼具廣度與深度,提供無數種方式,可信心十足地以最低風險和最高靈活度追求 AI 創新。無論您是從頭訓練模型、微調現有演算法,還是尋求大規模執行進階推斷的途徑,我們都能隨時幫助您的生成式語言 AI 計畫馬到成功。
若要進一步瞭解我們全方位的 AI 產品組合,並且進一步探索如何從 Intel® 技術受益,請造訪: