NVIDIA 推出用於大型語言模型和生成式人工智慧工作負載的推論平台

市場快訊

本新聞稿由「NVIDIA」提供。

NVIDIA 宣布推出四款推論平台，可針對近來快速出現的各種生成式人工智慧應用程式進行最佳化調整，幫助開發人員快速建立專門的人工智慧應用程式，以提供新的服務和洞察。

這些平台將 NVIDIA 的整套推論軟體與最新的 NVIDIA Ada、Hopper 和 Grace Hopper 處理器結合在一起，處理器方面還包括今日推出的 NVIDIA L4 Tensor Core GPU 及 NVIDIA H100 NVL GPU。各平台均針對有著嚴苛需求的不同工作負載進行了最佳化調整，包括人工智慧影片、影像生成、大型語言模型部署和推薦系統推論。

NVIDIA 創辦人暨執行長黃仁勳表示：「生成式人工智慧的興起需要有更強大的推論運算平台加以支援。生成式人工智慧的應用有無窮的可能性，僅受限於人類的想像力。我們將最強大靈活的推論運算平台提供給開發人員使用，將加快推動開發出各種新式服務，用目前還想像不到的方式，讓我們的生活更美好。」

加速執行生成式人工智慧的各種推論工作負載

每個平台都有一個針對特定生成式人工智慧推論工作負載進行最佳化的 NVIDIA GPU，以及專用軟體：

  • 用於人工智慧影片的 NVIDIA L4 
    可以提供較 CPU 高出 120 倍的人工智慧影片生成效能，能源使用效率也高出99%。NVIDIA L4 可以處理幾乎所有工作負載，其提供了更強大的影片解碼和轉碼能力、視訊串流、擴增實境、生成式人工智慧影片等。

  • 用於影像生成的 NVIDIA L40 
    針對繪圖和人工智慧 2D、影片和 3D 影像生成進行了最佳化調整。L40 平台是用在資料中心建立和運行元宇宙應用程式之 NVIDIA Omniverse™ 平台的引擎，在執行 Stable Diffusion 時的推論表現是前一代產品的７倍，在運行 Omniverse 平台時的效能是前一代產品的 12 倍。

  • 用於部署大型語言模型的 NVIDIA H100 NVL 
    部署像是 ChatGPT 等大規模 LLM 的理想選擇。新款 H100 NVL 擁有 94GB 的記憶體及 Transformer 引擎加速功能，在資料中心規模上執行 GPT-3 推論作業的效能是前一代 A100 的12倍。

  • 用於推薦模型的 NVIDIA Grace Hopper 
    是圖形推薦模型、向量圖形資料庫和繪圖神經網路的理想選擇。CPU 與 GPU 之間採用每秒 900 GB NVLink-C2C 連線技術，Grace Hopper 的資料傳輸和查詢速度較 PCIe Gen 5 快上７倍。

廣告

這些平台的軟體層採用 NVIDIA AI Enterprise 軟體套件，其中包括用於高效能深度學習推論的軟體開發套件 NVIDIA TensorRT™，以及協助標準化模型部署的開放原始碼推論服務軟體 NVIDIA Triton 推論伺服器™。

早期採用與支持

Google Cloud 是 NVIDIA 推論平台重要的雲端合作夥伴和早期客戶，將把 L4 平台與旗下的機器學習平台 Vertex AI 進行整合，而且還是第一個提供 L4 執行個體的雲端服務供應商，在今日開始提供 G2 虛擬機器非公開的專屬預覽。

NVIDIA 與 Google 今日分別宣布兩間在 Google Cloud 上搶先試用 L4 的公司，一間是使用生成式人工智慧協助創作者製作影片和 podcast 內容的 Descript 公司，另外一間是將其人工智慧文字轉數位藝術應用程式命名為 Dream 的 WOMBO公司。

另一個早期採用者快手（Kuaishou）則是提供短影片應用程式，利用 GPU 解碼傳入的即時串流媒體影片、擷取關鍵影格、最佳化聲音和影片內容。快手接著使用一個基於 Transformer  模型的大型模型來理解多模式內容，以及提高全球數億名用戶的點擊率。

快手科技資深副總裁于越表示：「每天有超過 3.6 億名用戶使用快手的推薦系統，這些用戶每天投稿三千萬條使用者生成內容影片。與總持有成本相同的 CPU 相比，NVIDIA GPU 將系統的端到端處理量提高了 11 倍，將延遲情況減少了 20%。」

生成式人工智慧技術平台 D-ID 使用 NVIDIA L40 GPU，透過文字產生出栩栩如生的數位人，協助專業人士製作出更精美的影片內容——能為所有內容加上一張臉，又降低了大量製作影片的成本和困難。

D-ID 研發部門副總裁 Or Gorodissky 表示：「L40 的表現太棒了，使用它可以將推論速度提高一倍。D-ID 很高興在產品中使用這個新硬體，它讓我們能夠用前所未有的效能和解析度以即時串流方式播放人工智慧所打造出的數位人，同時降低運算成本。」

人工智慧製作工作室 Seyhan Lee 使用生成式人工智慧技術，為電影、廣播和娛樂產業開發沉浸式體驗和引人入勝的創意內容。

Seyhan Lee 工作室共同創辦人 Pinar Demirdag 表示：「L40 GPU 大幅提升我們生成式人工智慧應用程式的效能，利用 L40 的推論能力和記憶體大小，我們可以部署最先進的模型，且以超高速度和超高準確度將創意服務提供給客戶。」

語言人工智慧領域的先驅業者 Cohere 所運行的平台協助開發人員能夠建立自然語言模型，同時保有資料的私密性和安全性。

Cohere 執行長 Aidan Gomez 表示：「NVIDIA 的全新高效能 H100 推論平台讓我們可以使用最先進的生成式模型，提供更好、更高效的服務給客戶，以支援對話式人工智慧、多語言企業搜尋和資訊抽取等各種 NLP 應用程式的運作。」

上市時間

Grace Hopper Superchip 及 H100 NVL GPU 預計在下半年開始供貨，此外，現在也可立即透過 NVIDIA 的全球電腦製造商及雲端服務供應商合作夥伴，取得用於生成式人工智慧的 NVIDIA 推論平台。

現已在 Google Cloud 平台上開放 NVIDIA L4 GPU 非公開專屬預覽，全球超過三十家的電腦製造商通路也將開始供貨，包括研華、華碩、源訊（Atos）、思科（Cisco）、戴爾（Dell Technologies）、富士通、技嘉、慧與科技（Hewlett Packard Enterprise）、聯想（Lenovo）、雲達科技（QCT）和 美超微（Supermicro）。

華碩、戴爾（Dell Technologies）、技嘉、聯想（Lenovo）和美超微（Supermicro）等大型系統建置商現已開始提供 NVIDIA L40 GPU，而合作平台的數量將在接下來一整年裡不斷增加。

各大雲端服務供應商及數十家系統供應商和合作夥伴現已開始提供 NVIDIA AI Enterprise。NVIDIA AI Enterprise 的客戶可以獲得 NVIDIA Enterprise Support 支援服務，以及定期檢測 NVIDIA Triton 推論伺服器™、TensorRT™、超過五十個預先訓練好的模型和框架的安全性與 API 穩定性的服務。

在 NVIDIA LaunchPad 的實作實驗室中，可以立即免費試用生成式人工智慧 NVIDIA 推論平台。示範實驗室包括訓練和部署一個支援性質的聊天機器人、部署一個端到端的人工智慧工作負載、在 H100 上調整和部署一個語言模型，以及使用 NVIDIA Triton 部署一個詐欺偵測模型。

聯絡商益

相關內容

  • 華南金股東會紀念品880元SNOOPY碗要萌翻41萬股東 零股也有份

    華南金控今（26）日公布今年股東會紀念品，繼去年的卡娜赫拉大受歡迎，今年續打討喜的可愛風、賣萌，推出約 880 元的「SNOOPY 事事如意碗組」，每組 4 件印有史努比圖樣的碗，討好 41 萬個小股東 。

  • 10年維修成本誰最省？ 美消費者報告：特斯拉勝豐田

    車子在路上奔馳，難免需要維修保養，根據美國《消費者報告》（Consumer Reports）調查，在眾多汽車品牌當中，特斯拉（Tesla）的電動車在長達10年的維修開銷，對比豐田（Toyota）、別克（Buick）等廠牌都更便宜。

    1

  • 小禎代言「PopChill拍拍圈」！ 注意3件事 雙重驗證不怕買到假包

    商傳媒｜記者陳品縈／綜合報導對於剛出社會的小資男女來說，二手精品也是非常適合的選擇。圖/PopChill拍拍圈提供台灣知名藝人胡盈禎近日宣布成為二手精品平台「PopChill拍拍圈」台灣及香港的品牌代言人。記者會中，小禎從過往豐富的買包經驗中，發現二手精品交易具有極高的性價比，面對近期精品市場價格的急速上漲，不僅將閒置精品出售可以獲利，還可以購入相較市場平價的包款。這次代言人合作，更看準拍拍圈首創的「安心購」服務，正品鑑定、專人品質檢查兩階段驗證，降低消費者買到假貨的風險。小禎買包兼投資！分享在PopChill拍拍圈買二手精品3大秘訣身為精品達人，小禎大方分享多種可以划算購入包包的管道，包括代購、二手精品店，或是直接出國購買。小禎也分享她投資精品的經驗：二手精品購買秘訣1：保值率高首先會選擇保值率高的品牌，如 Hermes, Chanel 等，但這些品牌的包包有等待配貨期、市場上不一定找得到，這時就可以從二手精品市場購入。另外，小禎特別提到，對於剛出社會的小資男女來說，二手精品也是非常適合的選擇，因為在預算有限的情況下，他們可以無負擔地購入高CP值的經典包款。小禎分享在PopChill

  • 機器人庫存調整"再半年" Fanuc財測遜、股價摔

    MoneyDJ新聞 2024-04-25 08:25:24 記者 蔡承啟 報導機器人庫存調整"再半年"，機器人大廠Fanuc上季訂單大減，今年度獲利恐大幅萎縮、遠遜於市場預期，今日股價聞訊重摔。 根據Yahoo Finance的報價顯示，截至台北時間25日上午8點10分為止，Fanuc重挫4.47%至4,407日圓。 Fanuc 24日盤後公布財報新聞稿宣布，因預估庫存調整將持續對生產造成影響，加上憂心匯率動向、地緣政治風險，因此今年度(2024年度、2024年4月-2025年3月)合併營收預估將年減6.1%至7,464億日圓，合併營益預估將大減14.7%至1,210億日圓，合併純益將大減19.4%至1,073億日圓、純益將連續第2年陷入萎縮。 路透社、日經新聞報導，分析師平均預估Fanuc今年度營益、純益將為1,600億日圓、1,377億日圓。Fanuc公布的預估值遠遜於市場預期。 Fanuc社長山口賢治在24日舉行的財報說明會上表示，「機器人庫存調整需要再半年左右時間。生產將持續在低水準」。 Fanuc同時公布上年度(2023年度、2023年4月-2024年3月)財報：合併營收年減

  • 00934首次換股 新增國產、統一超 剔除萬海可成南電等各21檔

    中信成長高股息（00934）今年4月進行首次成分股調整，新增及刪除各21檔，新增國產、統一超、群益證等21檔，剔除萬海、可成、南電等21檔。新成份股配置自4月19日盤後生效。

  • 卸任經長後 新職曝光！王美花將任台新金獨董

    延續「卸任經長當獨董」傳統，在台新金控董事長吳東亮力邀下，經濟部長王美花卸任後將轉任台新金控與台新銀行的獨立董事將成定局。金控內部人士透露，台新金本來就有延攬經長擔任獨董的傳統，尤其吳東亮擔任工商協進會會長後，與經濟部往來更密切，此次成功延攬王美花，看得出吳東亮「出了很多力」。

    6

  • 85萬股東QQ！開發金現金股利每股發0.5元 更名「凱基金控」

    85萬股東QQ！開發金（2883）股利公布了，每股確定發現金股息0.5元，還低於之前網友認為「不及格的0.6元」，以今日收盤價13.45元計算，股息殖利率為3.7%，位於之前法人預估0.5~0.6元的下緣位置，。此外今日董事也通過正式更名「凱基金控」，代表中信集團第三代辜仲瑩時代的正式來臨。

    21

  • DECODE集團成功獲得美國金融服務牌照，鞏固其全球金融市場地位

    DECODE集團宣布，其子公司DECODE Digital Markets USA Inc已正式從美國金融犯罪執法網絡（Financial Crimes Enforcement Network, FinCEN）獲得貨幣服務業務（MSB）註冊牌照。這一成就標誌著該集團在全球金融服務市場中合規性和專業性的重要里程碑，同時也鞏固了DECODE集團在全球金融市場的領導地位。

  • 86萬股東注意！開發金擬發現金股利0.5元 殖利率3.7%

    近 86 萬名股東注意了！開發金 (2883-TW) 今 (26) 日舉行董事會，會中通過 2023 年股利政策，每股將配發現金股息 0.5 元，以今天收盤價 13.45 元計算，現金殖利率約 3.7%。

  • 中租-KY今年第1季獲利年減15% 每股盈餘賺3.6元

    中租-KY（5871）今（25）公布自結3月稅後盈餘為19.95億元，累計1~ 3月稅後盈餘58.15億元（歸屬母公司淨利），跟去年同期相較少了約10億元，年減15.6%，第1季每股盈餘3.6元。

  • 「用體重計量身高」！ 準主委彭金隆曾批淨值比 陳冲盼他「當好貓」

    「用體重計量身高」！前行政院長、新世代金融基金會董事長陳冲今（26）撰文憶及數篇準金管會主委彭金隆以彭教授身份在媒體發布的言論，不乏幽默佳句，例如金管會用淨值比來監理判斷保險公司好壞，好像是用體重計來量身高並不合宜等，他期盼《當彭教授遇到彭主委》，能兼顧理論與實務出招，不管「黑貓白貓，能抓鼠的就是好貓!」 盼他上任後能「當好貓」。

    1