NVIDIA Fleet Command新功能 提供企業一站式邊緣AI管理與維護

涂志豪／台北報導

NVIDIA Fleet Command是一種用於在邊緣部署、管理和擴展人工智慧（AI）應用程式的雲端服務，現已新增全球邊緣AI部署的無縫管理功能。

隨著邊緣AI部署規模的不同，企業組織可能擁有多達數千個獨立的邊緣端點，它們必須由IT團隊管理，且有時位於偏遠的位置，如石油鑽井平台、氣象儀、分散式零售店或工業設施。

NVIDIA Fleet Command為容器調度（container orchestration）提供一個簡單的託管平台，讓企業能透過單一的雲端控制台，輕鬆地在數千個分散環境中配置及部署AI應用程式和系統。

然而，部署僅是管理邊緣AI應用程式的第一步。最佳化這些應用程式是一個持續的過程，包括修補應用、部署新應用程式與重啟邊緣系統。

Fleet Command提供先進的遠端管理、多執行個體GPU配置，以及來自業界合作單位的工具整合，讓這些工作流程在託管環境中無縫運作。

IT管理員現在可以使用具複雜安全功能的系統和應用程式。Fleet Command的遠端管理提供存取控制和閒置計時，消除傳統VPN連接帶來的漏洞。管理員能夠在舒適的辦公室中安全地監控遠端端點的活動情形並解決問題。

邊緣環境的變化很大，邊緣AI部署管理員必須很靈活，才能跟上快速的變化並確保最少的停機時間，這讓遠端管理成為每個邊緣AI部署的關鍵。

多執行個體GPU（或稱MIG）將NVIDIA GPU分成多個獨立執行個體。MIG已可在Fleet Command上使用，讓管理員可以從Fleet Command使用者介面輕鬆地將應用程式分配給每個執行個體。只要在同一個GPU上執行多個AI應用程式，MIG就能讓企業組織調整其部署規模且充分利用其邊緣基礎設施。

廣告

全新Fleet Command合作亦幫助企業打造從開發到邊緣部署的無縫工作流程。

Domino DataLab提供企業級MLOps平台，讓資料科學家使用他們偏好的工具、語言和基礎設施，大規模進行協作開發、部署和監控AI模型。Domino平台與Fleet Command的整合提供資料科學和IT團隊單一的記錄系統與一致的工作流程，用於管理部署至邊緣端點的模型。

影像管理系統的領導供應商，也是NVIDIA Metropolis菁英合作夥伴的麥士通（Milestone Systems）打造了應用程式編寫介面閘道AI Bridge，能讓AI應用程式輕鬆存取來自數十個攝影機的整合影像內容。Milestone AI Bridge已與Fleet Command整合，可輕鬆被部署至任何邊緣端點。

鐵雲科技（Iron Yun）是NVIDIA Metropolis菁英合作夥伴和NVIDIA合作夥伴網路（NPN）的頂尖成員，該公司的Vaidio AI平台將經多代更新的先進AI應用在全球的安全和營運應用程式。Vaidio是一個開放平台，能與任何IP攝影機搭配使用，並與數十個引領市場的影片管理系統立即整合。Vaidio可以部署在本地端、雲端、邊緣和混合環境中，且可從一台攝影機擴展至數千台攝影機。Fleet Command使得在邊緣部署Vaidio AI變得更輕鬆，也簡化了大規模管理。

透過這些新功能和擴展協作，Fleet Command能確保維護、監控和最佳化邊緣部署的日常過程變得更直接且輕鬆。

更多中時新聞網報導
16檔投信外資齊挺股 聯電、統一超、日月光、華航都有神隊友
貨櫃、散裝與航空等3大航運股總評比 老手洩萬海勝長榮、長榮航賽華航關鍵
年薪贏過台積電！網驚中鋼新人共通點：全是國立大學

相關內容

  • 〈紐約匯市〉美利率前景偏高 美元兌日元再登34年高點

    美元兌日元周一 (22 日) 再觸 34 年新高，市場參與者持續受聯準會 (Fed) 對高利率維持更久的立場影響，同時對日本當局進場干預支撐日元匯價的任何跡象保持警惕。

  • 快訊／台通爆內線交易！董座親友海撈上億元　兒遭羈押禁見

    [FTNN新聞網]社會中心／台北報導檢廉偵辦台北市議員陳重文，涉嫌收受台灣智慧光網路（台智光）賄賂案，意外追出台智光母公司台通光電（8011）董事長李慶煌的...

  • 誠美材公告董事候選人名單 董座何昭陽未入列

    偏光板廠誠美材 (4960-TW) 今 (23) 日召開董事會，並公告董事及獨立董事被提名人名單，不過，董事長何昭陽並未被列入名單當中。

  • 開鍘！新光金增資跳票 2董事長陳淮舟、魏寶生被罰減薪5成及3成

    開鍘！新光金（2888）增資跳票！沒完成金管會要求現增，導致新光人壽資本沒有達到適足等級，（23）日金管會開鍘金控及旗下人壽，包括新光金董事長陳淮舟減薪五成，人壽董事長麵寶生減薪3成，新壽被限制業務不得授信及交易。

    13

  • 日股多頭還沒結束！　野村投信：謝謝台灣刺激日本經濟

    日經225指數今（24）日大漲逾800點，近期國際因素讓投資人擔心起日股後市，多頭氣勢能否持續？野村投信今（24）日表示，「日股脫胎換骨」，多頭在日圓貶值刺激經濟等利多因素之下，一切都還只是「剛開始。」野村資產管理日本策略價值協管基金經理人河野光成也謝謝台灣幫日本刺激復甦。

    1

  • 欣興營運已落底 激勵股價亮燈漲停 逾5000多張排隊等買

    PCB載板大廠欣興釋出營運已落底消息後，激勵今（24）日股價開盤後往上衝上，直奔187元漲停價位，截至10:10止，成交量逾1.9萬張，還有5000多張買單排隊。

    1

  • 美挺巴學運升溫! 學生校園紮營示威掀衝突

    以哈戰火持續，支持巴勒斯坦平民的浪潮也在美國各地大學蔓延，大批學生在校內紮營示威，迫使哥倫比亞大學宣布暫停實體課，耶魯和紐約大學更直接報警讓警方帶走抗議學生。就怕會有有心人士趁機煽動族群對立和恐怖主義，在野黨也呼籲拜登政府盡快介入。

    1

  • 賴新內閣外交國安人事 預計周四正式揭曉!

    新內閣組閣進度，進入深水區，預計週四公布外交國安人事，傳出總統府副秘書長 黃重諺，將轉任國安會，擔任副秘書長或諮委，在扁政府時期 備受重用的馬永成，也可能進入國安會。而外傳將接任海基會董座的鄭文燦，週三和準總統 賴清德同台出席活動，雙方都沒有直接證實這項人事安排。

  • 穩賺不賠？華爾街擬推新股票ETF 號稱100%保本報酬率9.65%

    隨著市場波動加劇，投資人在投資時愈來愈看重風險管理，投資公司Calamos Investments日前就申請了一檔提供「結構性保護」的ETF，該公司宣稱該檔ETF能夠100%保本，並且最高能有9.65%的年化報酬率。

    1

  • 軟銀傳砸1500億日圓研發生成式AI、買輝達GPU

    MoneyDJ新聞 2024-04-23 06:53:42 記者 蔡承啟 報導日本電信商軟銀(Softbank)傳出將砸下1,500億日圓、研發生成式AI，計畫將運算能力(算力)提高至現行的數十倍水準，所需的繪圖處理器(GPU)將向輝達(Nvidia)採購。 日經新聞22日報導，軟銀將建置研發生成式AI所必需的算力，將在2025年結束前投資1,500億日圓、整備搭載高性能半導體的算力基礎設施，計畫將算力提高至現行的數十倍、將達日本國內頂級的水準，且也準備研發和全球最先進模型具有同水準的生成式AI。 報導指出，軟銀已在2023年投入200億日圓建置算力基礎設施，2024-2025年期間計畫追加投資1,500億日圓。軟銀對算力基礎設施的投資額、據悉將創日本企業史上最大規模，而所需的GPU將向輝達採購，且採購的GPU除了用於軟銀自家研發生成式AI外、也考慮租借給外部企業。 據報導，軟銀正著手研發作為生成式AI基礎的大型語言模型(LLM)，預估將在2024年度內完成具備3,900億個參數(parameter)的模型，且將在2025年開始研發日語專用、參數規模達1兆個的高性能模型。「1兆個參數」

  • 5分鐘看台股/2024/04/24早盤最前線

    英特爾推AI加速器 台廠供應鏈利多 欣興Q1 EPS 1.6元 公司:營運落底! 半導體回春 環球晶.帆宣歐美擴廠! 智原Q1 EPS創低 但上修AI營收比重 昇達科Q1 EPS1.23元 低軌衛星看增 漢翔三大業務起飛 全年營收拚攀峰 三陽業內外皆美 今年獲利望續創高 兆豐金擬配股利1.8元 寫歷史最高!