難得有直播是在週末晚上的,於是就認真追 黃仁勳台大演講直播 看看~
這直播看得蠻值得的,看完就懂為何最近各大廠 擁抱機器人、AI,都會用到 NVIDIA~
NVIDIA 黃仁勳台大演講直播整理
NVIDIA 走得比較偏台積電的模式,自主研發各種套件,再將這些提供給廠商客戶去使用,也藉此綁住所有客戶,而且這直播看起來,從晶片、機器、機房所有架構的生態系,硬體到軟體都支援了~
直播內容的資料,我也是首次接觸,所以並不熟,就把連結跟大致理解整理一下,之後應該會有更詳細的懶人包吧~~
先看直播網址:黃仁勳台大演講直播! NVIDIA CEO Jensen huang NTU speech 2024
- CUDA 就是在 GPU 可以做 C/C++ Compiler + Toolkit 開發套件有更多的應用
- CUDA - 維基百科,自由的百科全書
- CUDA Toolkit - Free Tools and Training | NVIDIA Developer
- The toolkit includes GPU-accelerated libraries, debugging and optimization tools, a C/C++ compiler, and a runtime library.
- GitHub - mikeroyal/CUDA-Guide: CUDA Guide
- LLM ACE NIMs:各種框架、模型動作、套件 等 Microservices
- Blackwell 架構的 DGX SuperPOD、GB200
- NVIDIA 推出 Blackwell 驅動的 DGX SuperPOD,用於兆級參數規模的生成式人工智慧超級運算
- 輝達發表最新 Blackwell 架構超級晶片與超級電腦
- DGX SuperPOD 可實現超大規模生成式AI 訓練與推論工作負載
- DGX SuperPOD 採用新型高效液冷機架規模架構,以DGX GB200 系統構建,可配置8個或更多 DGX GB200 系統
- 每個 DGX GB200 系統配備 36 個 GB200 超級晶片,其中又包括 36 個 Grace CPU 與 72 個 Blackwell GPU
- DGX SuperPOD 具有智慧預測管理能力,可持續監控硬體和軟體中數千個資料點,以預測與攔截停機、低效率的根源,節省時間、能源和運算成本。該軟體能識別問題領域並規劃維護工作,靈活調整運算資源,並自動保存並恢復工作,以防止停機,甚至無需系統管理員在場
- NVLink、NVSwitch:AI 計算需要多台機器的資料傳輸,這些設備可以最快速的將所有機器串連起來做資料交換、計算。與傳統網路結合可使用 RDMA (會自動判斷使用沒用到 的頻寬)
- Omniverse:機器人、各種研發需要套件,都有 SDK 支援給大家使用
上面寫得很多,但是有點亂,不過在直播的 1:34:10 這段影片,看完就懂了~
做個簡單的關鍵字整理:‘We Created a Processor for the Generative AI Era,’ NVIDIA CEO Says | NVIDIA Blog
- CUDA
- LLM ACE NIMs Microservices
- Blackwell 平台
- NVIDIA DGX SuperPOD
- Omniverse
- 氣候數位孿生 (地球模擬、氣候預測)
- AI 工業革命 - 機器人技術
- 虛擬人學習融入生活