以Matthew Ramsay為首的Cowen分析師寫道：「英偉達（Nvidia）的業績和收益指示讓我們瞠目結舌，其在人工智能方面的技術領先優勢也正在被貨幣化，並且似乎目前正在轟破任何揮之不去的熊市論調。」美國銀行分析師Vivek Arya表示，該公司的指導價格顯然是「由生成式人工智能和大型語言模型的主要數據中心投資開始推動的。」這對黃仁勳的人生來說是漫長的道路。他於台灣出生，小時候移居泰國，9歲時父母在亞洲國家內亂時將他和他的弟弟送到美國。他在俄勒岡州立大學（Oregon State University）主修計算機科學和芯片設計，並在1992年獲得斯坦福大學的電子工程碩士學位。在觀看了卡通化的電腦遊戲後，他和克里斯·馬拉喬夫斯基（Chris Malachowsky，目前是英偉達高級技術官）和柯蒂斯·普里姆（Curtis Priem ，2003年退休）於1993年聯合創立了英偉達，窺探到改善遊戲畫面的市場。一直擔任首席執行官的黃仁勳，將英偉達的標誌紋在他左手上臂上。1999年，該公司在納斯達克上市。馬拉喬夫斯基在2016年告訴福布斯：「1993年時沒有市場，但我們看到浪潮的到來。當時加州有個衝浪比賽，每年的賽期持續五個月。當他們在日本看到某種類型的波浪現像或風暴時，他們告訴所有的衝浪者：到加州來，兩天後會有大浪。這就是當時的情況，我們當時處於起步階段。」儘管早期的發展十分掙扎，英偉達在新興的圖形處理器單元（或稱GPU）市場上取得了絕對勝利，GPU使機器能夠以超快的速度產生細膩又乾淨的圖像。這項技術點燃了PC遊戲市場，使其成為一個巨大的產業。今天，GPU幫助包括谷歌、梅賽德斯·奔馳、亞馬遜和Meta在內的35000多家Nvidia客戶提供遊戲機、自動駕駛汽車和機械人技術。黃仁勳在2007年告訴《福布斯》：「內容越多，視覺興趣就更多，人們需要的處理馬力就越大。」英偉達的技術在AI驅動的公司中已經變得至關重要，為生成式人工智能提供動力的芯片對ChatGPT或谷歌的Bard等新服務也至關重要。這些高功率芯片的處理能力高於市場上絕大多數，使它們能夠處理更大更複雜的數據輸入。黃仁勳在上週三的財報電話會議上說：「我們看到了難以置信的訂單數量，我們需要重新調整世界上的數據中心。因此，我認為我們正在經歷的是一個十年過渡期的開始，我們需要回收世界上的數據中心，並將其建成加速計算中心。我們將有一個相當大的轉變，數據中心的支出將從傳統的計算轉變為加速計算、智能網卡和智能交換機，當然GPU和工作負載將主要為生成式人工智能服務。」這一切都推動英偉達的股價再創新高，幫助已經成為億萬富豪的黃仁勳的淨資產再翻一番多。這一次，黃仁勳又帶來了什麼？就在英偉達接近萬億美元市值的里程碑時，昨天（5月29日），黃仁勳出現在了台北國際電腦展Computex的現場，發表四年來首次公開演講。他披露大量英偉達新產品和技術細節，展示了CPU、DPU和GPU在人工智能領域的協同效應，尤其是在大模型AI中。與往年不同的是，英偉達以前的主要公告通常是在矽谷的年度GTC大會上發布的，但今年，人工智能將從酷炫的技術轉變為擁有接近人類智慧和無限知識的必備解決方案，全球500強企業都需要掌握這些方案。雖然英偉達發布從AI超級計算機到可以進行對話的遊戲角色的產品，但我們將重點關注直接影響AI的三種技術：基於Grace Hopper的256-GPU GH200，面向系統構建者的MGX平台，以及將所有這些聯繫在一起的全新Spectrum-X以太網網絡。1.The GH200 黃仁勳多年來一直表示，英偉達的業務是銷售優化數據中心，而不是芯片和組件。如果你錯誤地認為這是誇張的話，那麼你可能錯過了機會。自A100以來，英偉達一直在銷售DGX SuperPods。儘管這些系統的規模可能非常大，但啟用了NVLink（共享內存）優化之後只需要8個GPU，程序員可以將8個GPU視為一個共享大內存池的大型GPU。但當GPT-4出現在矽谷街頭時，大的定義發生巨大的變化，據傳GPT-4包含了一萬億個參數。現在的模型需要大量的共享、快速內存（HMB）來訓練這些巨大的人工智能模型以及運行推理查詢。像谷歌、Meta和微軟/Open AI這樣的客戶則有更大的需求。現在，黃仁勳宣佈為生成式人工智能推出DGX GH200這樣的大內存超級計算機，它由Grace Hopper技術和NVLink提供支持，用於訓練大型AI模型並推動AI創新向前發展。DGX為小型AI服務，而GH200將為大型AI建造者服務。GH200與NVLink互聯，提供1 exaflop的人工智能低精度性能和144TB的共享內存，比2020年推出的上一代NVIDIA DGX A100高出近500倍。與最新的PCIe技術相比，GPU和CPU之間的帶寬提高了7倍，互連功耗降低了5倍以上，並為DGX GH200超級計算機提供了600GB的Hopper架構GPU構建塊。.英偉達的市值即將突破10000億美元，在此之前，地球歷史上只有五家公司實現了這一壯舉：蘋果、亞馬遜、谷歌的母公司Alphabet、微軟和沙特阿美石油公司。AI芯片熱潮帶來的股價上漲，英偉達背後的億萬富豪、其公司首席執行官黃仁勳 （Jensen Huang）身價一天增長65億美元。彼時，《福布斯》對他的身家估算為347億美元，黃仁勳晉升為世界上第36位最富有的人。.由於分析師高聲慶祝的季度收益報告和對推動AI革命的芯片的巨大需求，英偉達股價在一天內飆升24%，創下歷史新高。英偉達創始人兼CEO黃仁勳數十億美元的財富，因人工智能熱潮又增加了一倍以上。沒有人比英偉達的創始人兼CEO黃仁勳受益更多，根據《福布斯》的估計，僅在上週週四，他的財富就增加了65億美元。黃仁勳擁有英偉達約3%的股份，上週三收市時，他的淨資產約為275億美元。然後，英偉達發布了其第一季度的收益報告，估計第二季度的銷售額為110億美元，比分析師預測的高出了50%，報告的每股收益為1.09美元，也比預測的高0.17美元。黃仁勳在一份新聞稿中說：「計算機行業正在經歷兩個同時發生的轉變——加速計算和生成式人工智能。英偉達的芯片為這兩個方面做好準備。」目前的大環境有助於引發英偉達和其他與人工智能相關的企業（如AMD公司和C3.ai）的股票反彈。經過一天的上漲交易日，黃仁勳的財富被估計為347億美元，在24小時內增長超過24%，根據《福布斯》的實時富豪排名，他在上週四躋身為全球第36位最富有的人。.談到超大規模的模型時，英偉達提到三個客戶：谷歌、Meta和微軟，它們出現在英偉達的新聞材料中，表達對它們的支持。如果這些AI領導者沒有部署多個GH200設備，我們都會感到震驚。相比之下，亞馬遜AWS的表現尤為突出。我們確信AWS打算單幹，支持他們自己的人工智能芯片：Interentia和Trainium。只能祝他們好運吧：亞馬遜的這些芯片不僅僅無法與英偉達競爭，AWS的網絡也無法與NVLINK競爭，更不用說在台北Computex展會上發布的英偉達新一代以太網技術了。.通常情況下，英偉達是GH200的最佳客戶。英偉達宣布正在建造「太陽神Helio」超級計算機，以推進人工智能的研究和開發。這台類似Selene的私人超級計算機將配備四個DGX GH200系統，並將與NVIDIA Quantum-2 InfiniBand網絡互連，以提高訓練大型AI模型的數據吞吐量。1024 Grace Hopper超級芯片系統預計將在今年年底上線。 2.MGX 英偉達還必須支持其合作夥伴，這些合作方在將英偉達的市場範圍擴展到一級和二級CSP方面發揮著關鍵作用。對於惠普企業（HPE），戴爾（Dell），聯想（Lenovo），Penguin等系統供應商，英偉達打造了HGX參考板（reference board），以實現8路GPU連接。但為了更靈活地混合和匹配技術，黃仁勳發布了所謂的MGX。MGX支持100多種NVIDIA CPU、GPU和DPU組件的獨特配置，以滿足客戶的個性化需求。英偉達宣布，六家通常與超大規模基礎設施建設相關的合作夥伴將率先簽署MGX的協議。.3.Spectrum-X 英偉達在三年前收購Mellanox時獲得InfiniBand技術。這種非常適合超級計算機，部分原因是它是無損的，不像以太網那樣，通過再次嘗試從丟失的數據包中恢復，一次又一次重覆，直到丟失的網絡數據包最終到達目的地。這對雲服務來說很好，但對高性能計算來說就不行了。而且這似乎並不適合大規模AI。大規模AI需要InfiniBand這樣的性能和無損數據包傳輸技術，但也更喜歡低成本和無處不在的以太網網絡來運行其數據中心。如下圖右上所示，由於TCP/IP協議能夠承受頻繁的數據包丟失，以太網的帶寬波動很大，這對大型人工智能來說是不合適的。.英偉達的解決方案是為這些客戶提供Spectrum-X，這是新型Spectrum-4以太網交換機與高性能BlueField-3 DPU的組合。Spectrum-4交換機，BlueField網卡和英偉達網絡軟件堆棧的組合實現了1.7倍的整體AI性能和功效，以及無損網絡所提供的一致性。英偉達承諾推出一個不會丟包的以太網網絡。這聽起來很神奇，但這正是企業和超大規模數據中心幾十年來一直想要的。總的來說，英偉達採取全面的方法來訓練和運行大型AI模型，並製定參考架構，提供256 GPU構建模塊，供大型AI用戶使用。加上戴爾最近的聲明、Grace的超級算力、微軟Azure對英偉達企業級AI的支持、全新MGX參考架構、NVLink和Spectrum-X無損以太網解決方案，這將意味著任何運行專業AI任務的人都只有一個合乎邏輯的選擇：英偉達。但競爭將永遠蠶食著英偉達的腳跟。考慮到英偉達卓越的硬件，再加上英偉達優化AI和高性能計算應用的軟件的深度和廣度，所有競爭對手加起來可能只會佔據10%的市場份額。在一個750億美元的市場中，這可能足以讓更多的公司浮出水面。但英偉達是同行中唯一一家市值達萬億美元的公司，很大程度上不會改變。黃仁勳對台大畢業生說：不要停止奔跑目前，英偉達作為市場上最受矚目的芯片公司，正處於高光時刻，但不代表它一直是如此順利。5月27日，黃仁勳受邀來到中國的台灣大學畢業典禮並發表演講。黃仁勳提及了英偉達在創業初期險些瀕臨倒閉。「我在創立英偉達之前是成功的。但在英偉達，我經歷了失敗，極大的失敗，所有的失敗都令人羞愧和尷尬。很多都幾乎使我們走向滅亡。」作為傑出的企業家和技術領導人，他選擇分享英偉達早期的三個「失敗故事」。向這群即將邁入社會的大學生們，傳授英偉達成功的秘訣——如何從一家三人的遊戲圖形芯片創業公司，一路發展為價值近萬億美元的全球AI領導者以此勉勵畢業生們認清錯誤，堅持意志，知時而變。以下是黃仁勳此次演講的全文整理——《無論是追逐食物、或不被人當食物，你都要不停跑下去》各位貴賓、各位家長，2023 年的台大畢業生，大家好！今天是你們的特別日子，也是夢想成真的日子——屬於你們父母的，你們要趕快離家。今天是榮耀的日子，父母親犧牲了他們自己，成就了你們。我爸爸媽媽在這， 我哥哥也在這，讓我們向養育我們的父母親展現我們的感謝。十年前我第一次來台大，陳教授邀請我來看他的物理實驗室。我記得他的兒子在矽谷得知了Nvidia發明的CUDA（Compute Unified Device Architecture，統一計算架構）技術，建議陳教授在量子物理模擬使用它。 當我抵達的時候，他秀給我看他創造的東西：整個房間的Nvidia遊戲顯卡， 插在開放式電腦的主機板上，金屬架上都是散熱用的大同電扇。他以台灣人的方式，用遊戲顯卡做了一個超級電腦。他在這裡做了早期Nvidia JOURNEY示範。他很驕傲，他說：“黃先生，因為你的關係，我可以完成我的事業。”他說的那些話至今仍感動我，完美詮釋了我們公司的價值：幫助這個時代的愛因斯坦與達文西完成他們的事業。我很高興能再次回到台大，擔任你們的致詞嘉賓。給畢業生們：你們所處的年代很複雜，卻也是你們的機會 當我從俄勒岡州立大學畢業時，世界還比較簡單。電視還很大一台，沒有無線電視跟MTV、沒有手機和行動電話。那是1994年，IBM個人電腦跟MAC麥金塔開始了個人電腦革命。開始日後晶片與運算程式的發展。 你們正處在的世界更複雜，面臨著地緣政治、社會和環境上的變化和挑戰，被科技包圍著。我們處於一個永遠連接和沈浸的數據世界，與現實世界平行存在。在40年前，當電腦產業創造了家用PC，持續研究AI技術，我們的運算程式駕駛著汽車、或研讀X光片影像。AI為電腦自動化開啟了大門，其服務涵蓋了世界最大的兆級產業：健康照護、金融服務、運輸與製造產業。AI為我們帶來了巨大的機遇，反應敏捷的企業將利用AI技術提升競爭力， 而未能善用AI的企業將面臨衰退。很多企業家，包含今天在場的許多人，未來將會開創新公司。 如同過去的每個計算機時代能創造新的產業，AI也創造了以前不存在的新工作機會，像是數據工程師、詠唱工程師、AI 工廠操作員AI安全工程師等，這些工作以前從未存在過。 自動化工作將淘汰一些工作，並且毫無疑問的，AI會改變每一個工作，大幅加強程式設計師、設計師、藝術家、行銷人員和製造計劃者的工作表現。就像在你們之前的每個世代，擁抱科技以獲得成功。每個公司與你必須學會利用AI的優勢，在AI的幫助下做出驚人成就。有些人擔心AI可能會搶走你的工作，有些人可能會讓AI發展出自我意志。我們正處於一個新領域的開始，就像個人電腦、網路、移動設備與雲端技術一樣。但是AI的影響更為根本，每個運算層面都會被重新改寫。它改變了我們撰寫軟件的方式、執行軟件的方式。 從各方面來看，這是電腦產業的再生契機，對於台灣企業而言更是一個黃金機遇。你們正是這個產業的重要基石。在下個十年，我們的產業將使用新型AI 電腦取代價值上兆美元的傳統電腦。 我的旅程始於你們40年之前，1984年是一個完美的畢業年份，我預測2023年也將如此。我能告訴你什麽呢？今天是迄今為止你們最成功的一天，你們從台大畢業了，我也曾經成功過。在我創辦了英偉達（Nvidia） 前，我經歷過失敗，而且是大失敗，說起來令人恥辱和尷尬，甚至幾乎讓我們走向毀滅。讓我給你們講3 個故事，這些故事定義了英偉達（Nvidia）今天的樣貌。 1.坦誠面對錯誤、謙卑尋求幫助是聰明、成功人士最難學會的。我們創辦英偉達（Nvidia）是為了創造加速運算技術。我們的第一個應用是用於個人電腦遊戲的3D 圖形，我們發明了一種非傳統的前向紋理處理技術，而且成本相對低廉。我們贏得了與SEGA 建造遊戲主機的合約。這吸引了遊戲開發商用我們的平台開發遊戲，並提供我們公司資金。但經過了一年的開發期程，我們意識到我們設計的架構是錯誤策略，從技術端來看是不合格的。而與此同時，微軟即將宣布基於反向紋理映射和三角形的Windows 95 Direct3D。這代表如果我們完成了SEGA 的遊戲機，我們將會創造出與Windows不相容的產品；但如果我們不完成這個合約，我們就會破產。無論如何，我們都會面臨倒閉的命運。 我聯絡了SEGA執行長，向他解釋我們的發明是錯誤的，我們無法完成合約以及遊戲主機，並建議SEGA尋找其他合作夥伴。我對他說：“我們必須停下來。”但我需要SEGA全額支付我們的費用，否則英偉達（Nvidia）將無法繼續經營。我很難為情的向SEGA執行長生提出這個要求，但令我驚訝的是他同意了。他的理解和慷慨讓我們多活了3 個月，在那段時間，我們建造了Riva 128， 就在我們差點沒錢時，Riva 128 震撼了新興的3D市場，讓我們開始受到關注，也拯救了公司營運。 市場對我們的晶片需求旺盛，讓我從4歲離開台灣後又回到了台灣。我與台積電的張忠謀先生會面，並開始一段持續25年的合作關係。我們坦誠面對錯誤、謙卑的尋求幫助，拯救英偉達（Nvidia）的存續。這些特質對於像你們這樣最聰明、最成功的人而言，是最難養成的。2.追求願景的艱苦過程塑造我們的品格。在2007年，我們宣布了CUDA GPU加速計算技術，我們的期望是讓CUDA成為一個程式設計模型，在科學運算、物理模擬到圖像處理方面，都能提升應用程式的效能。 創建一個全新的運算模型非常困難，且在歷史上實屬罕見。自從IBM System360 以來，CPU的運算模型已經成為標準已有60 年的時間。CUDA 需要開發人員撰寫應用程式，並展示GPU 的優勢；開發人員需要一個大型的使用者基礎；大型的CUDA 使用者基礎，需要市場上有人購買新的應用程式。因此，為了解決先有雞還是先有蛋的問題。我們利用我們的遊戲顯卡GPU GeForce，它已經擁有龐大的遊戲市場，以建立使用者基礎。但CUDA 的成本非常高，英偉達（Nvidia）的利潤在多年來遭受巨大的打擊，我們的市值僅僅維持在10億美元上下。我們多年的低迷表現，讓股東們對CUDA 持懷疑態度，並希望我們專注於提高盈利能力。但我們堅持下來，我們相信加速運算的時代將會到來，我們創建了一個名為GTC的會議，並在全球不辭辛勞的推廣CUDA 技術。然後CT重建、分子動力學、粒子物理學、流體動力學和圖像處理等應用程式開始大量出現，我們的開發人員撰寫算法，並加快了晶片運算速度。2014年，Alex在我們的GPU上進行了訓練，開啟AI的大爆炸，幸運的是，我們意識到了深度學習的潛力，我們冒著一切風險去追求深度學習。多年後，AI革命開始了，英偉達（Nvidia）成為了推動引擎。我們為AI發明了CUDA，這個旅程鍛造了我們的品格，承受痛苦和苦難，是在追求願景的路上必經之痛。 3.學會放棄是邁向成功的核心關鍵 再講一個故事。在2010 年，Google 將Android 系統打造成出色圖形的平台，而手機行業也有調製解調器的晶片公司。英偉達（Nvidia）優秀的運算能力，讓英偉達（Nvidia）成為Android 系統良好的合作夥伴。我們取得成功、股價飆升，但競爭對手也很快就湧入，調製解調器製造商們也在學習如何生產運算晶片，而我們卻在學習調製解調器。因為手機市場龐大，我們能搶佔市佔率。然而，我們卻做出艱難的決定，放棄這塊市場。因為英偉達（Nvidia）的使命，是創造出能解決“普通電腦解決的問題” 的電腦，我們應該專注在願景上，發揮我們的獨特貢獻。我們的放棄獲得了回報，我們創造了一個新的市場——機器人技術，擁有神經網路處理器和運行AI算法的安全架構。當時，這還是個看不見規模的市場。從巨大的從手機市場撤退，再創造一個不知道市場規模的機器人市場。然而，現在的我們擁有數十億美元的自動駕駛、機器人技術的事業，也開創一個新的產業。“撤退”對像你們如此聰明且成功的人來說並不容易。然而，戰略性的撤退、犧牲、決定放棄什麽是成功的核心，非常關鍵的核心。 跑吧！無論如何都要保持著奔跑2023 年畢業的同學們，你們即將進入一個正在經歷巨大變革的世界，就像我畢業時遇到個人電腦和晶片革命時一樣，你們正處於AI的起跑線上。每個行業都將被革命、重生，為新思想做好準備——你們的思想。在40年的時間裡，我們創造了個人電腦、網路、移動設備、雲端技術。現在的AI 時代，你們將創造什麼？無論是什麼，像我們一樣全力以赴去追求它，跑吧！不要慢慢走。不論是為了食物而奔跑，或不被他人當做食物而奔跑。你往往無法知道自己正處在哪一種情況，但無論如何，都要保持奔跑。在你的旅程中，帶上一些我犯過的錯、有過的經驗。希望你們能謙卑的面對失敗，承認錯誤並尋求幫助。你們將承受實現夢想所需的痛苦和苦難，並做出犧牲，致力於有意義的生活，衝刺你們人生的事業。2023 年畢業的同學們，我致以衷心向你們每一位祝賀。 加油！英偉達CEO黃仁勳2023年5月27日文｜福布斯中國
以Matthew Ramsay為首的Cowen分析師寫道：「英偉達（Nvidia）的業績和收益指示讓我們瞠目結舌，其在人工智能方面的技術領先優勢也正在被貨幣化，並且似乎目前正在轟破任何揮之不去的熊市論調。」美國銀行分析師Vivek Arya表示，該公司的指導價格顯然是「由生成式人工智能和大型語言模型的主要數據中心投資開始推動的。」這對黃仁勳的人生來說是漫長的道路。他於台灣出生，小時候移居泰國，9歲時父母在亞洲國家內亂時將他和他的弟弟送到美國。他在俄勒岡州立大學（Oregon State University）主修計算機科學和芯片設計，並在1992年獲得斯坦福大學的電子工程碩士學位。在觀看了卡通化的電腦遊戲後，他和克里斯·馬拉喬夫斯基（Chris Malachowsky，目前是英偉達高級技術官）和柯蒂斯·普里姆（Curtis Priem ，2003年退休）於1993年聯合創立了英偉達，窺探到改善遊戲畫面的市場。一直擔任首席執行官的黃仁勳，將英偉達的標誌紋在他左手上臂上。1999年，該公司在納斯達克上市。馬拉喬夫斯基在2016年告訴福布斯：「1993年時沒有市場，但我們看到浪潮的到來。當時加州有個衝浪比賽，每年的賽期持續五個月。當他們在日本看到某種類型的波浪現像或風暴時，他們告訴所有的衝浪者：到加州來，兩天後會有大浪。這就是當時的情況，我們當時處於起步階段。」儘管早期的發展十分掙扎，英偉達在新興的圖形處理器單元（或稱GPU）市場上取得了絕對勝利，GPU使機器能夠以超快的速度產生細膩又乾淨的圖像。這項技術點燃了PC遊戲市場，使其成為一個巨大的產業。今天，GPU幫助包括谷歌、梅賽德斯·奔馳、亞馬遜和Meta在內的35000多家Nvidia客戶提供遊戲機、自動駕駛汽車和機械人技術。黃仁勳在2007年告訴《福布斯》：「內容越多，視覺興趣就更多，人們需要的處理馬力就越大。」英偉達的技術在AI驅動的公司中已經變得至關重要，為生成式人工智能提供動力的芯片對ChatGPT或谷歌的Bard等新服務也至關重要。這些高功率芯片的處理能力高於市場上絕大多數，使它們能夠處理更大更複雜的數據輸入。黃仁勳在上週三的財報電話會議上說：「我們看到了難以置信的訂單數量，我們需要重新調整世界上的數據中心。因此，我認為我們正在經歷的是一個十年過渡期的開始，我們需要回收世界上的數據中心，並將其建成加速計算中心。我們將有一個相當大的轉變，數據中心的支出將從傳統的計算轉變為加速計算、智能網卡和智能交換機，當然GPU和工作負載將主要為生成式人工智能服務。」這一切都推動英偉達的股價再創新高，幫助已經成為億萬富豪的黃仁勳的淨資產再翻一番多。這一次，黃仁勳又帶來了什麼？就在英偉達接近萬億美元市值的里程碑時，昨天（5月29日），黃仁勳出現在了台北國際電腦展Computex的現場，發表四年來首次公開演講。他披露大量英偉達新產品和技術細節，展示了CPU、DPU和GPU在人工智能領域的協同效應，尤其是在大模型AI中。與往年不同的是，英偉達以前的主要公告通常是在矽谷的年度GTC大會上發布的，但今年，人工智能將從酷炫的技術轉變為擁有接近人類智慧和無限知識的必備解決方案，全球500強企業都需要掌握這些方案。雖然英偉達發布從AI超級計算機到可以進行對話的遊戲角色的產品，但我們將重點關注直接影響AI的三種技術：基於Grace Hopper的256-GPU GH200，面向系統構建者的MGX平台，以及將所有這些聯繫在一起的全新Spectrum-X以太網網絡。1.The GH200 黃仁勳多年來一直表示，英偉達的業務是銷售優化數據中心，而不是芯片和組件。如果你錯誤地認為這是誇張的話，那麼你可能錯過了機會。自A100以來，英偉達一直在銷售DGX SuperPods。儘管這些系統的規模可能非常大，但啟用了NVLink（共享內存）優化之後只需要8個GPU，程序員可以將8個GPU視為一個共享大內存池的大型GPU。但當GPT-4出現在矽谷街頭時，大的定義發生巨大的變化，據傳GPT-4包含了一萬億個參數。現在的模型需要大量的共享、快速內存（HMB）來訓練這些巨大的人工智能模型以及運行推理查詢。像谷歌、Meta和微軟/Open AI這樣的客戶則有更大的需求。現在，黃仁勳宣佈為生成式人工智能推出DGX GH200這樣的大內存超級計算機，它由Grace Hopper技術和NVLink提供支持，用於訓練大型AI模型並推動AI創新向前發展。DGX為小型AI服務，而GH200將為大型AI建造者服務。GH200與NVLink互聯，提供1 exaflop的人工智能低精度性能和144TB的共享內存，比2020年推出的上一代NVIDIA DGX A100高出近500倍。與最新的PCIe技術相比，GPU和CPU之間的帶寬提高了7倍，互連功耗降低了5倍以上，並為DGX GH200超級計算機提供了600GB的Hopper架構GPU構建塊。.英偉達的市值即將突破10000億美元，在此之前，地球歷史上只有五家公司實現了這一壯舉：蘋果、亞馬遜、谷歌的母公司Alphabet、微軟和沙特阿美石油公司。AI芯片熱潮帶來的股價上漲，英偉達背後的億萬富豪、其公司首席執行官黃仁勳 （Jensen Huang）身價一天增長65億美元。彼時，《福布斯》對他的身家估算為347億美元，黃仁勳晉升為世界上第36位最富有的人。.由於分析師高聲慶祝的季度收益報告和對推動AI革命的芯片的巨大需求，英偉達股價在一天內飆升24%，創下歷史新高。英偉達創始人兼CEO黃仁勳數十億美元的財富，因人工智能熱潮又增加了一倍以上。沒有人比英偉達的創始人兼CEO黃仁勳受益更多，根據《福布斯》的估計，僅在上週週四，他的財富就增加了65億美元。黃仁勳擁有英偉達約3%的股份，上週三收市時，他的淨資產約為275億美元。然後，英偉達發布了其第一季度的收益報告，估計第二季度的銷售額為110億美元，比分析師預測的高出了50%，報告的每股收益為1.09美元，也比預測的高0.17美元。黃仁勳在一份新聞稿中說：「計算機行業正在經歷兩個同時發生的轉變——加速計算和生成式人工智能。英偉達的芯片為這兩個方面做好準備。」目前的大環境有助於引發英偉達和其他與人工智能相關的企業（如AMD公司和C3.ai）的股票反彈。經過一天的上漲交易日，黃仁勳的財富被估計為347億美元，在24小時內增長超過24%，根據《福布斯》的實時富豪排名，他在上週四躋身為全球第36位最富有的人。.談到超大規模的模型時，英偉達提到三個客戶：谷歌、Meta和微軟，它們出現在英偉達的新聞材料中，表達對它們的支持。如果這些AI領導者沒有部署多個GH200設備，我們都會感到震驚。相比之下，亞馬遜AWS的表現尤為突出。我們確信AWS打算單幹，支持他們自己的人工智能芯片：Interentia和Trainium。只能祝他們好運吧：亞馬遜的這些芯片不僅僅無法與英偉達競爭，AWS的網絡也無法與NVLINK競爭，更不用說在台北Computex展會上發布的英偉達新一代以太網技術了。.通常情況下，英偉達是GH200的最佳客戶。英偉達宣布正在建造「太陽神Helio」超級計算機，以推進人工智能的研究和開發。這台類似Selene的私人超級計算機將配備四個DGX GH200系統，並將與NVIDIA Quantum-2 InfiniBand網絡互連，以提高訓練大型AI模型的數據吞吐量。1024 Grace Hopper超級芯片系統預計將在今年年底上線。 2.MGX 英偉達還必須支持其合作夥伴，這些合作方在將英偉達的市場範圍擴展到一級和二級CSP方面發揮著關鍵作用。對於惠普企業（HPE），戴爾（Dell），聯想（Lenovo），Penguin等系統供應商，英偉達打造了HGX參考板（reference board），以實現8路GPU連接。但為了更靈活地混合和匹配技術，黃仁勳發布了所謂的MGX。MGX支持100多種NVIDIA CPU、GPU和DPU組件的獨特配置，以滿足客戶的個性化需求。英偉達宣布，六家通常與超大規模基礎設施建設相關的合作夥伴將率先簽署MGX的協議。.3.Spectrum-X 英偉達在三年前收購Mellanox時獲得InfiniBand技術。這種非常適合超級計算機，部分原因是它是無損的，不像以太網那樣，通過再次嘗試從丟失的數據包中恢復，一次又一次重覆，直到丟失的網絡數據包最終到達目的地。這對雲服務來說很好，但對高性能計算來說就不行了。而且這似乎並不適合大規模AI。大規模AI需要InfiniBand這樣的性能和無損數據包傳輸技術，但也更喜歡低成本和無處不在的以太網網絡來運行其數據中心。如下圖右上所示，由於TCP/IP協議能夠承受頻繁的數據包丟失，以太網的帶寬波動很大，這對大型人工智能來說是不合適的。.英偉達的解決方案是為這些客戶提供Spectrum-X，這是新型Spectrum-4以太網交換機與高性能BlueField-3 DPU的組合。Spectrum-4交換機，BlueField網卡和英偉達網絡軟件堆棧的組合實現了1.7倍的整體AI性能和功效，以及無損網絡所提供的一致性。英偉達承諾推出一個不會丟包的以太網網絡。這聽起來很神奇，但這正是企業和超大規模數據中心幾十年來一直想要的。總的來說，英偉達採取全面的方法來訓練和運行大型AI模型，並製定參考架構，提供256 GPU構建模塊，供大型AI用戶使用。加上戴爾最近的聲明、Grace的超級算力、微軟Azure對英偉達企業級AI的支持、全新MGX參考架構、NVLink和Spectrum-X無損以太網解決方案，這將意味著任何運行專業AI任務的人都只有一個合乎邏輯的選擇：英偉達。但競爭將永遠蠶食著英偉達的腳跟。考慮到英偉達卓越的硬件，再加上英偉達優化AI和高性能計算應用的軟件的深度和廣度，所有競爭對手加起來可能只會佔據10%的市場份額。在一個750億美元的市場中，這可能足以讓更多的公司浮出水面。但英偉達是同行中唯一一家市值達萬億美元的公司，很大程度上不會改變。黃仁勳對台大畢業生說：不要停止奔跑目前，英偉達作為市場上最受矚目的芯片公司，正處於高光時刻，但不代表它一直是如此順利。5月27日，黃仁勳受邀來到中國的台灣大學畢業典禮並發表演講。黃仁勳提及了英偉達在創業初期險些瀕臨倒閉。「我在創立英偉達之前是成功的。但在英偉達，我經歷了失敗，極大的失敗，所有的失敗都令人羞愧和尷尬。很多都幾乎使我們走向滅亡。」作為傑出的企業家和技術領導人，他選擇分享英偉達早期的三個「失敗故事」。向這群即將邁入社會的大學生們，傳授英偉達成功的秘訣——如何從一家三人的遊戲圖形芯片創業公司，一路發展為價值近萬億美元的全球AI領導者以此勉勵畢業生們認清錯誤，堅持意志，知時而變。以下是黃仁勳此次演講的全文整理——《無論是追逐食物、或不被人當食物，你都要不停跑下去》各位貴賓、各位家長，2023 年的台大畢業生，大家好！今天是你們的特別日子，也是夢想成真的日子——屬於你們父母的，你們要趕快離家。今天是榮耀的日子，父母親犧牲了他們自己，成就了你們。我爸爸媽媽在這， 我哥哥也在這，讓我們向養育我們的父母親展現我們的感謝。十年前我第一次來台大，陳教授邀請我來看他的物理實驗室。我記得他的兒子在矽谷得知了Nvidia發明的CUDA（Compute Unified Device Architecture，統一計算架構）技術，建議陳教授在量子物理模擬使用它。 當我抵達的時候，他秀給我看他創造的東西：整個房間的Nvidia遊戲顯卡， 插在開放式電腦的主機板上，金屬架上都是散熱用的大同電扇。他以台灣人的方式，用遊戲顯卡做了一個超級電腦。他在這裡做了早期Nvidia JOURNEY示範。他很驕傲，他說：“黃先生，因為你的關係，我可以完成我的事業。”他說的那些話至今仍感動我，完美詮釋了我們公司的價值：幫助這個時代的愛因斯坦與達文西完成他們的事業。我很高興能再次回到台大，擔任你們的致詞嘉賓。給畢業生們：你們所處的年代很複雜，卻也是你們的機會 當我從俄勒岡州立大學畢業時，世界還比較簡單。電視還很大一台，沒有無線電視跟MTV、沒有手機和行動電話。那是1994年，IBM個人電腦跟MAC麥金塔開始了個人電腦革命。開始日後晶片與運算程式的發展。 你們正處在的世界更複雜，面臨著地緣政治、社會和環境上的變化和挑戰，被科技包圍著。我們處於一個永遠連接和沈浸的數據世界，與現實世界平行存在。在40年前，當電腦產業創造了家用PC，持續研究AI技術，我們的運算程式駕駛著汽車、或研讀X光片影像。AI為電腦自動化開啟了大門，其服務涵蓋了世界最大的兆級產業：健康照護、金融服務、運輸與製造產業。AI為我們帶來了巨大的機遇，反應敏捷的企業將利用AI技術提升競爭力， 而未能善用AI的企業將面臨衰退。很多企業家，包含今天在場的許多人，未來將會開創新公司。 如同過去的每個計算機時代能創造新的產業，AI也創造了以前不存在的新工作機會，像是數據工程師、詠唱工程師、AI 工廠操作員AI安全工程師等，這些工作以前從未存在過。 自動化工作將淘汰一些工作，並且毫無疑問的，AI會改變每一個工作，大幅加強程式設計師、設計師、藝術家、行銷人員和製造計劃者的工作表現。就像在你們之前的每個世代，擁抱科技以獲得成功。每個公司與你必須學會利用AI的優勢，在AI的幫助下做出驚人成就。有些人擔心AI可能會搶走你的工作，有些人可能會讓AI發展出自我意志。我們正處於一個新領域的開始，就像個人電腦、網路、移動設備與雲端技術一樣。但是AI的影響更為根本，每個運算層面都會被重新改寫。它改變了我們撰寫軟件的方式、執行軟件的方式。 從各方面來看，這是電腦產業的再生契機，對於台灣企業而言更是一個黃金機遇。你們正是這個產業的重要基石。在下個十年，我們的產業將使用新型AI 電腦取代價值上兆美元的傳統電腦。 我的旅程始於你們40年之前，1984年是一個完美的畢業年份，我預測2023年也將如此。我能告訴你什麽呢？今天是迄今為止你們最成功的一天，你們從台大畢業了，我也曾經成功過。在我創辦了英偉達（Nvidia） 前，我經歷過失敗，而且是大失敗，說起來令人恥辱和尷尬，甚至幾乎讓我們走向毀滅。讓我給你們講3 個故事，這些故事定義了英偉達（Nvidia）今天的樣貌。 1.坦誠面對錯誤、謙卑尋求幫助是聰明、成功人士最難學會的。我們創辦英偉達（Nvidia）是為了創造加速運算技術。我們的第一個應用是用於個人電腦遊戲的3D 圖形，我們發明了一種非傳統的前向紋理處理技術，而且成本相對低廉。我們贏得了與SEGA 建造遊戲主機的合約。這吸引了遊戲開發商用我們的平台開發遊戲，並提供我們公司資金。但經過了一年的開發期程，我們意識到我們設計的架構是錯誤策略，從技術端來看是不合格的。而與此同時，微軟即將宣布基於反向紋理映射和三角形的Windows 95 Direct3D。這代表如果我們完成了SEGA 的遊戲機，我們將會創造出與Windows不相容的產品；但如果我們不完成這個合約，我們就會破產。無論如何，我們都會面臨倒閉的命運。 我聯絡了SEGA執行長，向他解釋我們的發明是錯誤的，我們無法完成合約以及遊戲主機，並建議SEGA尋找其他合作夥伴。我對他說：“我們必須停下來。”但我需要SEGA全額支付我們的費用，否則英偉達（Nvidia）將無法繼續經營。我很難為情的向SEGA執行長生提出這個要求，但令我驚訝的是他同意了。他的理解和慷慨讓我們多活了3 個月，在那段時間，我們建造了Riva 128， 就在我們差點沒錢時，Riva 128 震撼了新興的3D市場，讓我們開始受到關注，也拯救了公司營運。 市場對我們的晶片需求旺盛，讓我從4歲離開台灣後又回到了台灣。我與台積電的張忠謀先生會面，並開始一段持續25年的合作關係。我們坦誠面對錯誤、謙卑的尋求幫助，拯救英偉達（Nvidia）的存續。這些特質對於像你們這樣最聰明、最成功的人而言，是最難養成的。2.追求願景的艱苦過程塑造我們的品格。在2007年，我們宣布了CUDA GPU加速計算技術，我們的期望是讓CUDA成為一個程式設計模型，在科學運算、物理模擬到圖像處理方面，都能提升應用程式的效能。 創建一個全新的運算模型非常困難，且在歷史上實屬罕見。自從IBM System360 以來，CPU的運算模型已經成為標準已有60 年的時間。CUDA 需要開發人員撰寫應用程式，並展示GPU 的優勢；開發人員需要一個大型的使用者基礎；大型的CUDA 使用者基礎，需要市場上有人購買新的應用程式。因此，為了解決先有雞還是先有蛋的問題。我們利用我們的遊戲顯卡GPU GeForce，它已經擁有龐大的遊戲市場，以建立使用者基礎。但CUDA 的成本非常高，英偉達（Nvidia）的利潤在多年來遭受巨大的打擊，我們的市值僅僅維持在10億美元上下。我們多年的低迷表現，讓股東們對CUDA 持懷疑態度，並希望我們專注於提高盈利能力。但我們堅持下來，我們相信加速運算的時代將會到來，我們創建了一個名為GTC的會議，並在全球不辭辛勞的推廣CUDA 技術。然後CT重建、分子動力學、粒子物理學、流體動力學和圖像處理等應用程式開始大量出現，我們的開發人員撰寫算法，並加快了晶片運算速度。2014年，Alex在我們的GPU上進行了訓練，開啟AI的大爆炸，幸運的是，我們意識到了深度學習的潛力，我們冒著一切風險去追求深度學習。多年後，AI革命開始了，英偉達（Nvidia）成為了推動引擎。我們為AI發明了CUDA，這個旅程鍛造了我們的品格，承受痛苦和苦難，是在追求願景的路上必經之痛。 3.學會放棄是邁向成功的核心關鍵 再講一個故事。在2010 年，Google 將Android 系統打造成出色圖形的平台，而手機行業也有調製解調器的晶片公司。英偉達（Nvidia）優秀的運算能力，讓英偉達（Nvidia）成為Android 系統良好的合作夥伴。我們取得成功、股價飆升，但競爭對手也很快就湧入，調製解調器製造商們也在學習如何生產運算晶片，而我們卻在學習調製解調器。因為手機市場龐大，我們能搶佔市佔率。然而，我們卻做出艱難的決定，放棄這塊市場。因為英偉達（Nvidia）的使命，是創造出能解決“普通電腦解決的問題” 的電腦，我們應該專注在願景上，發揮我們的獨特貢獻。我們的放棄獲得了回報，我們創造了一個新的市場——機器人技術，擁有神經網路處理器和運行AI算法的安全架構。當時，這還是個看不見規模的市場。從巨大的從手機市場撤退，再創造一個不知道市場規模的機器人市場。然而，現在的我們擁有數十億美元的自動駕駛、機器人技術的事業，也開創一個新的產業。“撤退”對像你們如此聰明且成功的人來說並不容易。然而，戰略性的撤退、犧牲、決定放棄什麽是成功的核心，非常關鍵的核心。 跑吧！無論如何都要保持著奔跑2023 年畢業的同學們，你們即將進入一個正在經歷巨大變革的世界，就像我畢業時遇到個人電腦和晶片革命時一樣，你們正處於AI的起跑線上。每個行業都將被革命、重生，為新思想做好準備——你們的思想。在40年的時間裡，我們創造了個人電腦、網路、移動設備、雲端技術。現在的AI 時代，你們將創造什麼？無論是什麼，像我們一樣全力以赴去追求它，跑吧！不要慢慢走。不論是為了食物而奔跑，或不被他人當做食物而奔跑。你往往無法知道自己正處在哪一種情況，但無論如何，都要保持奔跑。在你的旅程中，帶上一些我犯過的錯、有過的經驗。希望你們能謙卑的面對失敗，承認錯誤並尋求幫助。你們將承受實現夢想所需的痛苦和苦難，並做出犧牲，致力於有意義的生活，衝刺你們人生的事業。2023 年畢業的同學們，我致以衷心向你們每一位祝賀。 加油！英偉達CEO黃仁勳2023年5月27日文｜福布斯中國
