NVIDIA Mellanox MMA4Z00-NS डाटा सेंटर ऑप्टिकल ट्रांससीवर प्रैक्टिस में

अभ्यास में NVIDIA Mellanox MMA4Z00-NS डेटा सेंटर ऑप्टिकल ट्रांसीवर | रैक-टू-रैक और अंतर-सुविधा लिंक में बैंडविड्थ और दूरी को संतुलित करना

पृष्ठभूमि और चुनौती: एआई-संचालित डेटा केंद्रों में 800जी बैंडविड्थ-दूरी की दुविधा

जैसे-जैसे एआई प्रशिक्षण क्लस्टर सैकड़ों से हजारों जीपीयू तक बढ़ते हैं, अंतर्निहित नेटवर्क फैब्रिक को डेटा हॉल के भीतर स्वीकार्य लिंक दूरी बनाए रखते हुए टेराबिट-स्केल बैंडविड्थ प्रदान करना होगा। 800G ईथरनेट और 400G InfiniBand परिनियोजन के लिए, भौतिक-परत चुनौती विशेष रूप से तीव्र है: पारंपरिक 850nm VCSEL-आधारित मल्टीमोड ट्रांसीवर छोटी पहुंच वाले लिंक (30 मीटर से कम) के लिए उत्कृष्ट लागत-प्रभावशीलता प्रदान करते हैं, लेकिन उनकी पहुंच आम तौर पर 800G PAM4 गति पर 50-70 मीटर तक गिर जाती है - एक दूरी जो क्रॉस-आइज़ल कनेक्शन या अंतर-पंक्ति टोपोलॉजी के लिए अपर्याप्त हो सकती है। इसके विपरीत, DR8 या FR8 ट्रांसीवर जैसे एकल-मोड समाधान सैकड़ों मीटर तक पहुंच बढ़ाते हैं, लेकिन काफी अधिक लागत और बिजली की खपत के साथ आते हैं, जो उन्हें उच्च-घनत्व एक्सेस-लेयर तैनाती के लिए आर्थिक रूप से अव्यवहार्य बनाता है।

इस चुनौती का हाल ही में 12 डेटा सेंटर हॉल में 8,000-जीपीयू एआई प्रशिक्षण क्लस्टर तैनात करने वाले बड़े पैमाने के क्लाउड प्रदाता द्वारा सामना किया गया था। क्लस्टर को 5 मीटर (इंट्रा-रैक) से 65 मीटर (क्रॉस-आइज़ल) तक की दूरी के साथ, आसन्न और गैर-आसन्न रैक में वितरित लीफ स्विच और जीपीयू कंप्यूट नोड्स के बीच 800G कनेक्टिविटी की आवश्यकता होती है। इंजीनियरिंग टीम को एक एकल ट्रांसीवर SKU की आवश्यकता थी जो सिग्नल अखंडता, पावर दक्षता या प्रोटोकॉल लचीलेपन का त्याग किए बिना इनमें से अधिकांश लिंक को कवर कर सके - क्योंकि फैब्रिक में स्टोरेज के लिए ईथरनेट और GPU-टू-GPU संचार के लिए InfiniBand दोनों शामिल थे।NVIDIA मेलानॉक्स MMA4Z00-NSदोनों प्रोटोकॉल में 2×400G ब्रेकआउट क्षमता के साथ 800G OSFP SR8 प्रदर्शन की पेशकश करते हुए, इष्टतम उम्मीदवार के रूप में उभरा।

समाधान एवं परिनियोजन: एक एकीकृत 800G ऑप्टिकल रणनीति

बैंडविड्थ-दूरी संतुलन को संबोधित करने के लिए, प्रदाता ने इसे मानकीकृत कियाNVIDIA मेलानॉक्स MMA4Z00-NS60 मीटर तक के सभी मल्टीमोड फाइबर लिंक के लिए एकमात्र 800G ऑप्टिकल ट्रांसीवर के रूप में। यहMMA4Z00-NS 800G OSFP SR8 ट्रांसीवरOM5 वाइडबैंड मल्टीमोड फाइबर पर काम करता है, 800G पर 70-मीटर की पहुंच का समर्थन करता है - छोटे लिंक के लिए मौजूदा OM4 बुनियादी ढांचे के साथ संगतता बनाए रखते हुए क्रॉस-आइज़ल कनेक्टिविटी के लिए पर्याप्त मार्जिन प्रदान करता है। 60 मीटर से अधिक के लिंक के लिए, टीम ने कुछ इंटर-हॉल कनेक्शन को कवर करने के लिए सिंगल-मोड ट्रांसीवर (DR8/FR8) की एक छोटी सूची आरक्षित की।

तैनाती को तीन अलग-अलग क्षेत्रों में निष्पादित किया गया था, प्रत्येक विशिष्ट केबलिंग और कनेक्टिविटी आवश्यकताओं के साथ:

• इंट्रा-रैक (2-5 मीटर):दोनों सिरों पर MMA4Z00-NS ट्रांसीवर का उपयोग करके, OSFP स्विच पोर्ट से सीधे MPO-12 पैच कॉर्ड को GPU कंप्यूट नोड्स तक। लिंक मार्जिन 5 डीबी से अधिक हो गया, जिससे मध्यम कनेक्टर गिरावट के साथ भी मजबूत संचालन सुनिश्चित हुआ।
• निकटवर्ती रैक (8-20 मीटर):मध्यवर्ती पैच पैनलों के साथ ओवरहेड ट्रे के माध्यम से संरचित OM5 केबलिंग। कुल कनेक्टर संख्या: प्रति लिंक 2 जुड़े हुए जोड़े। लिंक मार्जिन: 4-4.5 डीबी, जैसा कि दस्तावेज़ में बताया गया है, मॉड्यूल के ऑप्टिकल बजट के भीतरMMA4Z00-NS डेटाशीट.
• क्रॉस-गलियारा/अंतर-पंक्ति (25-55 मीटर):प्री-टर्मिनेटेड OM5 ट्रंक को ऊंचे फर्श के नीचे रूट किया गया। 3.0 डीबी न्यूनतम मार्जिन बनाए रखने के लिए, टीम ने इंस्टॉलेशन से पहले सभी कनेक्टर्स पर एंड-फेस सफाई की और कमीशनिंग के दौरान एक ऑप्टिकल पावर मीटर का उपयोग करके प्रविष्टि हानि को सत्यापित किया।

फैब्रिक के InfiniBand हिस्से के लिए - GPU सर्वर को क्वांटम-2 स्विच से कनेक्ट करना -MMA4Z00-NS 2x400G इनफिनीबैंड/ईथरनेटब्रेकआउट मोड का उपयोग किया गया था. इस कॉन्फ़िगरेशन में, स्विच साइड पर एक एकल MMA4Z00-NS ट्रांसीवर ब्रेकआउट MPO-12 से 2×MPO-8 केबल असेंबली के माध्यम से दो 400G एंडपॉइंट को फीड करता है। इस देशी ब्रेकआउट क्षमता ने बाहरी फैन-आउट मॉड्यूल की आवश्यकता को समाप्त कर दिया, जिससे पिछले 400G-आधारित आर्किटेक्चर की तुलना में रैक स्थान की खपत लगभग 20% कम हो गई। क्योंकिNVIDIA मेलानॉक्स MMA4Z00-NSहैMMA4Z00-NS संगतईथरनेट और इनफिनीबैंड दोनों प्रोटोकॉल के साथ, टीम ने पूरे कपड़े में एक एकल ट्रांसीवर SKU बनाए रखा, जिससे खरीद और स्पेयर पार्ट्स प्रबंधन सरल हो गया।

परिणाम और लाभ: लागत, घनत्व और परिचालन सादगी में मापने योग्य लाभ

2,400 ऑप्टिकल लिंकों पर तैनाती के बाद के विश्लेषण से कई मात्रात्मक लाभ सामने आए। सबसे पहले, पर मानकीकरण करकेMMA4Z00-NS 800G OSFP SR8 ट्रांसीवर समाधान, संगठन ने अलग-अलग लघु-पहुंच और मध्यम-पहुंच SKU की आवश्यकता को समाप्त कर दिया, ट्रांसीवर इन्वेंट्री को 60% तक कम कर दिया और ऑर्डर देने की प्रक्रियाओं को सरल बना दिया।MMA4Z00-NS कीमत, जब तुलनीय विस्तारित-पहुंच सिंगल-मोड मॉड्यूल के मुकाबले मूल्यांकन किया गया, तो 60 मीटर से कम दूरी के लिए प्रति लिंक 45% लागत बचत हुई, क्योंकि उन क्षमताओं के लिए कोई प्रीमियम नहीं दिया गया था जिनकी आवश्यकता नहीं थी।

दूसरा, पहले छह महीनों के दौरान परिचालन विफलता दर असाधारण रूप से कम थी: 2,400 इकाइयों में से केवल दो ट्रांसीवर प्रतिस्थापन की आवश्यकता थी - 0.08% की विफलता दर - प्रारंभिक पीढ़ी के 800G ट्रांससीवर्स के लिए उद्योग के औसत 0.5-1% से काफी कम। यह विश्वसनीयता MMA4Z00-NS के कारखाने-अनुकूलित ऑप्टिकल संरेखण और कठोर गुणवत्ता नियंत्रण के साथ-साथ टीम द्वारा निर्दिष्ट सफाई प्रक्रियाओं के पालन के कारण है।MMA4Z00-NS विशिष्टताएँ.

तीसरा, की शक्ति दक्षताNVIDIA मेलानॉक्स MMA4Z00-NS- 800G पर प्रति मॉड्यूल 10.5W से कम और 2×400G ब्रेकआउट मोड में लगभग 8.2W की खपत - ने मापने योग्य शीतलन बचत में योगदान दिया। पूरे तैनात बेड़े में, 2,400 ट्रांसीवर ने 2×400G मोड में कुल लगभग 24.6 किलोवाट और 800G मोड में 25.2 किलोवाट की खपत की, जबकि यदि उच्च पावर ड्रॉ (आमतौर पर 12-14W) के साथ वैकल्पिक सिंगल-मोड मॉड्यूल का चयन किया गया था, तो अनुमानित 35 किलोवाट की तुलना में। इस 28-30% बिजली कटौती ने सीधे सुविधा की पावर उपयोग प्रभावशीलता (पीयूई) मीट्रिक में अनुमानित 0.03 अंक का सुधार किया।

इंजीनियरिंग परिप्रेक्ष्य से, समस्या निवारण के दौरान मॉड्यूल का डिजिटल डायग्नोस्टिक मॉनिटरिंग (डीडीएम) इंटरफ़ेस अमूल्य साबित हुआ। एक उदाहरण में, सक्रिय निगरानी के माध्यम से प्राप्त ऑप्टिकल पावर में क्रमिक कमी का पता लगाया गया, जिससे ऑपरेशन टीम को अप्रत्याशित लिंक ड्रॉप पर प्रतिक्रिया करने के बजाय रखरखाव विंडो के दौरान कनेक्टर की सफाई का समय निर्धारित करने की अनुमति मिली। इस निवारक दृष्टिकोण ने ऑप्टिकल-लेयर घटनाओं के लिए औसत-समय-मरम्मत (एमटीटीआर) को अनुमानित 55% तक कम कर दिया, क्योंकि टीम सेवा में व्यवधान पैदा करने से पहले खराब लिंक को इंगित कर सकती थी।

सारांश और आउटलुक: स्केलेबल 800जी ऑप्टिकल आर्किटेक्चर के लिए एक ब्लूप्रिंट

के साथ तैनाती का अनुभवNVIDIA मेलानॉक्स MMA4Z00-NSकई दूरी के क्षेत्रों में यह स्पष्ट रूप से दर्शाता है कि एक एकल, अच्छी तरह से चुना गया 800G OSFP SR8 ट्रांसीवर आधुनिक AI डेटा केंद्रों में बैंडविड्थ-दूरी के व्यापार-बंद को प्रभावी ढंग से संबोधित कर सकता है - बशर्ते इसके विनिर्देश सावधानीपूर्वक स्थापित फाइबर प्लांट और दूरी की आवश्यकताओं से मेल खाते हों। की 70 मीटर की पहुंच का लाभ उठाकरMMA4Z00-NS 800G OSFP SR8 ट्रांसीवरOM5 फाइबर पर, आर्किटेक्ट इंट्रा-रैक, इंटर-रैक और क्रॉस-आइज़ल लिंक में सिग्नल अखंडता और परिचालन सादगी को बनाए रखते हुए कई ऑप्टिकल SKU की लागत और जटिलता से बच सकते हैं।

आगे देखते हुए, जैसे-जैसे 800G ईथरनेट और 400G InfiniBand AI प्रशिक्षण, HPC और एंटरप्राइज़ स्टोरेज वातावरण में लोकप्रियता हासिल करना जारी रखेंगे, विश्वसनीय, लागत प्रभावी 800G ऑप्टिकल ट्रांससीवर्स की मांग केवल बढ़ेगी। MMA4Z00-NS इस प्रक्षेपवक्र के लिए अच्छी तरह से स्थित है, क्योंकि इसकी दोहरी-प्रोटोकॉल क्षमता और मूल 2×400G ब्रेकआउट समर्थन वर्तमान 400G बुनियादी ढांचे और भविष्य के 800G-मूल समापन बिंदु दोनों के साथ संगतता सुनिश्चित करता है। समान 800G माइग्रेशन की योजना बनाने वाले संगठनों के लिए, इस परिनियोजन में मान्य स्तरीय दृष्टिकोण एक व्यावहारिक रोडमैप प्रदान करता है: OM5 पर 60 मीटर तक के सभी लिंक के लिए MMA4Z00-NS पर मानकीकरण, लंबे इंटर-हॉल कनेक्शन के लिए सिंगल-मोड ट्रांसीवर आरक्षित करना, और एक एकीकृत निगरानी ढांचा बनाए रखना जो ईथरनेट और InfiniBand फैब्रिक दोनों में ऑप्टिकल स्वास्थ्य को सक्रिय रूप से प्रबंधित करने के लिए DDM डेटा का लाभ उठाता है।

विस्तृत लिंक बजट टेम्प्लेट, इंस्टॉलेशन चेकलिस्ट और सफाई प्रोटोकॉल के लिए, देखेंMMA4Z00-NS डेटाशीटऔर NVIDIA मेलानॉक्स ऑप्टिकल एप्लिकेशन नोट्स।