Budućnost podataka: optički modul od 400 g

 

 

Ratovi faktora oblika o kojima nitko iskreno ne govori

 

Uđite na bilo koju konferenciju o optičkom umrežavanju i čut ćete raspravu QSFP-DD nasuprot OSFP-a uobličenu kao tehnička usporedba. Nije. To je politička borba odjevena u specifikacije.

QSFP-DD je pobijedio u borbi za količinu prije nego što je isporučen prvi prekidač od 400G. Povratna kompatibilnost s kavezima QSFP28 značila je da bi svaki mrežni operater teoretski mogao izvršiti nadogradnju bez kidanja postojeće infrastrukture. To "teoretski" predstavlja težak zadatak-Gledao sam kako inženjeri provode cijele vikende pokušavajući natjerati naslijeđeni firmver prekidača da prepozna module dvostruke-gustoće koji fizički odgovaraju, ali se električni ne ponašaju dobro.

OSFP je došao iz Aristinog tabora s jednostavnim izborom: veći modul, bolja toplina, dizajniran za 400G od nule umjesto forsiranja osam traka u kavez izgrađen za četvero. Integrirani rashladni element podnosi 15-20 vata bez ikakvog znojenja. QSFP-DD na 12 vata? Već pomiču toplinska ograničenja u postavljanju visoke gustoće.

Industrija je ipak odabrala QSFP-DD. Kompatibilnost pobjeđuje. Uvijek je.

Ali evo što članci o usporedbi faktora oblika nikada ne spominju: razlike u toplinskom kapacitetu dramatično se povećavaju na razini. Preklopnik s 32-porta 400G potpuno ispunjen QSFP-DD modulima rasipa otprilike 640 vata samo iz optike. To je prije sklopke ASIC, upravljačke ravnine, ventilatora, napajanja. Govorimo o ukupno 1,5-2 kilovata u 1RU šasiji. Inženjerstvo protoka zraka potrebno za održavanje tih modula ispod ograničenja temperature spoja graniči s dizajnom zrakoplovstva.

 

PAM4 je sve otežao

 

Svi slave PAM4 zbog udvostručenja spektralne učinkovitosti. Nitko ne spominje inženjersku noćnu moru koju je stvorio.

NRZ je bio jednostavan. Dvije razine napona. Signal predstavlja ili jedinicu ili nulu. Vaš dijagram očiju ima jedan otvor. Ako je čist, zlatni ste.

PAM4 odašilje dva bita po simbolu koristeći četiri razine amplitude. Tri naslagana otvora za oči. Svako oko je otprilike jedna-trećina visine ekvivalentnog NRZ oka. Ruše se granice buke. Odjednom je svaki milimetar PCB traga važan. Svaki prolaz stvara refleksiju. Svaki diskontinuitet impedancije između glavnog ASIC-a i kaveza optičkog modula postaje problem pouzdanosti.

Proveo sam šest mjeseci otklanjajući pogreške u implementaciji 400G gdje su se na određenim priključcima pojavljivale nasumične CRC pogreške. Glavni uzrok? Konektor--nešto izvan specifikacija na glavnoj ploči stvorio je taman dovoljan povratni gubitak da ošteti najniže PAM4 oko. Savršeno dobro za 100G prometa. Katastrofalno za 400G.

Odgovor industrije bio je obvezan FEC. Ne možete pokrenuti 400G PAM4 optiku bez unaprijednog ispravljanja pogrešaka-neobrađeni BER jednostavno premašuje upotrebljive pragove. RS(544,514) dodaje otprilike 300 nanosekundi latencije. Nije ogroman. Ali recite to HPC klasteru koji izvodi MPI poslove gdje svaka mikrosekunda zadnje latencije utječe na vrijeme završetka posla.

 

 

Silicijska fotonika nas je trebala spasiti

 

Predmet silicijske fotonike zvuči savršeno na papiru. Iskoristite desetljeća ulaganja u CMOS tvornice. Integrirajte modulatore, fotodetektore i valovode na jednom čipu. Ostvarite ekonomiju razmjera koju diskretne InP i GaAs komponente nikada nisu mogle. Potrošnja energije pada 20-30%. Troškovi na kraju dosegnu paritet, a zatim potkopaju tradicionalne pristupe.

Intel je isporučio više od tri milijuna 100G silikonskih fotonskih primopredajnika. Alibaba je implementirala 400G DR4 silicijske fotonske module u svojoj mreži oblaka počevši od 2020. Tehnologija funkcionira.

Ali silicijska fotonika ima prljavu tajnu: izvori svjetlosti još uvijek ne mogu biti silicij.

Potreban vam je vanjski laser-obično matrica od indijevog fosfida-vezana za silicijski PIC ili spojena putem vlakana. Ta hibridna integracija povećava složenost proizvodnje. Prinosi pate. Troškovna prednost koju su svi obećali nastavlja se potiskivati ​​još jednom generacijom.

Kompanije koje udvostručuju silicijsku fotoniku za 400G uključuju neke vrlo pametne ljude koji se vrlo skupo klade. Ciscove akvizicije tvrtki Luxtera i Acacia iznosile su 3,26 milijardi dolara. To nije proračunski novac za istraživanje i razvoj. To je strateško ulaganje u infrastrukturu.

Podaci o tržišnom udjelu govore kompliciraniju priču. Prema LightCountingu, silicijski fotonski moduli još uvijek predstavljaju ispod 10% ukupnih isporuka od 400G unatoč godinama pompe. Tradicionalni primopredajnici koji se temelje na EML- dominiraju aplikacijama DR4 i FR4. Tehnološka tranzicija odvija se sporije nego što se navodi u priopćenjima za javnost.

 

Što specifikacije skrivaju o dosegu

 

IEEE konvencija imenovanja za 400G optiku čini se korisnom sve dok ne pokušate stvarno kupiti module.

400G-SR8: 100 metara preko višemodnog vlakna. Osam paralelnih traka na 850nm. Dobar za-priključke unutar stalka. Užasno za bilo što drugo.

400G-DR4: 500 metara preko jedno-modnog vlakna. Četiri paralelne trake na 1310nm. Radni konj za većinu interkonekcija podatkovnih centara.

400G-FR4: 2 kilometra, jedan-mod, CWDM valne duljine multipleksirane na jedan par vlakana. Koristi skupe eksterno modulirane lasere.

400G-LR4: 10 kilometara. Ista shema valne duljine kao FR4, ali s optičkim pojačanjem za proširenje dosega.

Dovoljno jednostavno. Osim što proizvođači stalno igraju brzo i opušteno s ovim oznakama.

Vidio sam "DR4-kompatibilne" module koji pogađaju 500 metara u laboratorijskim uvjetima i zakažu na 300 metara sa stvarnim pogonom vlakana koji ima malo povećan gubitak konektora. Specifikacija kaže 500 metara s proračunom veze od 7 dB. Matematika savršeno funkcionira pod pretpostavkom netaknutih veza posvuda. Stvarnost uključuje prljave konektore, nesavršene spojeve i vlakna koja su prolazila kroz strop nešto dužom putanjom nego što je prikazano na crtežima za upravljanje kabelima.

Domet FR4 od 2 km zvuči dovoljno sve dok ne povežete zgrade u kampusu i otkrijete da vaš optički put mjeri 2,3 kilometra. Sada su vam potrebni LR4 moduli po trostrukoj cijeni, ili ste kreativni s pojačavanjem, ili prihvaćate da ova veza zapravo neće raditi.

 

Odluka DR4 protiv FR4

 

Ovo je zapravo važno za stvarne implementacije i nitko to dobro ne objašnjava.

DR4 koristi četiri paralelna vlakna za prijenos i četiri za prijem. Ukupno osam vlakana. MPO-12 konektor sa četiri neiskorištene pozicije. Maksimalni doseg 500 metara. Potrošnja energije obično 8-10 vata. Trošak modula je otprilike 60% ekvivalentnog FR4.

FR4 koristi multipleksiranje po valnim duljinama kako bi sve četiri trake stavio na jedan par vlakana. Duplex LC konektor. Maksimalni doseg 2 kilometra. Potrošnja energije obično 10-12 vata. Vrhunske cijene jer EML laseri nisu jeftini.

Topologija vlakana određuje sve.

Greenfield podatkovni centar sa strukturnim kabliranjem koji ste odredili? Paralelno vlakno ima smisla. Provedite MPO magistralne kabele između redova. Koristite DR4 posvuda. Niži trošak optike nadoknađuje dodatna vlakna.

Brownfield okruženje s postojećim pogonom duplex vlakana? FR4 ili vučeš novi kabel.

Mješovito okruženje s nekim paralelnim pogonima i nekim dvostrukim naslijeđenim pogonom? Dobrodošli u noćnu moru kompatibilnosti. Završit ćete s obje vrste modula, različitim stilovima konektora i barem jednim ormarićem u kojem je netko upotrijebio pogrešan patch kabel i proveo četiri sata rješavajući probleme s upozorenjima "link down".

 

Breakout pitanje

 

400G-DR4 modul sadrži četiri trake od 100G. Svaka traka radi neovisno na optičkom sloju. To omogućuje spajanje-prekidnog priključka jednog 400G preklopnog priključka na četiri odvojena 100G uređaja pomoću sklopa prekidnog vlakna.

Ekonomija zvuči uvjerljivo. Jedan 400G port. Četiri 100G poslužitelja. Nema potrebe za dodatnim priključcima prekidača.

Stvarnost je kompliciranija.

ASIC-ovi prekidača ne podržavaju uvijek proizvoljne konfiguracije prekida. Neke platforme zahtijevaju poseban firmware. Drugi dopuštaju proboj samo na određenim grupama priključaka. Nekoliko implementira proboj u hardver, ali softverski skup ne izlaže opciju konfiguracije.

Još gore: kabeli za probijanje stvaraju noćne more za podršku. Je li problem 400G modul, razvodni sklop ili jedan od četiri priključka uređaja 100G? Rješavanje problema zahtijeva zamjenu kabela, testiranje svake noge zasebno i molitvu da se problem može ponoviti.

Vidio sam da organizacije standardiziraju izvorni 100G svugdje posebno kako bi izbjegle složenost proboja. Optika košta više. Gustoća porta prekidača pati. Ali pobjeđuje jednostavnost rada.

 

 

Stvarnost potrošnje energije

 

Svaki tehnički list od 400G modula navodi potrošnju energije. Brojke su tehnički točne i praktički beskorisne.

QSFP-DD DR4 bi mogao imati 8,5 W uobičajeno. To je crtež modula iz tračnice od 3,3 V prekidača u normalnim radnim uvjetima. Ne uključuje dodatnu snagu koju ASIC prekidača troši za vožnju tih osam 50G PAM4 staza. Ne računa se na troškove upravljanja toplinom-jači ventilatori, dodatni protok zraka, možda dodatno hlađenje.

S 32 priključka po preklopniku, razlika između modula od 8 i 12 vata iznosi 128 vata. To nije trivijalno kada planirate distribuciju struje za cijeli red regala.

Prijelaz sa 100G na 400G ne učetverostručuje potrošnju energije po priključku-dobici učinkovitosti od integracije i DSP poboljšanja pomažu. Ali ukupna snaga po prekidaču apsolutno je porasla. Podatkovni centri koji planiraju električnu i rashladnu infrastrukturu gustoće oko 100G otkrivaju ograničenja kapaciteta prilikom nadogradnje na 400G pri punoj naseljenosti.

 

Kompatibilnost nije binarna

 

Dobavljači vole tvrditi da je "kompatibilan sa svim glavnim platformama za preklopnike." Ova izjava je tehnički obranjiva i praktički obmanjujuća.

Kompatibilnost optičkog modula ovisi o više od fizičkog uklapanja i električne signalizacije. Protokoli DOM (Digital Optical Monitoring) razlikuju se među dobavljačima. Implementacije CMIS-a (Common Management Interface Specification) imaju dovoljno fleksibilnosti da dvije "sukladne" implementacije možda neće ispravno međusobno funkcionirati. Neki prekidači provjeravaju ID kodove dobavljača i u potpunosti odbijaju osvijetliti neprepoznate module.

Sivo tržište za "kompatibilnu" 400G optiku eksplodiralo je upravo zato -moduli robne marke koštaju 3-5x više od alternativa trećih strana. Neke od tih alternativa rade besprijekorno. Drugi uzrokuju suptilne probleme koji se očituju samo pod određenim obrascima prometa ili nakon rada tjednima.

Osobno sam testirao 400G DR4 module treće strane koji su prošli svako pojedinačno mjerenje usklađenosti u laboratoriju, a zatim su izbacili neispravljive FEC pogreške na 2% prometa pod proizvodnim opterećenjem. Temperatura unutar modula pod kontinuiranim radom visoke-propusnosti premašila je ono što su optičke komponente mogle podnijeti. Modul je radio. Sve dok nije.

 

Što 800G znači za 400G

 

Prijelaz na 800G već je u tijeku. Hyperscaleri danas postavljaju 800G. Ostatak industrije će uslijediti u roku od 18-24 mjeseca.

Ovo ne zastarijeva 400G-moduli će se isporučivati ​​godinama-ali mijenja ekonomiju.

800G koristi osam 100G staza umjesto 400G osam 50G staza. Ista PAM4 modulacija, veća brzina simbola po stazi. Fizika postaje teža. Toplinske ovojnice guraju prema 20-25 vata po modulu. OSFP-ova prednost toplinske visine postaje važnija na ovim razinama snage.

Što je još važnije, 800G moduli mogu se proširiti na dvostruke 400G konfiguracije. Jedan 800G-2xDR4 modul pruža dvije neovisne 400G veze. Za okruženja s mješovitim zahtjevima od 400G i 800G, ova mogućnost proboja pojednostavljuje upravljanje zalihama.

Operateri podatkovnih centara s kojima razgovaram uglavnom se drže 400G za leaf-spine povezivost, dok procjenjuju 800G za međupovezivanja GPU klastera gdje je gustoća propusnosti najvažnija. Radna opterećenja AI obuke sa svim-za-svim komunikacijskim obrascima istinski naglašavaju 400G veze na načine na koje tradicionalni sjever-južni promet nikada nije.

 

Co-Packed Optics Horizon

 

Svi u industriji znaju da CPO dolazi. Optički primopredajnici integrirani izravno s ASIC-ovima prekidača. Uopće nema priključnih modula. Potrošnja energije pada s 15 picojoula po bitu na možda 5, potencijalno ispod 1 picojoula kako tehnologija sazrijeva.

NVIDIA je objavila CPO planove za hardver 2025/2026. Meta i Microsoft su demonstrirali prototipove. OIF standardizira sučelja.

Pitanje nije hoće li se CPO dogoditi. Važno je događa li se dovoljno brzo da bi bilo važno za vaš trenutni ciklus planiranja.

Moje čitanje: priključna optika dominira tijekom najmanje 2028. za većinu implementacija. CPO bi se ranije mogao pojaviti u prilagođenim verzijama hiperskalera. Radna fleksibilnost modula koji se mogu-zamjenjivati ​​na radnom mjestu-mogućnost zamjene pokvarene optike bez isključivanja prekidača-iznimno je važna za okruženja bez N+1 redundantnosti posvuda.

Planirajte za priključne 400G i 800G već danas. Proračun za evaluaciju CPO-a za tri godine. Ne dopustite da slajdovi s mapama dobavljača ubrzaju vremenske rokove koje stvarnost proizvodnje ne može podržati.

 

Praktične smjernice koje stvarno pomažu

 

Za nove verzije: standardizirajte se na DR4 s paralelnom optičkom infrastrukturom. Ušteda troškova preko FR4 spojena je na tisuće modula. Planirajte snagu i hlađenje za 10 vata po modulu čak i ako specifikacije obećavaju 8.

Za nadogradnje: opsesivno pregledajte svoje postojeće postrojenje vlakana. Znajte stvarni izmjereni gubitak na svakom segmentu. Otkrijte kršenja ograničenja DR4 od 400 metara prije nego što vaša optika stigne.

Za AI klastere: 800G je već pravi odgovor. Zahtjevi za propusnost opravdavaju premiju. Nemojte-preći na 400G ako će vaše radno opterećenje prerasti to za 18 mjeseci.

Za sve: opsežno testirajte-optiku treće strane prije masovne implementacije. Uštede su stvarne. Tako i neuspjesi. Provjerite valjanost sa svojim specifičnim platformama prekidača pod realnim opterećenjem prije nego što uložite novac u zalihe.

Tehnologija radi. Dvadeset milijuna 400G i 800G modula isporučeno je 2024. s razlogom. Ali prijelaz sa 100G zahtijeva pozornost na detalje koje specifikacije i marketinški materijali zgodno izostavljaju. Fiziku nije briga za vaš vremenski raspored.