
Еволюція мереж - новий стандарт 25/50/100 GbE
Сучасні мережі Ethernet давно вже стали невід'ємною частиною нашого життя, а вже бізнес-процеси без них і зовсім немислимі. І їх пропускна здатність є тією характеристикою, зростання якої вкрай затребуване. Швидкість 1 Гбіт/с давно вже стала настільки розхожою, що її надають навіть провайдери приватним особам. Але як тільки справа стосується передачі скільки-небудь серйозних потоків інформації цього вже явно недостатньо, і можна сказати, що повсюдним стандартом зараз є 10G, причому з роз'ємами не Base-T, а SFP +, що дозволяють використовувати як мідні патчкорди на дальностях до 7 метрів (стійка або група стійок), так і оптичні лінії зв'язку. Ну а для високонавантажених ліній передачі даних (рівні агрегації, інтерконект кластера для високопродуктивних обчислень, підключення потужних СХД) використовується 40G QSFP +, що є об'єднанням чотирьох ліній 10G SFP +.
Але продуктивність серверів зростає, потоки даних теж, навантаження на мережу стає все вище, а значить вже давно назріла необхідність у переході на великі швидкості. Досить давно існують 100G продукти у форматах CFP, CFP2, CFP4, але вони неадекватно дороги для застосування в серверній інфраструктурі і необхідно було створення прийнятного за вартістю продукту. Для цього був створений 25G Consortium, який разом з Ethernet Alliance зайнявся розробкою нового промислового стандарту, покликаного підняти швидкості в типових мережах в 2,5 рази. Там де закінчується розробка стандарту, в справу вступає 2550100 Alliance, створений для просування продуктів в маси. Про підсумки їх роботи та ступінь готовності стандарту до масової навали на ринок ми зараз і поговоримо.
Отже, до нас приходить новий стандарт. Базовою швидкістю в ньому буде 25 Гбіт/с, об'єднання двох ліній дає 50 Гбіт/с, а чотирьох - 100 Гбіт/с.
Почнемо з того, що новий стандарт є еволюційним, а не революційним розвитком. З точки зору роботи з мережею всі схеми роботи, протоколи, технології та рекомендації залишаються колишніми, змінюється тільки фізичний рівень. Всі основи для цього закладені вже давно: стандарт описаний в IEEE Std 802.3ba-2010, а з 2011 року випускається відповідне йому обладнання, правда, у вигляді магістральних маршрутизаторів, відповідних карт і трансіверів. 4 роки тому це був самий пік технологій і коштували вони дуже істотних грошей, зараз же мова йде про створення загальновживаного обладнання для ЦОД у вигляді багатопортових вартових комутаторів з низьким енергоспоживанням, мережевих адаптерів і відповідних кабелів. З точки зору роз'ємів нам належить заміна SFP + на SFP28 і, відповідно, QSFP + на QSFP28.
Цікаво, що роз'єми SFP28 і QSFP28 мало чим відрізняються від звичних вже SFP + і QSFP +, чим вигідно відрізняються від рішень у форматі CFP, що використовувалися в магістральному обладнанні. Відповідним чином йде ситуація і з енергоспоживанням - лазери нового покоління забезпечують менше 3,5 Вт енерговиділення на 100G порт, що і дозволяє створювати компактні, придатні для масового використання рішення.
З точки зору зворотної сумісності все в порядку - все обладнання, що з'являється, на поточний момент підтримують роботу на швидкостях 10/40G, тому міграцію на новий стандарт можна здійснювати поступово, додаючи до старого 10/40G обладнання нові 25/100G комутатори і плавно підтягуючи швидкість до нового стандарту на необхідних ділянках мережі.
Що стосується готовності нового стандарту до масового виробництва і впровадження, то тут, на наш погляд, все досить непогано. Вже зараз існує реалізований у залізі, текстоліті та кремнії повний спектр необхідного обладнання, наприклад:
- комутатори
- мережеві карти
- трансівери
- кабелі
- обладнання для тестування ліній
Відповідно, все в порядку і широкою підтримкою стандарту з боку виробників компонент: свої продукти вже представили такі гранди, як Qlogic, Avago, Cavium, Finisar, Broadcom, Ixia, Mellanox. А загальний список компаній, які підтримали нових стандарт настільки великий, що простіше дати посилання, ніж наводити тут весь список. Правда, не можемо єхидно не помітити, що якщо ми вже приєдналися до цього списку (про наш продукт трохи пізніше), то ось така незначна компанія як Intel - ні.
Крім жартів, в це дещо важко повірити, але таке відчуття, що Intel повністю упустила появу 25/100G, зосередившись на доводці свого рішення X710. Ну що ж, конкуренти явно не уповільнювати від'їсти шматок ринку, масово випустивши свої мережеві адаптери.
А ще досить цікаво буде подивитися на те, з якою швидкістю провідні виробники мережевого устаткування почнуть переходити на новий стандарт і якими аргументами будуть виділяти своє рішення на merhant silicon на тлі конкурентів - адже найближчим часом все буде будуватися навколо однієї і тієї ж матриці Broadcom Tomahawk.
Ще одним важливим фактом, який обіцяє сильно працювати на популярність нового стандарту є те, що його вартість не буде радикально відрізнятися від поточних 10/40G рішень. Зазвичай нововведення (або інновації, для тих, кому так звичніше) досить довго відлякують від себе невідповідно високими цінами, в результаті чого піонерами їх впровадження стають тільки ті, хто вже не може жити без переходу на найпродуктивніші технології. Цього ж разу акцент планується саме на масовості рішення, тому навіть з урахуванням «націнки за новизну» (а зовсім її позбутися неможливо) нові рішення щодо співвідношення ціна-продуктивність обіцяють вже на старті перевершувати своїх попередників.
Кому потрібні мережева інфраструктура з такою високою пропускною здатністю? Ну давайте розглянемо очевидні приклади впровадження.
Використання в Web-Scale інсталяцій
Якщо розглядати типові широкомасштабні інсталяції у вигляді стійок, повністю забитих серверами (40U, 80 вузлів по 1/2U), то 2-портові 10G адаптери в кожному вузлі замінюються на аналогічні 25G адаптери. Відповідно, на TOR-рівні 4 10G комутатори, наприклад Eos420 (48 портів 10G, 6 портів 40G) можна замінити на 2 100G комутатора, в яких з 32 100G портів 20 за допомогою break-out кабелів забезпечують з'єднання з вузлами по 25G, а решта 12 працюють на аплінк.
Гідності такого рішення:
- На 150% вища пропускна здатність
- Потрібно в 2 рази менше мережевої інфраструктури (комутатори, кабелі) в стійці - > нижче CAPEX
- У 2 рази менше TOR-комутаторів - > нижче OPEX
- Підтримуються всі існуючі технології віртуалізації та оверлейних мереж (VXLAN, NVGRE, SPB etc)
Використання у високопродуктивних обчисленнях
У HPC в даний час найчастіше використовується 56G InfiniBand. Відповідно, його можна «в лоб» замінити на 100G з'єднання в рамках блоку з 32 серверів.
Переваги:
- На 78% вища пропускна здатність
- Нижче за CAPEX
- Просте масштабування системи
- Єдина мережа для всіх видів трафіку
Використання СХД
Вже зараз блочний або файловий доступ до СГД через Ethernet виявляється практичнішим за FiberChannel і впритул підібрався за продуктивністю до InfiniBand. Новий інтерфейс ще більше погіршить цю ситуацію, фактично зробивши всі інші інтерфейси непотрібними.
Достоїнства:
- Єдина мережева інфраструктура для серверів і СХД - > нижче CAPEX і OPEX
- Найвища швидкість передачі даних, необхідна для all-flash масивів і СХД великого обсягу
- Низька латентність з RDMA і підтримка протоколів, які використовуються у СХД
- Легке масштабування
- Зручне керування
- Вибір способу зберігання даних (файловий, блоковий або об'єктний) під час збереження єдиного інтерфейсу
Ну і нарешті про нашу участь у 2550100.
Зі свого боку ми представили комутатор Eos 720 з 32 QSFP28 портами. Ця модель стала продовженням нашого наявного сімейства комутаторів Eos, і створена в рамках улюбленої нами ідеології BareMetal Switch, тобто володіє установчим середовищем ONIE, що підтримує установку різних мережевих ОС. Комутатор вже повністю готовий і найближчим часом буде доступний в нашій лабораторії, що ж стосується підтримки з боку ОС, то ми зараз щільно співпрацюємо з їх виробниками з питань сумісності.
Основні характеристики у комутатора такі:
- 32 порти 100G QSFP28/128 25GbE SFP28 із застосуванням breakout кабелів
- Комутаційна матриця 3,2Tbps Broadcom Tomahawk BCM56960, швидкість перенаправлення 64-байтних пакетів: 2400 Mpps
- Процесор Intel Atom 2538
- Таблиця MAC адрес - 136К Unified Forwarding Table (UFT)
- затримка менше 500 нс (PHY-less)
- апаратна обробка VXLAN/NVGRE
- Оптимізація для ЦОД: 802.1Qau, 802.1Qaz, 802.1Qbb, DCBX, EVB(802.1Qbg), MLAG, 32-way ECMP
- BMS платформа з ONIE: підтримуються Cumulus Linux (після оновлення), Broadcom ICOS (у листопаді)
- Підтримка SDN-комутації: OpenFlow 1.0, 1.2, 1.3, Open API
- Підтримка інструментарію Broadview для повного контролю над мережею
- Відмовне живлення за схемою 1 + 1
Так що підбиваючи підсумки можна сказати, що новий стандарт вже повністю готовий до приходу на ринок і протягом року варто очікувати масової появи комерційних продуктів. Так що планувати свою інфраструктуру варто вже зараз.