Маркировка кабелей и коммутационных шнуров
Далее необходимо обозначить кабельные соединения спереди и сзади секции/стойки. В первом случае речь идет о маркировке кабелей, а во втором – о маркировке коммутационных/сетевых шнуров.
Маркировка кабелей
На ярлыках кабелей указываются сведения о соединении между панелями передающего и приемного концов. Обозначение панели как передающего, так и приемного концов включает в себя места расположения секции/стойки, панели и порта (Рисунок 19).
Рисунок 19 – Маркировка кабелей
Типовое обозначение на ярлыке кабеля выглядит следующим образом:
— АВ04-24:01/АВ07-36:13 — это означает кабельное соединение, идущее от порта 01 на панели 24 секции АВ04 к порту 13 на панели 36 секции АВ07.
На ярлыке кабеля на приемном конце будет указана та же информация, но в обратном порядке.
Маркировка коммутационных/сетевых шнуров
На ярлыках коммутационных/сетевых шнуров указываются сведения относительно соединений между передними контактами коммутационной панели передающего конца и передними контактами коммутационной панели приемного конца или аппаратными контактами (Рисунок 20). На ярлыке контакта на передающем конце указываются места расположения секции/стойки, панели и порта. Аналогичная информация указывается на ярлыке приемного конца.
Маркировка коммутационного шнура
Типовое обозначение на ярлыке коммутационного шнура выглядит следующим образом:
— АВ04-24:01/АВ04-36:13 — это означает соединение коммутационного шнура, идущее от порта 01 на панели 24 секции АВ04 к порту 13 на панели 36 той же секции.
На ярлыке коммутационного шнура на приемном конце будет указана та же информация, но в обратном порядке.
Типовое обозначение на ярлыке сетевого шнура выглядит следующим образом:
— АВ04-24:01/АВ04-Tinley2:A — это означает соединение сетевого шнура, идущее от порта 01 на панели 24 секции АВ04 к порту А устройства Tinley2 на той же секции. Размещение стойко-места может быть при необходимости заменено наименованием устройства.
Проведение испытаний
В части СКС испытания и тестирование производятся в соответствии с требованиями ISO 11801.
Для тестирования кабельной системы при монтаже и эксплуатации характеристик линий связи применяется кабельный тестер DTX-1800 (Рисунок 22). Он предназначен для сертификации кабельной проводки на требования 6 категории, определенные стандартом EIA/TIA TSB-67,95, а также позволяет тестировать проводки категории 7 (пока не стандартизованной) на частотах до 500 МГц. По точности измерений прибор превосходит требования, определенные спецификациями EIA/TIA TSB-67 Level III. Комплект DTX-1800 состоит из двух блоков, подключаемых с двух сторон тестируемого соединения. Блоки питаются от аккумуляторов, заряда которых хватает на 6 часов непрерывной работы.
– Кабельный тестер DTX-1800
DTX-1800 позволяет измерять:
— правильность разводки;
— переходное затухание на ближнем конце (NEXT);
— возвратные потери (Return loss) для всех четырёх пар в обоих направлениях;
— приведённые перекрестные наводки на дальнем конце (ELFEXT) для всех 24 возможных комбинаций пар;
— длину кабеля;
— сопротивление петли;
— волновое сопротивление (импеданс);
— отношение затухание/перекрестные наводки (ACR);
— значения NEXT, ASR, ELFEXT для суммарного влияния трёх пар на четвёртую (PowerSum NEXT, ASR, ELFEXT).
Все данные заносятся в память прибора и с помощью прилагаемой программы могут быть рассортированы и распечатаны в необходимом виде.
Тестирование системы проводить согласно “Программе и методике испытания” ОС-СС-ЦОД-СКС.ПМ
Способы монтажа СКС
Способ монтажа СКС только на первый взгляд кажется второстепенным вопросом. К сожалению, чаще всего, заказчика волнуют только аспекты размещения рабочих мест и серверной, а способы монтажа и прокладки кабельных трасс СКС оставляются на «откуп» исполнителя. Какие же проблемы существуют при выборе способов монтажа?
Прежде всего, это проблема сохранения заданных характеристик СКС. Например, в целях экономии, исполнитель применяет кабельные каналы (короба) для прокладки кабелей СКС в тех местах, где кабельные трассы будут находиться на виду, а для прокладки в недоступных местах (например, за фальш-потолком или в межэтажных каналах) решает просто положить кабели на подвесной потолок или же притянуть стяжками к конструктивным элементам.
Конечно, такое решение имеет право на жизнь в небольших офисах с малым количеством рабочих мест. В таком случае совершенно нецелесообразно использовать какие-то лотки или другие дорогостоящие методы организации СКС. При аккуратном монтаже и соблюдении определенных норм можно получить отличные эксплуатационные характеристики. Но что получится, если рабочих мест, а, следовательно, и портов в Вашей СКС, будет десятки с сотни?
Информационные кабели (витая пара), применяемые при построении СКС, имеют меньший вес и меньший диаметр, нежели электрические. Но количество их во много раз больше. За потолком, в межэтажных каналах и в других местах, где будет проходить основная магистраль, получится огромный пучок. Это ведет к следующим проблемам:
- такой вес просто нельзя класть на подвесной потолок. Он не рассчитан на это. Так же нельзя подвязывать этот вес к конструктивным элементам потолка
- при протягивании кабелей в таком пучке возможны заломы и критические углы изгиба, в результате которых характеристики кабеля теряются, если вообще он останется в рабочем состоянии
- разобраться в этом хитросплетении в последствии невозможно. Любая модернизация сети, связанная с переносом рабочего места, автоматически означает перекладку кабеля. Проще будет положить новый.
- Очень велика вероятность повреждения трассы при последующих работах за фальш-потолком или при протягивании каких-либо инженерных коммуникаций в межэтажных каналах. Особенно, если в трассах СКС присутствуют волоконно-оптические кабели, наиболее чувствительные к способу монтажа и внешним воздействиям.
Применение коробов для укладки кабелей СКС так же должно учитывать много нюансов. Например:
- существуют нормы заполнения кабельных коробов. Часто приходится видеть короб, который после снятия крышки просто невозможно закрыть. О каких эксплуатационных характеристиках может идти речь в таком случае?
- Если кабели СКС проходят в одном коробе с электрическими кабелями, то, по правилам, они должны быть разделены перегородкой во избежание наводок.
Все это говорит о том, что если Вам не безразличны эксплуатационные характеристики Вашей будущей СКС, возможность ее дальнейшей модернизации, легкость и удобство обслуживания, то необходимо заранее обговаривать способы монтажа СКС.
Мы всегда готовы идти на встречу пожеланиям заказчиков. Например, хочется сэкономить и не применять проволочные лотки. Мы предлагаем различные варианты, позволяющие исключить эту позицию из материалов и работ. Но всегда честно предупреждаем заказчика о возможных недостатках такого решения.
Действие первое: организация
Надежность — главное требование для банка при построении СКС. Минута простоя ЦОДа приводит к миллионным убыткам. Также требуется максимально возможная скорость в 100 Гбит/с. По сравнению с активным оборудованием кабельные сети стоят существенно дешевле, так что экономить на СКС — дурной тон.
Есть две основные структуры построения СКС: интерконнект и кроссконнект. Заказчик выбрал более дорогой кроссконнект как максимально гибкое решение, с заделом на будущее. Порт на активном оборудовании подключается один раз, так что все переключения происходят в кроссе, а не на оборудовании. Соответственно, риск повредить порт на «активке» практически отсутствует. А в кроссе его всегда можно заменить.
Уже на этапе проектирования мы поняли, что проект простым не будет. Главной сложностью были объемы: центральный кросс — 60+ тысяч волокон — нужно было разместить в шести шкафах. И это далеко не максимальная загрузка, а с возможностью роста.
Структурная схема:
Решения с такой плотностью и такими маленькими размерами кросса есть не у всех вендоров, и, как правило, они дорогие. Выбор пал в сторону американского Corning. Во-первых, это качественный поставщик оптоволокна. Во-вторых, только они смогли гарантировать соблюдение сроков. Обещали поставку за 5 недель — поставили за 5. Для сравнения: все прочие компании говорили о сроке в 8-10 недель.
Подсистема рабочей области
Подсистема рабочей области подключения серверного оборудования предназначена для подключения к локальной сети серверного оборудования вычислительного комплекса, а также сети СХД и системе мониторинга и управления.
Состав рабочей области:
— на каждый шкаф с серверным оборудованием – две 24-портовых «интеллектуальных» панели PANVIEW IQ с медными модулями Mini-Com UTP категории 6А (Рисунок 3) с коммутационными шнурами соответствующей длины с разъемами RJ45-RJ45;
— на каждый шкаф с серверным оборудованием в котором будет установлено активное оборудование ЛВС – одна интеллектуальная MTP претерминированная оптическая полка PanView iQ с 24 дуплексными многомодовыми ОМ4 LC коннекторами типа PVQ-FMTMTP-ZX (Рисунок 4).
— на каждый шкаф с серверным оборудованием в котором будет установлено активное оборудование ЛВС – одна выдвижная волоконно-оптическая полка для размещения 4 кассет QuickNet24 с дуплексными многомодовыми ОМ4 LC коннекторами типа (Рисунок 5);
— на каждый шкаф с серверным оборудованием – одна 24-портовая панель с медными модулями Mini-Com UTP категории 5e (Рисунок 6) с коммутационными шнурами соответствующей длины с разъемами RJ45-RJ45.
Рисунок 3 – Патч-панели PanView iQ
Рисунок 4 – Полка оптическая PanView iQ с разъемами LC
Рисунок 5 — Выдвижная волоконно-оптическая полка для размещения 4 кассет QuickNet
Рисунок 6 — 24-портовая модульная патч-панель UTP (без модулей)
Оборудование для тестирования оптических кабельных линий и трактов СКС
В соответствии с международным стандартом ISO/IEC 147633 тестирование линий и трактов СКС оптической подсистемы СКС на их соответствие требованиям стандартов может проводиться по двум уровням. Основное отличие между ними состоит в том, что при использовании второго уровня необходимо обязательно проводить рефлектометрические измерения нормируемых параметров, тогда как при работе в рамках уровня 1 допустимо ограничиться измерениями только с помощью оптических тестеров.
Современные тестеры кабельных линий обладают расширенными функциональными возможностями, а их управляющий контроллер отличается высокой производительностью и имеет достаточно серьезный избыток вычислительных мощностей. Практическое использование этой особенности было положено специалистами Fluke Networks в основу разработки нового модуля типа DTX Compact OTDR, который предназначен для подключения к кабельным сканерам серии DTX старших моделей.
Модуль данной разновидности конструктивно выполнен по схеме приставки и реализует концепцию «волокно на борту» кабельного сканера для выполнения сертификационных испытаний симметричных линий. Заметное увеличение популярности и практического использования данной концепции при разработке современного оборудования для тестирования линий и трактов оптической подсистемы СКС обусловлено относительно небольшим распространением оптических линий в практике реализации современной структурированной проводки. В этой связи наличие у системного интегратора собственного специализированного прибора для выполнения измерений только линий и трактов оптической подсистемы часто нецелесообразно.
Проиллюстрируем последнее утверждение конкретными цифрами. Объем ресурсов, направляемых на реализацию оптической подсистемы типичной СКС даже с развитой подсистемой внешних магистралей, обычно не превышает 15 %. В то же время создание оптического рефлектометра, надежно функционирующего при длинах линии не свыше нескольких сотен, а зачастую и десятков метров, из-за принципа его действия представляет собой непростую инженерную задачу. Это приводит к значительной стоимости такого оборудования, которая начинается от нескольких тысяч долларов.
Модуль DTX Compact OTDR позволяет произвести тестирование оптической линии на четырех опорных длинах волн, т. е. 850 и 1300 нм для многомодовых и 1310 и 1550 нм для одномодовых линий. Оператору, который выполняет измерение, предоставляется нормальный сервис полномасштабного современного рефлектометра. В перечень выполняемых функций входит, например, автоматическое выявление и классификация различных событий, формирование отчета с введением в него фотографии торца измеряемого разъема и т.д.
С точки зрения основной идеи рассматриваемая разработка отдаленно напоминает достаточно популярные в начале 90-х годов прошлого века рефлектометрические платы, которые включались в стандартный слот ПК. В обоих случаях на приставку возлагаются функция генерации зондирующего импульса и регистрация сигнала обратного рассеяния, а построение рефлектограммы, ее обработка и хранение осуществляются с использованием вычислительных мощностей процессора и ресурсов памяти основного прибора. При этом в отличие от аналога специализированный характер основного блока должен потенциально придать всей измерительной системе больший функционал и удобство выполнения тестирования на объекте монтажа кабельной системы.
Пролог
В 2019 году банк «Открытие» решил использовать «Компрессор» в качестве резервной площадки. В ЦОД для банка выделили машинный зал на 200 стойко-мест. Разумеется, сразу встал вопрос об адаптации инженерной инфраструктуры. Чтобы соответствовать техническим требованиям заказчика, нужно было перестроить всю систему кабельных каналов и смонтировать новую высокоплотную СКС.
Предварительные расчеты по проекту мы провели еще в феврале 2019 года. Приблизительно к апрелю стал понятен объем закупок. В течение всего этого времени мы вели переговоры с «Открытием»: согласовывали объемы, спецификацию, утверждали проект.
Действие второе: монтаж
К маю 2019 года в ЦОДе все еще стояло оборудование предыдущего заказчика, которое требовалось демонтировать. Сделали мы это довольно быстро, и уже в начале июня стартовал монтаж. В это же время мы поняли, что не все стандартные практики тут применимы.
Во-первых, кабель оказался необычайно толстым. Поскольку это была одна из первых реализаций высокоплотной СКС, мы слегка не рассчитали, что кабель с большим количеством волокон будет ощутимо толще обычного. Ведь, когда говорим про оптику, то сразу думаем — она же тонкая, около 6 мм в диаметре! А тут мы столкнулись с диаметром около 12 мм. Если раньше такого не встречал, то и представить такой вариант сложно. Так что дорабатывать лоточную систему пришлось буквально на ходу. Кроме того, кабель оказался еще и довольно тяжелым. Пришлось пересчитывать подвесы — опорные крепления самого лотка.
Во-вторых, у нас оптика претерминированная, то есть предоконцованная с двух сторон. Проектировщики в таком случае всегда боятся ошибиться с длиной, закладывают запас. Потому что столкнуться с нехваткой — куда большая проблема, чем перезаложить. Плюс при заказе претерминированной оптики производители рекомендуют соблюдать условную номенклатуру — 3-5 метров. Нормальная практика — предусматривать «бублики» в лотках, куда этот запас можно уложить. В этот раз пришлось искать нестандартный вариант: из-за толщины кабеля не смогли его нужным радиусом разложить в лотке, поэтому аккуратно скрутили его над шкафом.
В-третьих, частично сказались и некоторые ограничения самого ЦОДа. Во время его строительства использовались несколько иные нормы, в том числе, для СКС. Заказчик же выбрал очень высокие шкафы — 48U — чтобы держать в одной стойке больше железа. Поэтому лотки под оптику, электричество, сами панели было достаточно трудно разместить в просвете над шкафами. Пространства для маневра у нас практически не оставалось — рукой подать до фальшпотолка, поэтому сделали так компактно, насколько возможно. Чтобы оптический кросс не занимал половину зала, мы реализовали гибридную систему: с одной стороны разъем на два волокна, с другой — на восемь.
Действие третье: тестирование
Без тестирования ни один производитель не поставит свою СКС на гарантию. Есть много вариантов тестирования: с одной перемычкой, с двумя, с тремя, и у многих производителей в дополнение к основным стандартам идут еще и свои собственные требования. Это иногда приводит к недопониманию. На одном из объектов, например, мы тестировали по стандартам, а они со стандартами вендора в некритичных моментах расходились. В итоге пришлось по просьбе заказчика провести повторное тестирование.
Смысл тестирования заключается в том, чтобы проверить, укладываемся ли мы в определенные показатели затухания. Заклятый враг всех оптических систем при тестировании — стройка. Пыль оседает на волокно, и протестировать в нужное затухание сложно. При слишком большом затухании некоторые протоколы просто не заработают, а систему необходимо ставить на гарантию. Поэтому приходится чистить от пыли. И тут нам, кстати, помогли ребята из Corning. Приехал их специалист и объяснил: если по результатам теста затухание больше 6 децибел, то чистка не поможет — проблема точно в волокне. Кроме того, при подключении тоже рекомендуется продуть сжатым воздухом разъемы на панели.
Для очистки можно использовать любое оборудование, но ведущие производители рекомендуют эталонные патч-корды Fluke, а они сами по себе достаточно дорогие. Обычная штука, которая нужна для прочистки LC разъема, стоит не меньше 5000 рублей (есть и дешевле, но они, как правило, очень быстро выходят из строя). По заявлениям производителей, хватает ее на 500-600 разъемов. Еще дороже эталонные шнуры — около 30 тысяч рублей. При этом одного комплекта может хватить и на 100 разъемов, и на 1500.
Тестирование шло около месяца, в ежедневном режиме. И тут надо сказать, что проблем с кабелем практически не было, а единичные случаи Corning оперативно заменил.
В итоге заказчик «заехал» в ЦОД в июле. Привезли и ввели в эксплуатацию оборудование. В первую очередь — телеком, затем — серверное железо.
Так выглядит центральный кросс:
