Суперкомпьютерный комплекс МГУ, включая суперкомпьютер «ЛОМОНОСОВ-2»
Общая характеристика
| Основные технические характеристики суперкомпьютерного комплекса МГУ | |
|---|---|
| Пиковая производительность | 5,505 Пфлопс |
| Производительность на тесте Linpack | 2,478 Пфлопс |
| Число вычислительных узлов | 1 730 |
| Основной тип процессора | Intel Haswell-EP E5-2697v3, 2.6 GHz, 14 cores |
| Тип ускорителя | NVidia Tesla K40M |
| Общее число ядер | 64 384 |
| Оперативная память на узел | 64 GB |
| Основная сеть | Infiniband FDR |
| Сеть I/O | Infiniband FDR |
| Управляющая сеть | Gigabit Ethernet |
| Операционная система | CentOS 7 |
| Производитель | Т-платформы |
| Год выпуска | 2017 г. |
| Раздел Compute | |
|---|---|
| Общее число узлов | 1487 |
| Центральный процессор | Intel Haswell-EP E5-2697v3, 2.6 GHz, 14 cores |
| Графический ускоритель | NVidia Tesla K40M |
| Объем оперативной памяти на узле | 64 GB |
| Основная сеть | Infiniband FDR |
| Сеть I/O | Infiniband FDR |
| Управляющая сеть | Gigabit Ethernet |
| Операционная система | CentOS 7 |
| Раздел Test | |
|---|---|
| Общее число узлов | 32 |
| Центральный процессор | Intel Haswell-EP E5-2697v3, 2.6 GHz, 14 cores |
| Графический ускоритель | NVidia Tesla K40M |
| Объем оперативной памяти на узле | 64 GB |
| Основная сеть | Infiniband FDR |
| Сеть I/O | Infiniband FDR |
| Управляющая сеть | Gigabit Ethernet |
| Операционная система | CentOS 7 |
| Раздел Pascal | |
|---|---|
| Общее число узлов | 160 |
| Центральный процессор | Intel Xeon Gold 6126 (12 ядер, 2.6 ГГц) |
| Графический ускоритель | 2 x Nvidia P100 (3584 cuda ядер, 16 ГБ памяти) |
| Объем оперативной памяти на узле | 96 ГБ |
| Основная сеть | Infiniband FDR |
| Сеть I/O | Infiniband FDR |
| Управляющая сеть | Gigabit Ethernet |
| Операционная система | CentOS 7 |
| Раздел Phi | |
|---|---|
| Общее число узлов | 4 |
| Центральный процессор | Intel(R) Xeon Phi(TM) CPU 7230, 1.30GHz, 64 cores |
| Графический ускоритель | нет |
| Объем оперативной памяти на узле | 112 ГБ |
| Основная сеть | Infiniband FDR |
| Сеть I/O | Infiniband FDR |
| Управляющая сеть | Gigabit Ethernet |
| Операционная система | CentOS 7 |
| Раздел Volta1 | |
|---|---|
| Общее число узлов | 16 |
| Центральный процессор | Intel Xeon Gold 6142, 16 ядер, 2.60GHz — 1331.2 GFlop/s |
| Графический ускоритель | 2x Nvidia Tesla V100 900‐2G503‐0010‐000, 1246 MHz, 7 TFlop/s |
| Объем оперативной памяти на 1 GPU | 32 ГБ |
| Объем оперативной памяти на узле | 96 ГБ |
| Основная сеть | Infiniband FDR |
| Сеть I/O | Infiniband FDR |
| Управляющая сеть | Gigabit Ethernet |
| Операционная система | CentOS 7 |
| Раздел Volta2 | |
|---|---|
| Общее число узлов | 18 |
| Центральный процессор | 2x Intel Xeon Gold 6240, 18 ядер, 2.60GHz — 1497.6 GFlop/s |
| Графический ускоритель | 2x Nvidia Tesla V100 900-2G500-0010-000, 1246 MHz, 7 TFlop/s |
| Объем оперативной памяти на 1 GPU | 32 ГБ |
| Объем оперативной памяти на узле | 1536 ГБ |
| Основная сеть | Infiniband FDR |
| Сеть I/O | Infiniband FDR |
| Управляющая сеть | Gigabit Ethernet |
| Операционная система | CentOS 7 |
| Раздел NEC | |
|---|---|
| Общее число узлов | 8 |
| Центральный процессор | NEC SX-Aurora Tsubasa A300-2 |
| Объем оперативной памяти на узле | 192 ГБ |
| Основная сеть | Infiniband EDR |
| Операционная система | CentOS 7 |
| Система хранения | |
|---|---|
| Хранилище домашних каталогов | 290 ТБ |
| Хранилище рабочих файлов | 1400 ТБ |
| Служебное хранилище | 246 ТБ |
| Раздел | узлов / тип | память | диски | max ядро-часов | max/default время (часов на задачу) | max задач | max запущенных задач | max узлов на задачу, не более |
| compute | 1504/K40 | 64 ГБ (4,5 ГБ/ядро) | нет | нет | 48/24 | 6 | 3 | 50 |
| pascal | 160/P100 | 64 ГБ (5,3 ГБ/ядро) | нет | нет | 20/20 | 8 | 4 | 30 |
| test | 32/K40 | 64 ГБ (4,5 ГБ/ядро) | нет | нет | 15 минут | 3 | 1 | 15 |
Current rank in Top50 rating — #6 (September 2022).
Current rank in Top500 rating — #290 (November 2022).
Лаборатория Параллельных информационных технологий НИВЦ МГУ
[править] Вычислитель
В основе нового суперкомпьютера МГУ — уникальные российские аппаратные разработки. Вычислительная часть системы построена на базе суперкомпьютерных платформ A-Class с высокой плотностью вычислений, которые позволяют размещать до 786 терафлопс процессорной мощности в одной стойке. A-Class — суперкомпьютер «уровня стойки», где все элементы тесно интегрированы внутри специально разработанного вычислительного шкафа. A-Class имеет жидкостную систему охлаждения, в которой теплоносителем выступает вода с высоким тепловым потенциалом. 192 таких стойки можно объединить в суперкомпьютер пиковой производительностью более 100 петафлопс.
В новом суперкомпьютере МГУ 1536 узлов на базе процессоров Xeon E5-2697v3 и ускорителей Tesla K40M, а также 160 узлов на базе процессоров Xeon Gold 6126 и ускорителей Tesla P100, с общим объёмом оперативной памяти более 80 ТБ. В системе две независимые управляющие сети стандарта Ethernet и две сети FDR InfiniBand. Одна из них используется для MPI-трафика и имеет современную топологию Flattened Butterfly, которая не только лучше масштабируется на системах большого размера, но и позволяет снизить количество используемых сетевых коммутаторов, сокращая стоимость сетевой инфраструктуры до 40 % по сравнению с традиционными топологиями. Вторая сеть InfiniBand используется для доступа к данным и имеет стандартную топологию Fat Tree. Двухуровневая система хранения включает хранилище расчетных данных объемом 344 ТБ на базе параллельной файловой системы Lustre, а также одну полку Panasas ActiveStor 16 для более размещения домашних файловых систем пользователей.
Супер-ЭВМ: квадриллион операций в секунду
Точного определения, что такое «суперкомпьютер», не существует. Компьютерная индустрия находится в постоянном развитии, и сегодняшние супермашины завтра уже будут далеко позади. Можно сказать, что суперкомпьютер – это очень мощный компьютер, который способен обрабатывать гигантские объемы данных и производить сложнейшие расчеты. Там, где человеку для вычислений нужны десятки тысяч лет, суперкомпьютер обойдется одной секундой. И если в 1980-х суперкомпьютером в шутку предлагали называть любые ЭВМ, весящие более тонны, то сегодня они чаще всего представляют собой большое количество серверных компьютеров с высокой производительностью, объединенных высокоскоростной сетью.
Современный суперкомпьютер – это огромное устройство, состоящее из модулей памяти, процессоров, плат, объединенных в вычислительные узлы, связанные между собой сетью. Управляющая система распределяет задания, контролирует загрузку и отслеживает выполнение задач. Системы охлаждения и бесперебойного питания обеспечивают беспрерывную работу супер-ЭВМ. Весь комплекс может занимать значительные площади и потреблять огромное количество энергии.
Производительность суперкомпьютеров измеряется во флопсах – количестве операций с плавающей запятой, которые система может выполнять в секунду. Так, например, один из первых суперкомпьютеров, созданный в 1975 году американский Cray-1, мог совершать 133 миллиона операций в секунду, соответственно, его пиковая мощность составляла 133 мегафлопс. А самый мощный на июнь 2019 года суперкомпьютер Summit Ок-Риджской национальной лаборатории обладает вычислительной мощностью 122,3 петафлопс, то есть 122,3 квадриллиона операций в секунду.
Суперкомпьютер «Ломоносов-2». Фото: «Т-Платформы»
Существует международный рейтинг топ-500, который с 1993 года ранжирует самые мощные вычислительные машины мира. Данные рейтинга обновляются два раза в год, в июне и ноябре. В 2019 году в первую десятку входят суперкомпьютеры США, Китая, Швейцарии, Японии и Германии. Единственный отечественный суперкомпьютер в первой сотне рейтинга − «Ломоносов-2» из Научно-исследовательского вычислительного центра МГУ производительностью 2,478 терафлопс, занявший в июне 2019 года 93-е место.
Чтобы определить мощность суперкомпьютера, или, как его еще называют в английском языке, «числодробилки» (number cruncher), используется специальная тестовая программа, которая предлагает машинам решить одну и ту же задачу и подсчитывает, сколько времени ушло на ее выполнение.
Суперкомпьютер с «бесконечным» масштабированием
В эпоху цифровой экономики и всеобщей цифровизации вычислениям отводится ключевое место. На создание суперкомпьютеров крупнейшие государства выделяют многомиллионные суммы. Эти вложения должны быть постоянными, так как производительность суперкомпьютеров удваивается каждые полтора года. Сегодня Россия находится только в начале построения национальной сети сверхмощных машин.
Структуры Ростеха в числе прочих российских предприятий вносят свой вклад в создание отечественной киберинфраструктуры. В сентябре 2019 года холдинг «Росэлектроника» объявил о запуске суперкомпьютера «Фишер» с пиковой производительностью 13,5 Тфлопс и практически неограниченными возможностями для масштабирования. Машина разработана специалистами холдинга для Объединенного института высоких температур Российской академии наук (ОИВТ РАН). Новый суперкомпьютер поможет ученым-физикам в создании цифровых моделей веществ и прогнозе поведения материалов в экстремальных состояниях.
Суперкомпьютер «Фишер» состоит из 24 вычислительных узлов с 16-ядерными процессорами. Для улучшения терморегуляции вычислительного кластера «Фишера» используется иммерсионная (погружная) система охлаждения. Благодаря ей суперкомпьютер не требует специально оборудованных помещений и может работать при температурах от ‒50 °С до +50 °С. Подобные системы охлаждения применяются сегодня на самых высокопроизводительных машинах мира.
«Фишер» создан на основе коммуникационной сети «Ангара» − первого российского интерконнекта, позволяющего объединять группы машин в мощные вычислительные кластеры. С помощью «Ангары» можно соединять тысячи компьютеров разных производителей и с разной архитектурой центральных процессоров. Коммутаторное исполнение «Фишера» позволяет компоновать компьютеры с большей плотностью и в целом облегчает сборку и использование всей системы за счет уменьшения числа кабелей. Модульный характер системы позволяет масштабировать мощность «Фишера» под любые нужды.
Ученые из ОИВТ РАН уже несколько лет используют суперкомпьютер DESMOS мощностью 52,24 Тфлопс, созданный на базе предыдущего поколения сети «Ангара». Его вычислительные мощности оказались настолько востребованы, что было принято решение о создании «младшего брата» этого суперкомпьютера уже на базе нового поколения коммутационной сети.
Использование и решаемые задачи
С помощью суперкомпьютера «Ломоносов», который принимает на себя основную вычислительную нагрузку в рамках суперкомпьютерного комплекса МГУ, уже получены уникальные результаты в разных областях науки, например, в исследовании механизмов генерации шума в турбулентной среде или же в создании новых компьютерных методов проектирования лекарственных препаратов.
Совместной группой мехмата МГУ и Института прикладной математики РАН получены важные результаты по численному моделированию формирования и развития концевых вихрей на сверхзвуковых режимах. Эта задача требует огромных вычислительных ресурсов.
Повышение эффективности нефтегазовой отрасли напрямую зависит от мощности применяемых высокопроизводительных вычислительных систем. Это верно как на этапе поисков и разведки месторождений горючих полезных ископаемых, так и на этапе их освоения и эксплуатации. В процессе извлечения информации из сейсмических данных необходимо подавить волны–помехи, оценить глубинно–скоростную модель среды и построить глубинное изображение участка земной коры в районе наблюдений. Особая проблема связана с тем, что объём данных на одном месторождении может достигать десятков и сотен терабайт, что диктует необходимость применения самых мощных суперкомпьютеров.
В настоящее время на суперкомпьютере «Ломоносов» решается ряд важных задач обработки сейсмических данных. В частности, при помощи высокоэффективного метода 3D SRME осуществляется подавление волн–помех, обусловленных переотражением от свободной поверхности в нижнее полупространство, проводится построение глубинного изображения среды при помощи метода миграции в обратном времени — каждый расчет каждой из этих задач требует несколько тысяч процессорных ядер суперкомпьютера «Ломоносов».
Рисунок 8 – Космический аппарат «Русь» в разработке которого использовались мощности суперкомпьютера «Ломоносов»
Перспективные результаты получены группой ученых ИПМ РАН по моделированию режимов охлаждения современных процессоров. Показано, что радиаторы рассматриваемой конструкции должны иметь не менее 25 ребер для предохранения процессора от перегрева. Оптимальной является конфигурация с количеством ребер более 757–100, при которой процессор с потребляемой мощностью 65 Вт ни в каком режиме не нагревается выше 70°С.
Ввод в строй суперкомпьютера «Ломоносов» позволил решить ряд важных задач для ведущих промышленных отраслей России — аэрокосмической (РКК «Энергия» им. С.П. Королева) и атомной (ОКБМ им. И.И. Африкантова). Для нужд РКК «Энергия» с помощью «Ломоносова» были проведены расчеты обтекания перспективного космического корабля «Русь» при торможении в атмосфере Земли и посадки на ее поверхность (см. рисунок 8). На «Ломоносове» также была решена задача о массотеплообмене в устройстве сепарации окислов натрия в первом контуре перспективного ядерного реактора, разрабатываемого ОКБМ им. И.И. Африкантова.
Визуальные эффекты к фильму «Время первых» создавались с использованием мощностей системы V-Class от компании «Т-Платформы», а также суперкомпьютеров «Ломоносов» и «Ломоносов-2».
В целом, можно выделить следующие основные направления научных исследований, проводимых на «Ломоносов-2»:
- большие вычислительные задачи (Grand challenges), требующие применения суперкомпьютеров: нанотехнологии, молекулярное моделирование, инженерное проектирование, сейсморазведка, экология, криптография;
- проектирование и настройка кластерных вычислительных систем под конкретные требования заказчика;
- проведение экспертизы и комплексной диагностики программно-аппаратной среды существующих кластеров, определение узких мест и выработка рекомендаций по повышению производительности кластерных систем.
С августа по октябрь 2018 года проводился конкурс на использование компьютерного комплекса.
Фамилия
- Ломоносов, Александр Михайлович (род. 1939) — оперный певец, народный артист России.
- Ломоносов, Борис Павлович (род. 1941) — советский и российский учёный и промышленный деятель (доктор экономических наук, профессор).
- Ломоносов, Василий Георгиевич (1896—1939) — деятель советских спецслужб.
- Ломоносов, Владимир Григорьевич (1928—1999) — советский государственный деятель.
- Ломоносов, Геральд Георгиевич (1932—2018) — советский и российский ученый и специалист в области горных наук и горного производства, заслуженный деятель науки Российской Федерации (1995).
- Ломоносов, Константин Николаевич (1838—после 1917) — земский деятель, член III Государственной думы от Тамбовской губернии.
- Ломоносов, Михаил Васильевич (1711—1765) — первый русский учёный-естествоиспытатель мирового значения, изобретатель, поэт, заложивший основы современного русского литературного языка, деятель искусств, историк, поборник развития отечественного просвещения, науки и экономики.
- Ломоносов, Сергей:
- Ломоносов, Сергей Григорьевич (1799—1857) — лицейский товарищ Пушкина, российский дипломат, посланник в Бразилии, Португалии и Нидерландах, тайный советник.
- Ломоносов, Сергей Иванович — советский хозяйственный, государственный и политический деятель.
Ломоносов, Юрий Владимирович (1876—1952) — инженер-железнодорожник, революционер, сыгравший важную роль в Февральской революции.
Информационный завод
Если на «Ломоносове» в данный момент работают 124 человека, получается, каждому из них нужна лишь малая часть ресурсов суперкомпьютера?
Особенность «Ломоносова» — его универсальность. У нас огромный поток пользователей, поэтому мы не можем делать специализированную машину — такую, которая ориентирована только на один класс задач. Мы сразу делали универсальную установку, понимая, что поток пользователей и разных задач будет колоссальный. Это гигантский информационный завод. Он работает без выходных, без праздников, круглосуточно. Чаще всего пользователям не нужен весь «Ломоносов», хотя есть около десяти групп, которые используют 1,7 петафлопса «Ломоносова» целиком.
Эти 124 человека, которые сейчас работают на «Ломоносове», — они же там не сидят, они удалённо работают?
Да, прошли те времена, когда люди приходили в машинный зал. Человек подаёт заявку, и если она одобряется, получает уникальный ключ доступа к суперкомпьютеру. Далее исполняется специальный «ритуальный танец», необходимый для обеспечения информационной безопасности, и «Ломоносов» становится доступен по интернету из любого места.
Как к вам приходят учёные и кто для них пишет программы?
Сидит человек в своей лаборатории и понимает вдруг, что ему нужно много считать, что его любимой персоналки уже не хватает. Но прежде чем подавать заявку, он должен оценить свои силы — понять, есть ли у него возможности перенести программу, работающую в последовательном режиме, на суперкомпьютер, который основан на принципе параллельных вычислений. Это революционный шаг, который в самом ближайшем будущем предстоит сделать всем нам, настоящая вторая компьютерная революция — переход от последовательных вычислений к параллельным.
Тут совсем другое программирование, да?
По сути, да. На самом деле оно уже сейчас везде применяется. Даже мобильные телефоны теперь многоядерные. Если вы программируете для мобильных платформ, вы обязаны знать, что такое многоядерность и каким образом синхронизировать обмен данных для обеспечения параллельного выполнения программ. Раньше учили программировать, а сейчас нужно учить параллельно программировать, причём всех.
То есть люди приходят с готовой программой?
Иногда да. Но сейчас уже наработана огромная программная инфраструктура готовых прикладных пакетов — например, для задач по молекулярной динамике, аэродинамике, электродинамике. И это, конечно же, великое дело. Человеку не нужно плясать от печки, программировать всё с нуля. Он задает параметры своей модели, своего изделия, запускает процессы и получает на выходе результаты моделирования.
Бывают вычислительные задачи, с которыми «Ломоносов» не справляется?
Есть много шуточных, но метких определений суперкомпьютера. Для главного инженера это машина, которая весит больше тонны, для финансиста — машина, которая стоит больше миллиона долларов. А для многих учёных суперкомпьютер — это машина, мощности которой чуть-чуть не хватает для решения современных задач. И таких задач, конечно, огромное количество. Каждый старается свою модель расширить до тех пределов, которые позволяет потенциал программного обеспечения и аппаратуры. А когда пределы достигнуты, остается лишь ждать появления следующего поколения машин.
Основная информация по работе на суперкомпьютере «Ломоносов»
Внимание! Информация здесь может быть устаревшей, более актуальную смотрите здесь. На суперкомпьютере используется система управления очередями Slurm, информацию об основных командах смотрите ниже
Узлы суперкомпьютера разделены на несколько разделов (очередей). Основная очередь — regular4. Есть раздел test, предназначенный для отладки приложений
На суперкомпьютере используется система управления очередями Slurm, информацию об основных командах смотрите ниже. Узлы суперкомпьютера разделены на несколько разделов (очередей). Основная очередь — regular4. Есть раздел test, предназначенный для отладки приложений.
В качестве общей файловой системы на вычислительных узлах используется Lustre, на головных узлах раздел Lustre находится в каталоге ~/_scratch.
Компиляция программ осуществляется на узле compiler. Предварительно нужно зайти на него командой ssh compiler. Вы можете зайти на этот узел сразу, указав в ssh-клиенте адрес compiler.lomonosov.parallel.ru вместо lomonosov.parallel.ru.
На суперкомпьютере используется пакет modules для управления окружением компиляции и запуска. Перед компиляцией Вам необходимо загрузить модули для компилятора, реализации MPI, и, возможно, другие, нужные для вашей программы. Список модулей получается командой module avail. Загрузить модуль можно командой module add ИМЯ_МОДУЛЯ.
Например, для компиляции программы компилятором Intel с OpenMPI и библиотекой выполните команды:
module add openmpi/1.5.5-icc
module add intel/13.1.0
module add mkl/4.0.2.146
Обратите внимание, точные имена модулей могут отличаться. Получить список активных подулей можно командой module list, выгрузить модуль — командой module rm
Получить список активных подулей можно командой module list, выгрузить модуль — командой module rm.
Загруженные модули не сохраняются между сессиями, если вам нужно всегда использовать один набор модулей, допишите нужные команды в файл ~/.bashrc.
Запуск программы осуществляется только из каталога ~/_scratch и его подкаталогов. Только этот каталог будет виден на вычислительном узле и именно он будет считаться домашним каталогм. Поэтому перед запуском вам необходимо скопировать все данные и исполняемые файлы в каталог ~/_scratch. Также перед запуском обязательно нужно загрузить соответствующий модуль для MPI и, если нужно, дополнительные, такие как MKL, CUDA и т.п.
Запуск (точнее, постановка в очередь) осуществляется командой sbatch. Команда sbatch ставит в очередь только скрипты, и запуск MPI-приложений должен осуществляться особым образом (sbatch не «знает» как их правильно запускать), поэтому для IntelMPI-приложений используется скрипт impi, для OpenMPI — ompi. Для запуска не MPI-приложения используйте скрипт run.
Например, запуск IntelMPI-приложения на 1024 ядра:
sbatch -n1024 impi path/to/my/application
Часто используемые ключи команды sbatch:
-n NNN — число требуемых ядер
-N NNN — число требуемых узлов
—ntasks-per-node=NNN — число процессов на узел
-p NAME — имя раздела (очереди)
-t MINS — лимит времени работы задачи в минутах
-o/-e/-i — перенаправление ввода/ошибок/вывода в файл
Например, если вам необходимо запустить задачу гибридную MPI+OpenMP прогпрамму на 512 ядер, но на каждом узле запустить только 2 MPI-процесса, используйте ключи -n512 —ntasks-per-node=2. Не используйте вместе ключи -n и -N, их комбинация не работает. Для запуска в очереди test используйте ключ -p test.
Просмотр задач в очереди — командой squeue, команда sinfo выдаст краткую информацию об очереди (без списка задач). Снять задачу со счёта или из очеред можно командой scancel. Подробнее о командах можно узнать в документации командой man имя_команды.
Чем меряются монстры
Какое место среди суперкомпьютеров мира занимает «Ломоносов»?
Есть единый рейтинг, Топ-500 самых мощных суперкомпьютеров мира, который публикуется два раза в год. Когда в 2009-м создали «Ломоносов», он занял 12-е место — это было высшим достижением России в рейтинге. В последней версии, вышедшей в ноябре 2014 года, «Ломоносов» уже на 58-м месте, а наш новый суперкомпьютер «Ломоносов-2» — на 22-м.
Чем они меряются?
Есть теоретическая величина, которая считается скорее на бумажке, — называется пиковой производительностью. На практике она мало кому интересна: нужно, чтобы компьютер хорошо подходил именно для конкретного типа задач. Но есть стандартный общепризнанный тест, измеряющий, насколько быстро машина умеет решать систему линейных уравнений с плотной матрицей. Он доступен в интернете, каждый может запустить его даже на мобильном телефоне — разница по пиковой производительности с нашими монстрами будет в миллионы раз. Вот по этому параметру суперкомпьютеры и ранжируют. На первом месте сейчас китайский Tianhe-2.
В России строят ещё что-нибудь такое?
Государственной программы пока нет, но поддержка есть — прежде всего, конечно, со стороны МГУ. Наш ректор понимает, что за такими вычислительными технологиями будущее. Ведь далеко не всегда можно поставить физический эксперимент, изучая, допустим, глобальное изменение климата. Зато можно построить виртуальную модель и посчитать, что произойдёт. И так во многих вещах. Почему сегодня компьютеры используются в любой конкурентоспособной промышленности? Да потому что провести вычислительный эксперимент на порядок дешевле, чем натурный. Например, вы создаёте авиационный двигатель — чтобы выполнить сертификацию, сколько таких многомиллионных устройств нужно будет испытать и разбить? Гораздо дешевле большую часть испытаний провести на виртуальной модели.
Суперкомпьютеры МГУ используются в основном для проведения таких вот виртуальных экспериментов?
Да, это главное их применение. Только у нас эксперименты связаны прежде всего с фундаментальными научными исследованиями. Но они очень востребованы и в прикладных областях: в конструировании турбин, например, в сейсморазведке, нефтяной и газовой промышленности.
Я слышал, что к традиционному для биологии делению экспериментов на in vitro (в пробирке) и in vivo (в живом организме) добавился третий тип — in silico, в компьютере.
Да, абсолютно правильно. На нас завязаны очень многие вещи, касающиеся здоровья человека: драгдизайн, моделирование кровотока в организме, моделирование мышечной активности, в том числе работы сердца. Невероятно перспективная область — моделирование активности человеческого мозга: в Европе на её изучение только государственные структуры выделили миллиард евро, ещё миллиард дадут частные компании.
Владимир Скулачёв
Академик РАН, директор Института физико-химической биологии им. Белозерского МГУ, декан факультета биоинженерии и биоинформатики МГУ. Знаменит своим проектом по разработке «лекарства от старости».
В целом примерно 30% всего машинного времени «Ломоносова» уходит на биохимический кластер, биоинформатику, биоинженерию. Академик Скулачёв с нашей помощью разрабатывает новые лекарства, химики под руководством профессора Немухина проектируют новые материалы. Вообще же нашими суперкомпьютерами пользуются больше двадцати факультетов. Среди них и гуманитарные — например, у нас был интересный проект с историческим факультетом по сравнительному анализу старинных текстов.
Только университетские учёные пользуются «Ломоносовым»?
Нет, у нас огромное количество пользователей — сейчас их около 1200, то есть порядка 200 организаций, 500 проектов. Это институты Академии наук, университеты, другие научные организации. Московский университет, по сути, обслуживает всё научно-образовательное сообщество России. Машина загружена полностью. Смотрите, у меня всегда есть возможность мониторить с экрана смартфона, что творится в суперкомпьютере. Вот текущая картинка загруженности «Ломоносова»: сейчас работают 124 человека, запущено 145 задач, еще 515 человек в очереди — ждут, пока освободятся ресурсы. Очередь есть всегда, именно поэтому мы и затеяли новый проект — «Ломоносов-2». Частично он уже запущен и вскоре станет доступен для всех учёных.
2015: Закупка 1-го дополнительного комплекта оборудования для суперкомпьютерного комплекса
В октябре 2015 года МГУ объявил аукцион на закупку 1-го дополнительного комплекта первой очереди вычислительного оборудования для суперкомпьютерного комплекса. Начальная стоимость договора составляла 395 млн рублей. .
На аукцион была подана одна заявка от компании «Т-Платформы», с ней в итоге и был заключен договор. Стоимость контракта осталась неизменной.
По условиям соглашения, заказчику требовалось дополнительное оборудование для суперкомпьютерного комплекса со следующими характеристиками:
- Суммарная пиковая производительность вычислительных узлов — не менее 375 ТФлоп/c
- Суммарная пиковая производительность установленных ускорителей вычислений — не менее 274 ТФлоп/c
- Суммарная пиковая производительность установленных центральных процессоров — не менее 40.9 ТФлоп/c
- Общее количество установленных центральных процессоров вычислительных узлов — не менее 192
Все оборудования состояло из 5 основных модулей — это комплект оборудования аппаратного шкафа для установки вычислительных узлов, комплект вычислительных узлов, а также 3 комплекта оборудования сети передачи данных.
[править] Инженерная инфраструктура
Каждая стойка суперкомпьютера потребляет до 130кВт и охлаждается водой с температурой до + 44 °C, которая подводится в радиаторы, тесно прилегающие к вычислительным платам. Контур водяного охлаждения построен с применением бескапельных разъёмов. Помимо более высокой плотности вычислений на стойку и снижения уровня шума в машинном зале, охлаждение водой с такой температурой позволяет сократить количество потребляемого всем суперкомпьютерным комплексом электричества, а также круглый год применять режим так называемого «свободного охлаждения». Это позволяет снизить как капитальные вложения в инженерную инфраструктуру суперкомпьютерного центра, так и эксплуатационные затраты, так как вместо дорогостоящих и энергоемких холодильных машин используются сухие охладители (т. н. «драйкулеры»), потребляющие значительно меньше энергии.
