Межведомственный Суперкомпьютерный Центр РАН (МСЦ РАН)
МСЦ РАН является одним из самых мощных суперкомпьютерных центров коллективного пользования в России в сфере науки и образования.
Вычислительный комплекс МВС-10П ОП предоставляет российским ученым широкие возможности для решения актуальных задач в области фундаментальных и прикладных наук, включая такие стратегические направления исследований, как цифровые и интеллектуальные технологии, высокотехнологичное здравоохранение, повышение экологичности и эффективности энергетики, развитие авиапромышленного комплекса и освоение космического пространства, искусственный интеллект, машинное обучение, работа с большими данными и другие.
Гиперконвергентная архитектура
В основе построения гиперконвергентной системы лежит подход объединения ресурсов для вычисления (compute) и хранения (store) на каждом узле системы. Каждый узел системы является как частью вычислительной подсистемы, так и частью распределенной системы хранения данных пользователей, исполняя сразу два вида нагрузки (compute/store). Это позволяет линейно масштабировать ресурсы системы с увеличением количества узлов.
В отличии от классического подхода в НРС, когда вычислительная система и система хранения являются обособленными и масштабируются отдельно, в гиперконвергентной системе с увеличением количества узлов системы растет как вычислительная мощность, так и объем/скорость распределенной системы хранения данных.
Программное обеспечение суперкомпьютера на основе комплексного ПО «РСК БазИС» позволяет создавать, конфигурировать и управлять системами такого типа, прецизионно выделяя под каждую задачу пользователя необходимые вычислительные ресурсы и ресурсы системы хранения.
Распределённая система хранения «по требованию»
Применение гиперконвергентного подхода позволило создать для суперкомпьютера МВС-10П ОП2 уникальную высокоскоростную систему хранения данных РСК Storage-on-Demand, обладающую лидерскими характеристиками – скорость параллельной файловой системы на чтение/запись информации превышает 122,7 ГБ/с.
Эта система заняла 18-е место в текущей редакции списка IO500 (ноябрь 2020 г.), нового индустриального рейтинга для систем хранения данных HPC-класса.
Сервера РСК Торнадо как вычислительный ресурс и распределённая СХД
Сервера-лезвия РСК Торнадо TDN511 и TDN531 с прямым жидкостным охлаждением хорошо сбалансированы как для применения в решении самых различных вычислительных задач, так и для использования в составе системы хранения данных РСК Storage-on-Demand, формируемой «по требованию» на базе различных файловых систем.
Распределённая система хранения представляет собой единую централизованно управляемую систему и имеет несколько уровней хранения данных - очень горячие данные и горячие данные.
Система хранения очень горячих данных создана на основе четырёх серверов-лезвий РСК Торнадо TDN531. В каждый сервер установлено 2 высокоскоростных твёрдотельных дисков с низкой латентностью Intel® Optane™ SSD DC P4801X 375GB M.2 Series с технологией Intel® Memory Drive Technology (IMDT), что позволяет получить 2,8 ТБ для очень горячих данных.
Система хранения горячих данных состоит из динамической системы хранения РСК Storage-on-Demand с параллельной файловой системой Lustre, созданной на основе 54 серверов-лезвий РСК Торнадо TDN531. Для быстрого доступа к метаданным файловой системы без задержек используются твёрдотельные диски с низкой латентностью Intel® Optane™ SSD DC P4801X 375GB M.2 Series, для хранения горячих данных - твердотельные диски Intel® SSD DC P4511 4 TB (NVMe, E1.S).
Высокоскоростная сеть Intel Omni-Path
Для высокоскоростной передачи данных между вычислительными узлами в составе суперкомпьютерного комплекса МВС-10П ОП используется технология коммутации Intel® Omni-Path, обеспечивающая скорость неблокируемой коммутации до 100 Гбит/c, на основе 48-портовых коммутаторов Intel® Omni-Path Edge Switch 100 Series. Характеристики низколатентной Intel® Omni-Path Architecture позволяют удовлетворить не только текущие потребности ресурсоемких приложений пользователей, но и обеспечить необходимый запас пропускной способности для распределенной системы хранения суперкомпьютера.
Энергоэффективное решение
Работа в режиме «горячая вода» для данного решения позволила применить круглогодичный режим free cooling (24x7x365), используя только сухие градирни, работающие при температуре окружающего воздуха до +50 °C, а также полностью избавиться от фреонового контура и чиллеров. В результате среднегодовой показатель PUE системы, отражающий уровень эффективности использования электроэнергии, составляет менее чем 1,06. То есть на охлаждение расходуется менее 6% всего потребляемого электричества, что является выдающимся результатом для HPC-индустрии.
