Институт вычислительной математики и математической геофизики СО РАН (ИВМиМГ СО РАН) является признанным лидером в области разработки численных методов решения прямых и обратных задач математической физики, методов численного статистического моделирования (методов Монте-Карло), геофизики, физики атмосферы, океана и окружающей среды, химии, электрофизики.
Установка и последующая модернизация нового вычислительного комплекса НКС-1П позволила значительно увеличить вычислительную мощность суперкомпьютерного центра, услугами которого пользуются 24 института Сибирского отделения РАН.
В тех случаях, когда расчетная задача требует больших вычислительных ресурсов, чем может предоставить ССКЦ, обеспечивается возможность использования вычислительных мощностей МСЦ РАН.
Архитектура Суперкомпьютера НКС-1П
Основную часть вычислительных узлов суперкомпьютера НКС-1П составляют сервера-лезвия РСК Торнадо TDN421 и TSN121 на процессорах Intel® Xeon Phi™ 7290 и Intel® Xeon® E5-2697А v4.
В 2020 году начато постепенное расширение суперкомпьютора добавлением современных серверов-лезвий РСК Торнадо TDN511 и TDN531, что позволит использовать гиперконвергентный подход построения кластера в ближайшем будущем.
В качестве системы хранения тёплых данных используется система с воздушным охлаждением, построенная на базе серверов и дисковых подсистем РСК Бриз. Надёжность обеспечивается резервированием серверов хранения данных и их компонентов. Используется параллельная файловая система Lustre полезным объёмом около 200 Терабайт.
Сервера РСК Торнадо как вычислительный ресурс и распределённая СХД
Сервера-лезвия РСК Торнадо TDN511 и TDN531 с прямым жидкостным охлаждением хорошо сбалансированы как для применения в решении самых различных вычислительных задач, так и для использования в составе системы хранения данных РСК Storage-on-Demand, формируемой «по требованию» на базе различных файловых систем.
Распределённая система хранения представляет собой единую централизованно управляемую систему и имеет несколько уровней хранения данных — очень горячие данные, горячие данные, тёплые данные и холодные данные.
Система хранения горячих данных состоит из динамической системы хранения РСК Storage-on-Demand, созданной на основе 3 серверов-лезвий РСК Торнадо TDN511 . Для хранения горячих данных используются твердотельные диски Intel® SSD DC P4511 2 TB (NVMe, M.2) и Intel® SSD DC P4511 4 TB (NVMe, E1.S).
Система хранения тёплых данных представляет собой статическую систему хранения на жёстких дисках с параллельной файловой системой Lustre и имеет объём 200 Терабайт.
Высокоскоростная сеть Intel Omni-Path
Для высокоскоростной передачи данных между вычислительными узлами в составе суперкомпьютера НКС-1П используется технология коммутации Intel® Omni-Path, обеспечивающая скорость неблокируемой коммутации до 100 Гбит/c, на основе 48-портовых коммутаторов Intel® Omni-Path Edge Switch 100 Series. Характеристики низколатентной Intel® Omni-Path Architecture позволяют удовлетворить не только текущие потребности ресурсоемких приложений пользователей, но и обеспечить необходимый запас пропускной способности для расширения вычислительной мощности и создания распределенной системы хранения .
Энергоэффективное решение
Работа в режиме «горячая вода» для данного решения позволила применить круглогодичный режим free cooling (24x7x365), используя только сухие градирни, работающие при температуре окружающего воздуха до +50 °C, а также отказаться от применения фреонового контура и чиллеров. В результате среднегодовой показатель PUE системы, отражающий уровень эффективности использования электроэнергии, составляет менее чем 1,06. То есть на охлаждение расходуется менее 6% всего потребляемого электричества, что является выдающимся результатом для HPC-индустрии.
