Санкт-Петербургский политехнический университет Петра Великого
Суперкомпьютерный центр СПбПУ ориентирован на решение междисциплинарных естественно-научных задач и поддержку проектирования сложных технических систем для высокотехнологичных наукоемких секторов науки и промышленности.
После плановой модернизации суперкомпьютера «Политехник — РСК Торнадо», проведенной в течение 2020 года, система поднялась на 4-ю строку списка Top50, пиковая производительность выросла на 29%, а также попала в мировой рейтинг IO500, список суперкомпьютеров с самыми высокопроизводительными системами хранения данных HPC-класса.
Гиперконвергентная архитектура
В основе построения гиперконвергентной системы лежит подход объединения ресурсов для вычисления (compute) и хранения (store) на каждом узле системы. Каждый узел системы является как частью вычислительной подсистемы, так и частью распределенной системы хранения данных пользователей, исполняя сразу два вида нагрузки (compute/store). Это позволяет линейно масштабировать ресурсы системы с увеличением количества узлов.
В отличии от классического подхода в НРС, когда вычислительная система и система хранения являются обособленными и масштабируются отдельно, в гиперконвергентной системе с увеличением количества узлов системы растет как вычислительная мощность, так и объем/скорость распределенной системы хранения данных.
Программное обеспечение суперкомпьютера на основе комплексного ПО «РСК БазИС» позволяет создавать, конфигурировать и управлять системами такого типа, прецизионно выделяя под каждую задачу пользователя необходимые вычислительные ресурсы и ресурсы системы хранения.
Распределённая система хранения «по требованию»
Применение гиперконвергентного подхода позволило создать для суперкомпьютера Политехник уникальную высокоскоростную систему хранения данных РСК Storage-on-Demand, обладающую лидерскими характеристиками – скорость параллельной файловой системы на чтение/запись информации превышает 194,9 ГБ/с.
Эта система заняла 28-е место в текущей редакции списка IO500 (ноябрь 2020 г.), нового индустриального рейтинга для систем хранения данных HPC-класса.
Сервера РСК Торнадо как вычислительный ресурс и распределённая СХД
Сервера-лезвия РСК Торнадо TDN511 с прямым жидкостным охлаждением хорошо сбалансированы как для применения в решении самых различных вычислительных задач, так и для использования в составе системы хранения данных РСК Storage-on-Demand, формируемой «по требованию» на базе различных файловых систем.
Распределённая система хранения представляет собой единую централизованно управляемую систему и имеет несколько уровней хранения данных — очень горячие данные, горячие данные, тёплые данные и холодные данные.
Система хранения очень горячих данных создана на основе четырёх серверов-лезвий «РСК Торнадо» TDN511. В каждый сервер установлено 2 высокоскоростных твёрдотельных дисков с низкой латентностью Intel® Optane™ SSD DC P4801X 375GB M.2 Series с технологией Intel® Memory Drive Technology (IMDT), что позволяет получить 2,8 ТБ для размещения очень горячих данных.
Система хранения горячих данных состоит из динамической системы хранения РСК Storage-on-Demand с параллельной файловой системой Lustre, созданной на основе 62 серверов-лезвий РСК Торнадо TDN511. Для быстрого доступа к метаданным файловой системы без задержек используются твёрдотельные диски с низкой латентностью Intel® Optane™ SSD DC P4801X 375GB M.2 Series, для хранения горячих данных — твердотельные диски Intel® SSD DC P4511 2 TB (NVMe, M.2).
Система хранения тёплых данных представляет собой статическую систему хранения на жёстких дисках с параллельной файловой системой Lustre и имеет объём 1 Петабайт.
Система хранения холодных данных состоит из двух частей, одной из которых является СХД типа NAS объемом 2,4 Петабайта, второй — ленточная система хранения данных.
Высокоскоростная сеть Mellanox InfiniBand FDR
Для высокоскоростной передачи данных между вычислительными узлами в составе суперкомпьютерного комплекса Политехник используется технология коммутации Mellanox InfiniBand FDR, обеспечивающая скорость неблокируемой коммутации до 56 Гбит/c на каждый порт. Для повышения скорости доступа вычислительных узлов к сети до 100 Гбит/с в каждый сервер-лезвие установлен адаптер с двумя портами InfiniBand FDR. Это обеспечивает необходимую производительность для ресурсоемких приложений пользователей и для распределенной системы хранения суперкомпьютера.
Энергоэффективное решение
Жидкостное охлаждение суперкомпьютера «Политехник — РСК Торнадо» позволяет минимизировать затраты на охлаждение мощных вычислительных серверов. Среднегодовой показатель PUE системы, отражающий уровень эффективности использования электроэнергии, составляет менее чем 1,2. То есть на охлаждение расходуется менее 20% всего потребляемого электричества, что является очень хорошим результатом для HPC-индустрии.
