Вычислительные ресурсы ИВМиМГ

КРАТКИЕ  СВЕДЕНИЯ
О  ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ  ВЫЧИСЛЕНИЯХ
В  ССКЦ  ПРИ  ИВМиМГ  СО РАН

Сибирский Суперкомпьютерный Центр коллективного пользования (ССКЦ КП) создан на базе ИВМиМГ СО РАН. Работа ССКЦ и других суперкомпьютерных центров СО РАН (Томск, Красноярск, Иркутск) курируется Советом по Супервычислениям при Президиуме СО РАН. Приказом директора ИВМиМГ создан неструктурный Временный Научно-Технический Коллектив – ВНТК «Параллель». На базе ССКЦ создан Центр Компетенции (ЦК) по Высокопроизводительным Вычислениям СО РАН – Intel, соглашение об открытии ЦК подписано 03.06.2009. Одной из задач Центр Компетенции является внедрение высокопроизводительных вычислений в промышленность. На вычислительных ресурсах ССКЦ ведутся работы сотрудников ФГУН ГНЦ ВБ "Вектор", СибНИА им. Чаплыгина, Новосибирского отделения фирмы Шлюмберже, фирмы УниПро.
По отчетам 2008 года вычислительные мощности ССКЦ использовались для работы по 98 грантам, программам и проектам.

1.  Существующие вычислительные ресурсы

1) Кластерный суперкомпьютер НКС-30Т в составе 25 серверов сверхплотной упаковки (двойные «лезвия») hp ProLiant BL2x220c (50 вычислительных модулей по два 4-х ядерных процессора Intel Quad-Core Xeon Е5450 и 16 ГБайт  оперативной памяти).  Пиковая производительность НКС-30Т составляет 4.8 ТФлопс, производительность на тесте HPL (A Portable Implementation of the High-Performance Linpack Benchmark for Distributed-Memory Computers)  – 3.408 ТFlops. Параллельная файловая система Lustre  в составе двух серверов hp DL380G5 и двух дисковых массивов hp Storageworks SFS20 имеет объём 6 Тбайт “сырой” дисковой памяти. НКС-30Т занимает 25 место в 10 списке  Top 50 в редакции от 31.03.2009 по СНГ.

2) Кластерный суперкомпьютер  НКС-160 в составе 84 вычислительных модуля hp Integrity rx1620 (два процессора Intel Itanium2, 4 ГБайт оперативной памяти). Пиковая производительность НКС-160 составляет 1075 ГФлопс, производительность на тесте HPL (A Portable Implementation of the High-Performance Linpack Benchmark for Distributed-Memory Computers)  – 828.7 GFlops

3) Сервер с общей памятью hp ProLiant DL580 G5 в составе 4-х процессоров Intel Quad-Core Xeon X7350 (4 ядра) и  256 ГБайт оперативной памяти с дисковым массивом HP Storageworks SFS20, имеющим 9 Тбайт “сырой” дисковой памяти.

4) Сервер с общей памятью hp Integrity rx4640-8 в составе 4-х процессоров Intel Itanium2 и 64 ГБайт оперативной памяти.

Программное обеспечение/инструментальные средства разработки

Кластера ориентированы для решения параллельных задач с использованием Message Passing Interface (MPI), а многопроцессорные сервера с общей памятью Symmetric MultiProcessor (SMP) на решение задач, прежде всего 3-D, требующих большой оперативной памяти, а также параллельных задач с использованием OpenMP. При таком подходе поддерживаются две современных парадигмы параллельных вычислений –
MPI для систем с распределенной памятью (кластеров) и OpenMP для систем с общей памятью. Гибридная схема предусматривает запуск на каждый вычислительный узел кластера по одному MPI-процессу, который запускает внутри каждого вычислительного модуля  несколько потоков с помощью OpenMP.
• На кластере НКС-160 установлена версия MPI mvapich 1.2.6, компиляторы
Intel C++ и Intel Fortran for Linux версии 10.1 и библиотека Intel MKL 10.0.
• На кластере НКС-30Т установлен Intel MPI 3.2.1 и Intel TraceAnalizer / Collector, компиляторы Intel C++ и Intel Fortran Professional Edition for Linux версии 11.1, включающие в себя библиотеки Intel MKL, Intel IPP и Intel TBB.
• На многопроцессорных серверах с общей памятью также установлены  компиляторы Intel C++ и Intel Fortran Professional Edition for Linux версии 11.1, включающие в себя библиотеки Intel MKL, Intel IPP и Intel TBB.
Компиляторы Intel поддерживают многопоточность и OpenMP. Одинаковый комплект базового программного обеспечения на кластерах и серверах упрощает работу пользователей.
На НКС-160 установлены коммерческие пакеты Fluent 6.3 и Gaussian 03 и свободно распространяемые (с открытым исходным кодом) LAMMPS Molecular Dynamics Simulator, Gromacs и Quantum Espresso.
На НКС-30Т установлены параллельные версии Gromacs и Quantum Espresso.
Совместно с УниПро ведутся работы по установке разрабатываемого в УниПро пакета UGENE.

2.  Классы решаемых задач
Для развития многих современных технологий очень важным является детальный анализ различных физических процессов, описываемых сложными математическими моделями. Изучение этих процессов невозможно без использования методов численного моделирования. К настоящему времени развитие вычислительной техники позволяет с высокой точностью моделировать сложные трехмерные явления, поэтому разработка параллельных алгоритмов решения больших задач является весьма актуальной. Ниже приведены некоторые задачи,  решаемые в ИМВмМГ СО РАН.

1) Разработка трехмерных моделей, параллельных алгоритмов и программ  для исследования динамики самогравитирующего газового облака и пылевого диска (Работа ведется совместно с Институтом астрономии РАН, г. Москва).
2) Трехмерное компьютерное моделирование взаимодействия встречных электрон-позитронных пучков. Численная модель создана на основе метода частиц в ячейках  (Работа ведется совместно с Институтом ядерной физики СО РАН,
г. Новосибирск).
3) Разработка трехмерных моделей, параллельных алгоритмов и программ  для моделирования развития аномальной теплопроводности при нагреве плазмы электронным пучком в установках УТС (Работа ведется совместно с Институтом ядерной физики СО РАН, г. Новосибирск).
4) Математическое моделирование физических основ космического плазменного двигателя (Работа ведется совместно с Институтом ядерной физики СО РАН,
г. Новосибирск).
5) Разработка параллельных алгоритмов и программ  для моделирования динамики магматического расплава в вулканах с учетом его фазовых превращений (Работа ведется совместно с Институтом гидродинамики СО РАН, г. Новосибирск).
6) Разработка параллельных алгоритмов, основанных на различных модификациях метода «крупных частиц» для моделирования геологических течений с сильно изменяющимися реологическими и транспортными свойствами, такими как вязкость, теплопроводность и т.п. (Работа ведется совместно с Институтом геологии и минералогии СО РАН, г. Новосибирск).
7) Разработка параллельных алгоритмов и программ для решения задач механики сплошных сред, допускающих получение результатов с гарантированной точностью (Работа ведется совместно с Институтом математики СО РАН,
г. Новосибирск).

Среди активных пользователей ССКЦ  КП институты СО РАН:
1) Институт Вычислительных Технологий  «Построение параллельных вычислительных алгоритмов для автоматического проектирования форм аэрогидродинамических установок»
2) Институт Теоретической и Прикладной Механики  «Аэротермодинамика гиперзвукового полета перспективных летательных аппаратов»
3) Институт Катализа  «Теоретическое исследование формирования структуры, спектральных проявлений и каталитической активности окисленных и частично-восстановленных наночастиц металлов в высококремнистых цеолитах», «Происхождение и эволюция биосферы»
4) Институт теплофизики. «Вихри, организованные структуры и турбулентность в одно- и многофазных потоках»
5) Институт нефтегазовой геологии и геофизики. «Геодинамические модели взаимодействия литосферы и мантии Центральной Азии и их геолого-геофизическое тестирование», «Трехмерное моделирование конвективных процессов в мантии Земли»
6) Институт Вычислительной Математики и Математической Геофизики.  «Численное моделирование сейсмических волновых полей в неоднородных разномасштабных средах»
7) Институт Цитологии и Генетики  «Теоретическое исследование особенностей эволюции белков, обусловленных координированными заменами аминокислотных остатков»
8) Институт Ядерной Физики  «Суперкомпьютерное моделирование эффектов встречи ультрарелятивистских пучков заряженных частиц  в суперколлайдерах»

3.  Разработанные методы и средства автоматизации и параллельного программирования

I.  Система поддержки, разработки и ведения библиотеки параллельных численных подпрограмм включая:
1) унифицированный метод распараллеливания численных алгоритмов
(фрагментация алгоритмов);
2) run-time система организации вычисления;
3) язык описания фрагментированных алгоритмов;
4) компилятор с языка описания фрагментированных алгоритмов;
5) набор фрагментированных численных алгоритмов и подпрограмм.

II.  Система мелкозернистого моделирования природных явлений, не описываемых системами дифференциальных уравнений (системы n-m-взаимодействий)
III.  Технология фрагментированного программирования и поддерживающее системное программное обеспечение

4.  Созданные и предлагаемые методы и средства организации грид-систем

В рамках международного проекта NumGRID (2004 - настоящее время) разработано третье поколение системного программного обеспечения для объединения разнородных суперкомпьютеров в единую систему.
Система  NumGRID орентирована на решение сверхбольших задач численного моделирования и включает:
1) средства динамического распределения и перераспределения ресурсов;
2) средства организации вычислений;
3) унифицированный интерфейс и средства поддержки модификации прикладных МРI-программ для настройки на гетерогенную среду.

ССКЦ участвовал в проведении вычислительных экспериментов по Грид- технологиям вместе с Институтом Механики МГУ (в качестве инструментария использовался  Globus toolkit) и НИВЦ МГУ плюс Суперкомпьютерный Консорциум Университетов России (X-Com - самостоятельная разработка НИВЦ МГУ). Одна из выявленных проблем это низкая скорость доступа и обмена данными между вычислительными кластерами.
ССКЦ один из участников проекта по объединению ИВТ, ИЯФ и НГУ скоростной (на сегодняшний день) сетью 10 Гбит, что позволит развивать вычислительный Грид - сегмент в Новосибирском Научном Центре (ННЦ).
В Межведомственном Суперкомпьютерном Центре, г. Москва развивается проект  РИСП – распределенная инфраструктура для суперкомпьютерных приложений, который используется Globus toolkit.
ССКЦ ведет работы по апробации GridGain (Open Cloud Platform), позволяющего параллельно выполнять программы, написанные на Java и объединять выделенные вычислительные сервера в вычислительное облако / Grid.
Для построения вычислительного Грид - сегмента в ННЦ предлагается использовать свободно распространяемое программное обеспечение (ПО):  Globus toolkit и метапланировщик заданий  GridWay. Это ПО активно развивается, хорошо поддерживается сообществом разработчиков ПО с открытым исходным кодом.  Globus toolkit включен как одна из опций в свободно распространяемое ПО RocksClusters (установка и эксплуатация вычислительных кластеров). Globus обеспечивает взаимодействие с системами пакетной обработки (batch system), такими как свободно распространяемая Grid Engine и коммерческая PBS Pro. 

5.  Предложения по подготовке специалистов

На двух кафедрах в НГУ (кафедра Параллельных вычислений, кафедра Вычислительных систем) и в НГТУ (кафедра Параллельных вычислительных технологий) готовятся специалисты для лабораторий Института и Суперкомпьютерного центра. Однако, прием молодых специалистов практически заморожен, поскольку нет дополнительных ставок, жестко зафиксировано штатное расписание. Магистранты кафедр (не говоря уже об аспирантах) в состоянии выполнять работы, которые принимаются на международные конференции высшего уровня и публикуются в международных журналах. Для повышения квалификации студентов, магистрантов и аспирантов кафедр ежегодно при поддержке ССКЦ проводятся две школы по параллельным вычислениям по дополнительной программе. Программа школ ежегодно модифицируется в соответствии с изменениями в технологиях параллельных вычислений. В рамках программы наработаны как методы преподавания, так и учебный и лабораторный материал. В январе-феврале 2009 года прошла уже 17-я школа.
В рамках работы Центра Компетенции СО РАН - Intel проведена серия (19) совместных семинаров (ССКЦ, НГУ, Intel)
"Архитектура, системное и прикладное программное обеспечение кластерных суперЭВМ", рук. - д.т.н., профессор Глинский Б. М.
Проведены два выездных семинара:
 *  "Высокопроизводительные вычисления для решения задач нефтегазовой геологии и геофизики", в Институте нефтегазовой геологии и геофизики
 * "Высокопроизводительные вычисления для решения задач биоинформатики",
   в институте Цитологии и Генетики.

Необходимо:
1) В связи с увеличением числа оборудования в ССКЦ КП СО РАН выделить
4 инженерные ставки;
2) При наличии дополнительного финансирования возможно привлечение продвинутых магистрантов и/или аспирантов, обучение таких специалистов силами сотрудников Intel. Это позволить сформировать группу  тренеров по проведению мастер-классов и тренингов по программному обеспечению Intel (компиляторы, библиотеки, профилировщики), организовать на их базе группу по консультационному обслуживанию пользователей;
3) Финансировать проведение школ. Сейчас они проводятся за счет фонда заработной платы кафедр. Потому мы принимаем на школы только узкий круг тех студентов, в которых мы заинтересованы. Мы, однако, готовы расширить прием при наличии финансирования (примерно 150 тыс.руб.  на проведение одной школы с примерно 50-ю участниками) и обучать также и сотрудников СО РАН;
4) Финансировать дополнительные места в аспирантуре ИВМ и МГ СО РАН (стипендии и места в общежитиях) в области параллельных вычислений для приглашения молодежи из других институтов СО РАН  (возможно с последующим возвратом по месту работы). Аналогично финансировать и магистратуру по кафедре Параллельных вычислений в НГУ;
5) Выделить гранты для молодежных проектов в области параллельных вычислений.

6. Вопросы, связанные с развитием материально-технической базы

6.1. Наращивание вычислительных ресурсов. Для сохранения достойных позиций в сети суперкомпьютеров России и обеспечения научного сообщества СО РАН возможностью проводить вычисления на современном уровне необходимо увеличить пиковую производительность вычислительных ресурсов хотя бы до 30 ТФлопс. На примере серверов сверхплотной упаковки hp ProLiant BL2x220c стоимость 1 ТФлопс составляет около 100 000 долларов США.
 Увеличение производительности может быть достигнуто за счёт объединения ресурсов ССКЦ с проектом ИЦиГ СО РАН по программы СО РАН «Геномика, протеомика и биоинформатика».
 Кроме этого, при поддержке СО РАН и администрации г. Новосибирска может быть реализован проект создания кластерного суперкомпьютера на базе отечественных разработок по программе СКИФ-4.
6.2. Создание многоуровневой системы хранения данных. Для надёжного и эффективного хранения данных пользователей, для хранения результатов крупномасштабных вычислительных экспериментов необходимо нарастить объём дисковых массивов параллельных файловых систем кластерных суперкомпьютеров, а также приобрести для резервного копирования и архивирования ленточную роботизированную библиотеку и программное обеспечение. Ориентировочная стоимость 5 млн. руб.
6.3. Инфраструктура машинного зала ССКЦ. Увеличение вычислительных ресурсов при реализации разрабатываемых проектов увеличит энергопотребление компьютерного оборудования  более чем 200 кВт. Это потребует такой же мощности источник бесперебойного электропитания и систему охлаждения с такой же производительностью по холоду. Обе эти системы должны иметь достаточный резерв, так как выход из строя любой из них приведёт к остановке всего компьютерного оборудования.
 Резерв по мощности источника бесперебойного электропитания на сегодняшний день составляет 10 кВт, а по системе охлаждения – 60 кВт по холоду.
 Ориентировочная стоимость источника бесперебойного электропитания на 160 кВт с резервированием по схеме N+1 составляет 5 млн. руб.
 Ориентировочная стоимость системы водяного охлаждения с применением локальных кондиционеров с резервированием по схеме N+1 и без резервирования чиллера на 260 кВт составляет 10 млн. руб.
 Создание таких достаточно больших систем обеспечения надёжной работы вычислительного оборудования требует привлечение опытных и квалифицированных проектировщиков. Ориентировочная стоимость проекта системы охлаждения на 260 кВт по холоду составляет 1 млн. руб.
6.4. Программное обеспечение. Кроме ежегодного приобретения лицензий на системное ПО и средства разработки (Intel SW, PBS Pro, RedHat Linux и т. п.) для обеспечения задач моделирования на НКС-30Т необходимо приобрести прикладные коммерческие пакеты программ: STAR CD, Ansys Multiphisycs, Ansys LS-DYNA, Fluent, Gaussian 09. Ориентировочная стоимость перечисленных пакетов составляет 15 млн. руб.

 Рабочее совещание по перспективам развития суперкомпьютеров и grid'а в СО РАН, 19 августа 2009 г.