Вычислительные ресурсы ИВТ СО РАН и НГУ

Вычислительные ресурсы ИВТ СО РАН
(информация на 1 сентября 2009 г.)

1. Вычислительный комплекс – кластер, состоящий из 7 узлов по два двухъядерных процессора AMD Athlon и восьмипроцессорного узла с двухъядерными процессорами AMD Athlon, выполняющего, также, функции управляющего узла кластера. В качестве интерконнекта используется Gigabit Ethernet. Комплекс закуплен в 2006 году, эксплуатируется с 2007 года.

2. Ускоритель вычислений на базе GPGPU NVidia Tesla S1070, содержащий четыре потоковых процессора, способных обрабатывать до 240 потоков данных каждый. Ускоритель подключен к многопроцессорному узлу, планируется замена хост-машины ускорителя для повышения эффективности его использования. Ускоритель закуплен в 2008 году, эксплуатируется с 2009 года.

3. Вычислительный комплекс – кластер, состоящий из 4 узлов по два одноядерных процессора Intel Xeon и управляющего узла. В качестве интерконнекта используется Gigabit Ethernet. Комплекс закуплен и эксплуатируется с 2004 года, планируется его деинсталляция.

Вычислительные ресурсы НГУ
(информация на 1 сентября 2009 г.)

Высокопроизводительный вычислительный комплекс НГУ, состоит в своей основе из кластера с пиковой производительностью 5,447 Тфлопс, системы с общей памятью и дисковой подсистемы с параллельным доступом. Реальная производительность кластера на тесте LINPACK составила 4,09 Тфлопс. На данный момент суперкомпьютер НГУ занимает 20 место в Топ-50 самых высокопроизводительных вычислительных систем в СНГ и является третьим по мощности в Сибири и на Дальнем Востоке (более мощные системы установлены только в Сибирском федеральном и Томском государственном университетах).

Кластер состоит из 64 вычислительных узлов, основанных на блэйд-серверах Hewlett-Packard BL460c. Все вычислительные узлы размещаются в 4-х специализированных шасси C7000, вмещающих по 16 серверов HP BL460c и объединены высокопроизводительной сетью InfiniBand DDR 4x. Количество ядер в кластере - 512, общий объем оперативной памяти -1024 ГБ. В кластере используется параллельная файловая система хранения SFS емкостью 24 ТБ, основанная на технологии Lustre, скорость чтения СХД - более 1 ГБ/с, записи -800 МБ/с. Кроме этого вычислительный комплекс содержит 4х-процессорный сервер с общей памятью в 128 ГБ и систему хранения данных на FC дисках EVA 4100 емкостью 4 ТБ. Весь комплекс построен с учетом резервирования и дублирования и не имеет «единой точки отказа». Созданная инфраструктура ЦОД в дальнейшем позволит увеличить производительность кластера более чем в 2 раза. Кластер НГУ станет частью распределенной вычислительной системы Сибирского отделения РАН. Это первый за Уралом вычислительный кластер, который построен на плотных блэйд-серверах Hewlett-Packard BL460c

Впервые за Уралом запущена параллельная файловая система хранения SFS, основанная на технологии Lustre.

Классы решаемых задач

Вычислительные комплексы ИВТ СО РАН использовались для расчета цунами-рисков, оптимизации современных волоконно-оптических линий связи, математического моделирования нанокомпозитных сред, многорежимной оптимизации рабочих колес гидротурбин, численного моделирования импульсной системы пожаротушения на основе твердотопливного газогенератора.

На высопроизводительных вычислительном кластере НГУ выполнен ряд совместных пилотных научно-исследовательских проектов с учеными из Институтов Сибирского отделения РАН: моделирование явлений абсорбции на поверхности полупроводников (совместно с ИФП СО РАН), моделирование генерации, распространения и наката волн цунами (совместно с ИВТ СО РАН), математическое моделирование нанокомпозитных сред (совместно с ИВТ СО РАН), оптимизация конструкций мощных волоконных лазеров и математическое моделирование процессов микрообработки материалов и формирования объёмных наноструктур в оптических световодах сред (совместно с ИАиЭ СО РАН, ИВТ СО РАН), моделирование статистических свойств сильно неравновесных систем сред (совместно с ИАиЭ СО РАН) и т.д.

Разработанные методы и средства автоматизации
и параллельного программирования

Одним из направлений работ ИВТ СО РАН в области вычислительной математики является разработка параллельных алгоритмов решения задач математический физики. Все параллельные алгоритмы реализованы с помощью стандартных интерфейсов параллельного программирования: MPI, OpenMP, CUDA. При разработке используются различные инструменты и средства автоматизации параллельного программирования: средства отладки и анализа производительности Valgrind, Marmot, Kojak и другие доступные инструменты.

Созданные и предлагаемые методы и средства организации грид-систем

ИВТ СО РАН является одним из ведущих институтов в Сибирском отделении Российской академии наук по разработке и созданию распределенных вычислительных и информационных систем. Являясь исполнителем целевой научной программы «Информационно-телекоммуникационные ресурсы СО РАН», Институт поддерживает и развивает корпоративную сеть передачи данных СПД СО РАН, ставшую за время выполнения работ по программе крупнейшей корпоративной научно-образовательной сетью в России. А именно сеть является ключевым элементом систем распределенных вычислений и грид-систем. Сотрудники института выполняют активное участие в разработке технологии распределенного хранения данных и предоставления доступа к ним в рамках проекта "Виртуальная среда обмена результатами научных исследований", элементы которого выполняются в рамках программ президиума РАН и президиума СО РАН.В рамках сотрудничества с компанией Синтерра и консорциумом «Университетский кластер», Институт принимает участие в создании грид-сети, объединяющей университеты Новосибирска, Томска и Иркутска, а также Межведомственный суперкомпьютерный центр РАН (МСЦ РАН).Следующим элементом грид-систем является программное обеспечение промежуточного уровня. Сотрудниками института осваиваются основные технологии используемые в грид-системах Европейского союза и США. В 2008 в рамках российско-германской школы по параллельным вычислениям, которую ИВТ СО РАН проводил совместно с Штутгартским центром высокопроизводительных вычислений и Фрайбургским университетом (Германия) был создан тестовый грид-полигон, основанный на технологиях Unicore и Globus Toolkit. В рамках сотрудничества с Новосибирским государственным университетом на основе технологических принципов, заданных ИВТ СО РАН, создана система удаленного доступа к ресурсом ИВЦ НГУ, которая в будущем станет основой ресурного центра грид-системы. В 2010 году планируется построение на основе высокопроизводительного сегмента СПД СО РАН системы вычислительных сервисов, которые могут быть, при наличии свободных вычислительных ресурсов, экспортированы как грид-сервисы во внешние грид-системы.

В 2010 году на базе ИВТ СО РАН будет создан элемент распределенной системы хранения данных, предназначенной для хранения и обработки потоков данных, поступающих от измерительных систем, антенн приема данных дистанционного зондирования и других задач, требующих обработки больших объемов цифровых данных.

Предложения по подготовке специалистов

1. Проведение российско-германских школ по параллельным вычислениям на высокопроизводительных вычислительных системах (на базе ИВТ СО РАН).

2. Введение междисциплинарной магистерской программа “Параллельные компьютерные технологий” (на базе ММФ и ФИТ НГУ).

3. Чтение курсов по высокопроизводительным вычислениям на базе Учебно-научного центра “Технологий HP в НГУ” для сотрудников СО РАН.

4. Введение новой междисциплинарной магистерской программы “ Математическое моделирование в естественных науках с использованием высокопроизводительных вычислительных систем.”

Вопросы, связанные с развитием материально-технической базы

1. В ИВТ СО РАН предполагается закупка нового вычислительного кластера с пиковой производительностью не менее 1 Tflops.

2. В НГУ предполагается увеличение производительности кластера путем наращивания вычислительных узлов и заменой сетевых коммутаторов вычислительной сети. Вычислительные узлы новой части кластера будут выполнены на серверах сверхплотной установки HP BL280c G6 на основе новых процессоров Intel® Xeon® серии 5570 под кодовым названием Nehalem. Пиковая производительность вычислительного кластера будет составлять 17,45 TFlops, что позволит увеличить общее количество пользователей, улучшить время расчета крупных задач, повысить загрузку вычислительного комплекса и привлечь новых заказчиков.

Совещание ведущих специалистов СО РАН по проблемам развития суперкомпьютерных вычислений и грид-технологий в Сибирском отделении РАН, 19 августа 2009 г.