Вычислительные ресурсы ИДСТУ СО РАН

Информация на 1 сентября 2009 г.

СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР

КОЛЛЕКТИВНОГО ПОЛЬЗОВАНИЯ ИДСТУ СО РАН.

ТЕКУЩЕЕ СОСТОЯНИЕ, ВОЗМОЖНОСТИ И ПЕРСПЕКТИВЫ РАЗВИТИЯ

И.В. Бычков, Г.А. Опарин, А.Г. Феоктистов, А.П. Новопашин

Институт динамики систем и теории управления СО РАН

Суперкомпьютерный центр (СКЦ) коллективного пользования [1-2], функционирующий с 2005 года при Институте динамики систем и теории управления (ИДСТУ) СО РАН, выполняет важнейшую роль обеспечения высокопроизводительными вычислительными ресурсами научных исследований, проводимых институтами Иркутского научного центра (ИНЦ) СО РАН. Специалистами СКЦ накоплен значительный опыт эксплуатации готовых кластерных систем, разработки и внедрения собственных, создания соответствующего системного и прикладного программного обеспечения. Деятельность СКЦ финансируется в рамках программы Сибирского отделения РАН “Суперкомпьютер”.

1. Вычислительные ресурсы СКЦ.

Пользователям СКЦ предоставляется удаленный доступ к двум вычислителям с кластерной архитектурой:

1) МВС-1000/16. Разработан совместно ИПМ им. М.В. Келдыша РАН и ФГУП НИИ «Квант» (Москва), запущен в эксплуатацию в ИДСТУ СО РАН феврале 2005 года, модернизирован до текущей конфигурации в феврале 2006 года. Кластер включает 16 вычислительных узлов (32 процессора) суммарной пиковой производительностью 170 GFlops. В качестве системной сети используется Myrinet 2000 (Myricom, США), управляющей – Gigabit Ethernet. Машина поддерживается в состоянии максимальной работоспособности, однако по мере ее морального устаревания и с введением в строй более мощного вычислителя применяется, главным образом, для проведения небольших численных экспериментов и обучения технологиям параллельного программирования.

2) Blackford. Основной вычислительный ресурс СКЦ. Собственная разработка ИДСТУ СО РАН. Введен в эксплуатацию в феврале 2007 года, в январе следующего прошел модернизацию, позволившую поднять пиковую производительность до 1,5 TFlops и добиться реальной производительности на тестах LINPACK порядка триллиона операций в секунду. Кластер построен на базе серверных платформ Intel S5000PAL (Bensley), четырехядерных процессоров Intel Quad-Core Xeon E5345 2,33 GHz (Clovertown), интерконнекта Gigabit Ethernet. Вычислитель содержит 20 вычислительных узлов, 40 процессоров (или 160 процессорных ядер). В сентябре 2008 года Blackford вошел в 9-ю редакцию рейтинга наиболее мощных суперкомпьютерных систем СНГ (41-е место), на сегодняшний день занимает последнюю строчку 10-ой редакции списка ТОП-50.

Кластеры СКЦ работают под управлением операционной системы Gentoo Linux и снабжены средствами создания, отладки и запуска параллельных программ, включая компиляторы C/С++ и Fortran, коммуникационные интерфейсы (MPI и PVM), параллельные предметные библиотеки (ScaLAPACK, MKL, ATLAS, FFT, PETSc), системы параллельного программирования (DVM и HPF-adaptor), средствами мониторинга и управления процессом прохождения параллельных задач, прикладным программным обеспечением (пакеты GAMESS / PC GAMESS для квантово-химических расчетов, параллельный SAT-солвер PMSat, пакеты Lamarc / Migrate, Parallel MrBayes для популяционно-генетических и филогенетических расчетов, пакет ILOG CPLEX для решения задач линейного и целочисленного программирования и другие).

Кроме того, для проведения мультидисциплинарных исследований, связанных с обработкой больших массивов предметных данных, в распоряжении СКЦ находится современная высокопроизводительная масштабируемая система хранения данных T-plaftorms ReadyStorage 3994 класса SAN с начальным объемом хранения 26 TB.

2. Классы решаемых задач.

С использованием перечисленного выше оборудования в СКЦ решается широкий спектр научно-исследовательских задач, которые можно разделить на следующие классы: квантово-химические расчеты, физика плазмы, биология рыб, филогенетика, математическая биология, криптография, дискретная математика, булевы уравнения, оптимальное управление динамическими системами, обработка геоданных.

Некоторые примеры решаемых задач:

1) Исследование фазовой диаграммы квантовой хромодинамики и свойств адронов в горячей и плотной среде [3].

2) Квантово-химическое моделирование точечных дефектов в кристаллах щелочных и щелочно-земельных фторидов. Исследование структуры и электронных свойств бор- и фосфорсодержащих примесных центров в кристаллическом кремнии [4-6].

3) Численное моделирование методом Монте-Карло на трехмерной решетке ионизационных и конденсационных равновесий в растворах полимеров.

4) Изучение филогенетических отношений сиговых рыб Байкала [7].

5) Разработка параллельных алгоритмов для решения задач динамической оптимизации управляемых систем.

6) Разработка новых скоростных методов и параллельных алгоритмов логического поиска в задачах обращения дискретных функций. Решение задачи криптоанализа систем поточного шифрования [8-9].

7) Разработка библиотеки параллельных алгоритмов для решения задач целочисленного линейного программирования [10].

8) Разработка систем параллельного решения задач в булевых ограничениях [11].

На решение задач из вышеприведенного списка (часть из которых принадлежит сфере нанотехнологий) затрачивается 90% машинного времени кластеров СКЦ.

Приведем описание ряда задач, которые требуют для своего решения вычислительных кластеров повышенной (десятки терафлопс) и сверхвысокой (сотни терафлопс) производительности.

1. Построение фазовой диаграммы квантовой хромодинамики в рамках нелокальной кварковой модели (Раджабов А.Е., ИДСТУ СО РАН).

В связи с подготовкой и проведением экспериментов на ускорителях частиц LHC(ЦЕРН), FAIR(Дармштадт), NICA(Дубна) возрос интерес к построению теоретических моделей, описывающих состояния вещества при экстремально высоких температурах и плотностях. Ожидается, что этот новый тип материи может быть обнаружен в данных экспериментах. Теоретическое описание новых состояний вещества представляет собой задачу огромной сложности и требует привлечения не только новых теоретических методов и подходов, но и привлечения самой современной вычислительной техники. Это связано с тем, что предложенные модели включают в себя вычисление сложных многопетлевых интегралов и бесконечных сумм по дискретным частотам энергии, что требует годы расчётов на обычных персональных компьютерах.

Использование вычислительного кластера Blackford для расчетов свойств сильновзаимодействующей материи при конечной температуре уже позволило получить ряд новых интересных результатов в описании адронной фазы, что нашло своё отражение в публикациях, подготавливаемых в настоящее время. Однако дальнейшая детальная разработка моделей, позволяющая учесть не только конечнотемпературные эффекты, но и эффекты конечной барионной плотности, требует использования ещё более мощной вычислительной техники. Это позволит остаться на переднем крае мировых научных исследований в данной, бурно развивающейся области физики высоких энергий.

2. Расчет свойств твердотельных материалов (Раджабов Е.А., Мысовский А.С., Мясникова А.С и др., Институт геохимии им. А.П. Виноградова СО РАН).

С использованием кластерных вычислительных установок ИДСТУ СО РАН МВС-1000/16 и Blackford проводятся исследования точечных дефектов в кристаллах щелочных и щелочно-земельных фторидов. В настоящий момент достаточно широкий круг задач решается при помощи методов квантовой химии. К таким задачам, в частности, относятся:

- исследование сцинтилляционных свойств кристаллов щелочно-земельных фторидов с примесями Ce и Cd, выяснение оптических и электронных характеристик примесных центров;

- моделирование переходов с переносом заряда в тех же кристаллах с примесями Eu, Yb и других редких земель;

- установление пространственных конфигураций, оптических и магниторезонансных свойства фотохромных центров в тех же кристаллах с примесями Y, La и Lu;

- выяснение вопроса о существовании слабо-нецентральных конфигураций автолокализованных экситонов в кристаллах CaF2, SrF2, BaF2, уточнение конфигураций околопримесных экситонов и механизмов их образования и распада;

- исследование роли примесного иона Cu+ в процессах запасания энергии ионизирующих излучений и термостимулированной люминесценции в кристаллах фторида лития.

Перечисленные работы находятся в разной стадии завершенности, некоторые из них недавно начаты. Все они выполняются достаточно точными неэмпирическими методами, такими как функционал плотности B3LYP, методы связанных кластеров, реже – традиционный метод Хартри-Фока и конфигурационное взаимодействие. Эксперименты требуют весьма значительных вычислительных ресурсов, и будут тем более успешны, чем большие ресурсы окажутся в распоряжении исследователей.

3. Параллельные технологии в задачах обращения дискретных функций (Семенов А.А., Заикин О.С., Беспалов Д.В., Игнатьев А.С., ИДСТУ СО РАН).

Разрабатываются алгоритмы решения задач о пропозициональной выполнимости (так называемые «SAT-задачи») с последующей апробацией на задачах криптоанализа различных систем поточного шифрования.

За последние два года создана параллельная технология решения SAT-задач, которая реализована в программном комплексе D-SAT для кластерных вычислительных систем. Данная технология показала свою эффективность при решении целого ряда задач криптоанализа генераторов ключевого потока (Геффе, Вольфрама, суммирующий, пороговый, Гиффорда, А5/1). Особый интерес представляют результаты по параллельному криптоанализу генератора A5/1. Прогноз ресурсов, необходимых для полного решения задачи криптоанализа данного генератора, требует менее суток работы кластера производительностью 60 TFlops. Однако, даже располагая менее мощными ресурсами, удается получать некоторые интересные результаты. Так менее чем за сутки работы кластера ИДСТУ СО РАН Blackford (160 ядер суммарной пиковой производительностью 1,5 TFlops) для генератора A5/1 были найдены различные инициализирующие последовательности, порождающие один и тот же ключевой поток (коллизии).

Созданная в ИДСТУ СО РАН параллельная технология решения SAT-задач базируется на концепции крупноблочного параллелизма, и ее эффективность напрямую зависит от числа вычислительных единиц в используемой системе. Доступность “больших” кластеров должна способствовать развитию этой и других (находящихся в стадии разработки) параллельных технологий, которые в перспективе предполагается использовать для криптоанализа известных шифров, исследования криптографических хэш-функций, а также при решении задач верификации дискретных автоматов.

4. Параллельные методы кластерного анализа больших массивов данных (Васильев И.Л., Климентова К.Б., ИДСТУ СО РАН).

Задача кластерного анализа заключается в разбиении исходного множества объектов на заданное количество подмножеств схожих объектов (кластеров) и последующем выборе наиболее “типичного” представителя (медианы) из каждого кластера. Как правило, характеристики объектов задаются числовыми векторами, а за меру схожести принимается расстояние между векторами в определенной метрике. Современные методы кластерного анализа (такие как k-mean, иерархические алгоритмы и другие) способны эффективно обрабатывать массивы данных, состоящие из нескольких тысяч объектов, в то время как в практических задачах требуется кластеризация сотен тысяч и миллионов элементов. Главной проблемой в таких задачах является невозможность вычислять, сохранять и манипулировать всеми расстояниями между объектами.

Разработаны методы кластеризации, основанные на алгоритмах решения известной задачи целочисленного программирования – задачи о p-медиане (пи-медиане). Предложенный подход позволяет эффективно производить кластеризацию нескольких десятков тысяч объектов на современном персональном компьютере в течение 20-30 минут. Однако на практике требуется решение задач гораздо большей размерности и за более короткое время. В связи с этим ведется разработка соответствующего параллельного алгоритма для кластерных систем. Первые тесты параллельного алгоритма на вычислительном кластере ИДСТУ СО РАН Blackford показали, что примеры, содержащие до 100 тысяч объектов, могут решаться за несколько минут. При этом удается добиться ”сверхпараллельного” ускорения работы алгоритма за счет использования всего объема доступной оперативной памяти (160 ГБ).

Несмотря на первые успехи в решение практических задач достаточно большой размерности, нельзя не заметить, что в медицине, генетике, экономике зачастую требуется обрабатывать массивы данных еще более высокой размерности, содержащие информацию о миллионах объектов. Для их кластеризации вычислительных мощностей уровня Blackford может оказаться недостаточно.

5. Параллельное решение задач в булевых ограничениях (Опарин Г.А., Богданова В.Г., ИДСТУ СО РАН).

Многие практические задачи могут быть сформулированы как задачи булевой выполнимости (решения системы булевых уравнений). К ним относятся задачи криптографии, логического программирования, доказательства теорем, дедуктивного и абдуктивного вывода, нейросетевых вычислений, машинного зрения, планирования действий роботов, планирования вычислений в системах синтеза программ, оптимального проектирования, разработки систем баз знаний, компьютерной графики, моделирования цепей, разработки СБИС, безопасности, составления расписаний, интеллектного управления, различные задачи на графах, шахматной доске и многие другие.

Хорошо известно, что, поскольку булевы системы с точки зрения человеческого восприятия имеют весьма сложную специфическую природу, важной и весьма нетривиальной задачей является построение средств, позволяющих человеку моделировать задачи на языке булевых ограничений. С другой стороны, задачи в булевых ограничениях обладают тяжелыми комбинаторными характеристиками с высокой оценкой сложности. Поэтому необходим как поиск и реализация методов, наиболее эффективно действующих на отдельных классах булевых систем, интересных с практической точки зрения, так и повышение эффективности решения систем булевых уравнений на основе использования многопроцессорной вычислительной техники. В частности, метод расщеплений позволяет осуществить крупноблочное распараллеливание системы булевых уравнений на любое количество процессоров (ядер), что обеспечивает реальную возможность решения многих сложных теоретических и практических задач на вычислительных кластерах сверхвысокой производительности.

Учитывая приоритетные направления фундаментальных и прикладных исследований институтов ИНЦ СО РАН, применение высокопроизводительных вычислительных систем в сочетании с методами математического и компьютерного моделирования позволит в ближайшее время повысить эффективность и качество решения многих ресурсоемких задач, к числу которых относятся:

– обработка данных космического дистанционного зондирования территорий Сибири и Дальнего Востока;

– исследование сейсмической активности и эндогенных процессов континентальной литосферы;

– оценка состояния эко- и геосистем регионов Сибири, прогнозирование процессов социально-экономического развития территориальных и хозяйственных систем;

– разработка новых химических соединений, лекарственных препаратов.

3. Методы и средства автоматизации крупноблочного параллельного программирования.

Известно, что автоматизация составления параллельных программ является одной из центральных проблем в параллельном программировании. Ощущается потребность в высокоуровневом системном программном обеспечении, позволяющем повысить степень автоматизации разработки и использования систем параллельного модульного программирования. Необходимо создание удобной среды для прикладных специалистов, стремящихся эффективно использовать параллельную вычислительную технику, не вдаваясь в особенности параллельного программирования решаемой задачи.

В ИДСТУ СО РАН разработаны методы и инструментальные средства, позволяющие в проблемно-ориентированных терминах как конструировать распределенные и параллельные вычислительные процессы, так и автоматически их синтезировать на основе непроцедурных постановок задач на вычислительной модели предметной области. В их числе:

1) Cреда непроцедурного программирования СиКруС [12], предназначенная для синтеза эффективных параллельных программ на языке Fortran-DVM с учётом ресурсных ограничений используемой вычислительной системы и времени исполнения предметных модулей. Выбор языка Fortran-DVM в качестве выходного языка генератора управляющей программы транслятора-синтезатора обеспечивает простоту генерации результирующего кода и удобство его использования прикладным специалистом в плане его читаемости, отладки и ручной модификации (в случае необходимости).

2) Инструментальный комплекс ORLANDO Tools [13], ориентированный на конструирование асинхронных параллельных программ с использованием коммуникационной библиотеки PVM. Комплекс включает модели, алгоритмы и программные средства, обеспечивающие возможность реализации в создаваемых параллельных программах как параллелизма по управлению, свойственного системам крупноблочного программирования, так и параллелизма по данным, характерного для задач многовариантного анализа и обработки больших массивов данных, допускающих естественную декомпозицию на независимые сегменты.

3) Инструментальный комплекс DISCOMP [14], предназначенный для организации распределенных пакетов прикладных программ в разнородных вычислительных средах. Функциональное наполнение таких пакетов может включать модули, реализованные на различных языках программирования, нетиражируемые программные комплексы, а также унаследованное программное обеспечение. DISCOMP обеспечивает возможность создания как автономных распределенных пакетов прикладных программ, так и интеграцию данного инструментария с другими программными комплексами для автоматизации распределенных вычислений при решении исследовательских задач.

Разработанные методы и средства поддержки параллельных и распределенных вычислений позволяют конечным пользователям (специалистам-“предметникам”) уменьшить трудозатраты, связанные с решением ряда сложных вопросов системного программирования (в их числе изучение, установка, настройка и применение необходимого промежуточного программного обеспечения, организация удобного доступа к вычислительным ресурсам), и сосредоточиться на решении своих научных проблем. Это обеспечивает существенное расширение круга потенциальных пользователей сложных вычислительных систем, а также сокращение сроков и повышение эффективности проведения научно-исследовательских работ в целом.

Перечисленные инструментальные средства используются в институтах ИНЦ СО РАН при создании пакетов прикладных программ для решения ряда задач из разных предметных областей: решения систем булевых уравнений и задач оптимального управления, исследования биоресурсов озера Байкал, моделирования складского логистического комплекса и ряда других.

4. Технология и инструментальные средства организации грид.

Появление развитого базового программного обеспечения, реализующего подход грид, является основой для массовых распределённых приложений, способных комплексно обслуживать профессиональную деятельность не только при проведении научных исследований, но и в сферах производства, бизнеса и управления.

На сегодняшний день технология грид обеспечивает возможность удаленного доступа к узлам вычислительной сети, позволяет определить характеристики конкретного узла (производительность, число процессоров, объем оперативной памяти и т.п.), степень его работоспособности и выполнить на этом узле некоторое независимое задание. Между тем, необходимы высокоуровневые инструментальные средства, которые позволят автоматически находить возможные варианты и способы взаимодействия независимых узлов вычислительной сети, устанавливать порядок (строить параллельный план) их использования для решения поставленной ресурсоемой задачи.

В рамках проведения исследований по развитию и реализации методов и инструментальных средств создания и применения высокоуровневого программного обеспечения для интеграции распределенных информационно-вычислительных и коммуникационных ресурсов в ИДСТУ СО РАН разработаны:

1) Теоретико-множественная модель распределенной гетерогенной вычислительной среды [15], сформулированы условия ее целостности и непротиворечивости. Данная модель поддерживает накопление знаний о вычислительных ресурсах, их администрирование, планирование и применение при решении пользовательских задач. Модель включает возможности различных моделей распределенных вычислений: модели программирования приложений, модели планирования вычислительных процессов, модели планирования загрузки ресурсов и других.

2) Графический инструментальный комплекс СИРИУС [16], предназначенный для описания и моделирования основных объектов распределенной вычислительной среды (пользователей, аппаратных, программных и информационных ресурсов, вычислительных процессов и др.) и отношений между ними, возникающие в процессе решения задач в этой среде.

3) Технология и инструментальный комплекс DISCENT [17] для создания грид для решения ресурсоемких научно-исследовательских задач различных типов. Комплекс включает средства:

- организации грид с использованием стандартизированного базового программного обеспечения, в частности, пакета Globus Toolkit;

- интеграции с другими грид, созданными на основе пакета Globus Toolkit.

- эффективного управления потоками разнотипных заданий в грид на основе интеллектуального планирования вычислений;

- унифицированного доступа пользователей (специалистов-“предметников”, решающих свои задачи в грид) к ресурсам грид;

- крупноблочного синтеза параллельных распределенных программ для решения междисциплинарных задач в грид.

Инструментальный комплекс DISCENT использован для организации экспериментальной кластерной грид ИДСТУ СО РАН и решения в ней целого ряда практических задач [18]. Результаты вычислительных экспериментов показали устойчивую эффективность функционирования ресурсов грид под управлением инструментального комплекса DISCENT (в том числе при интеграции с другими грид).

5. Подготовка специалистов по параллельным и распределенным вычислениям.

ИДСТУ СО РАН ведет активную деятельность по подготовке специалистов (в том числе высшей квалификации) по параллельным и распределенным вычислениям. В течение 2005-2008 г.г. по данной тематике в рамках специальностей 05.13.01., 05.13.11, 05.13.18 подготовлены и защищены 6 кандидатских диссертаций [19-24].

Для студентов Института математики, экономики и информатики Иркутского государственного университета на базе ИДСТУ СО РАН открыта специализация “Параллельные и распределенные вычислительные системы”. В современных учебных классах ведущими специалистами СКЦ читаются курсы “Параллельные вычислительные системы”, “Программирование систем с распределенной памятью”, “Программирование систем с общей памятью”, “Администрирование кластерных систем”. Практические занятия проводятся на вычислительном кластере МВС-1000/16.

6. Развитие материально-технической базы СКЦ ИДСТУ СО РАН.

В условиях устойчивого роста числа пользователей высокопроизводительных кластерных установок, стремящихся многократно ускорить проведение расчетов и/или увеличить размерность решаемых задач (см. раздел 2), повышаются требования к вычислительным ресурсам, к их производительности, надежности и доступности. Учитывая, что показатели загрузки кластеров СКЦ в настоящее время приближаются к максимальным значениям, становится актуальным создание в ИДСТУ СО РАН вычислительной установки, на порядок превосходящей по производительности ныне действующие.

Существующий проект развития СКЦ ИДСТУ СО РАН предполагает создание кластерного вычислительного комплекса (КВК) нового поколения с пиковой производительностью около 20 TFlops на базе многоядерных процессоров, серверов-лезвий, высокоскоростного интерконнекта и интегрированной системы хранения данных с параллельной файловой системой. Проектом предусмотрено проведение подготовительных мероприятий по обеспечению инфраструктуры, включая подготовку помещения, развертывание систем бесперебойного электропитания, охлаждения, автоматического пожаротушения, мониторинга и безопасности.

Основные этапы реализации проекта:

I. Подготовка проектно-сметной документации (2008-2009 г.г.).

II. Перепланировка и ремонт помещения для размещения КВК (2009 г.).

III. Приобретение, монтаж, наладка и запуск в эксплуатацию: первой очереди КВК (2010 г.), второй очереди КВК (2011 г.).

При реализации первого этапа разработано техническое задание на выполнение опытно-конструкторских работ, подкрепленное коммерческими предложениями вероятных поставщиков оборудования (“Т-Платформы”). Получены и осваиваются средства, выделенные на реконструкцию и ремонт машинного зала (этап II). Осуществляется поиск источников финансирования третьего этапа реализации проекта.

7. Приоритетные направления развития СКЦ.

1) Создание и сопровождение высокопроизводительных установок коллективного пользования, ориентированных, в первую очередь, на выполнение сложных междисциплинарных расчетов при проведении фундаментальных и прикладных исследований в научных учреждениях ИНЦ СО РАН.

2) Популяризация в научно-образовательной среде Байкальского региона технологий организации параллельных и распределенных вычислений с целью массового внедрения последних в практику расчетных работ, привлечение на кластерные установки новых пользователей, повышение уровня их подготовки (методическое обеспечение и консультации пользователей, семинары, спецкурсы и специализации для студентов и аспирантов).

3) Разработка высокоуровневых, ориентированных на широкий круг специалистов, средств автоматизации программирования параллельных и распределенных вычислительных систем.

4) Разработка способов и программных средств интеграции вычислительных ресурсов СКЦ (включая экспериментальную кластерную грид ИДСТУ СО РАН) в региональные, национальные и международные грид-структуры.

Литература

[1] Бычков И.В., Маджара Т.И., Новопашин А.П., Опарин Г.А., Ружников Г.М. Анализ и перспективы развития инфраструктуры интегрированной информационно-вычислительной сети Иркутского научно-образовательного центра // Вестник НГУ. Серия: Информационные технологии. – 2008. – Т. 6, вып. 1. – С. 25-36.

[2] Новопашин А.П., Сидоров И.А. Иркутский суперкомпьютерный центр коллективного пользования // Распределенные и кластерные вычисления: Избранные материалы V школы-семинара / Под ред. В.В. Шайдурова. Красноярск: Институт вычислительного моделирования СО РАН, 2005. – С. 94-96.

[3] D. Blaschke, M. Buballa, A.E. Radzhabov, M.K. Volkov. Effects of mesonic correlations in the QCD phase transition // Yad.Fiz., 2008, vol. 71, no. 11, pp. 2012-2018.

[4] E. Radzhabov, A. Nepomnyashchikh, and M. Kirm. Optical transitions in pairs of trivalent ion-interstitial fluorine in alkaline-earth fluorides // Phys. stat. sol. (a) 204, (2007, no. 3, pp. 670-676.

[5] Бугаенко Т.Ю., Раджабов Е.А., Ивашечкин В.Ф. Термическое разрушение фотохромных центров окраски в кристаллах CaF2, SrF2, BaF2, активированных примесями La и Y // Физика твердого тела, 2008. – Т. 50, вып. 9 – C. 1607-1609.

[6] A.S. Myasnikova, E.A. Radzhabov, A.S. Mysovsky, V.A. Shagun. Impurity Luminescence in BaF2 Crystals // Nuclear Science, IEEE Transactions, 2008, vol. 55, issue 3, pp. 1133 – 1137.

[7] Гайкалов И.В., Ильина О.В., Кирильчик С.В., Суханова Л.В. Описание трех микросателлитных локусов байкальского омуля Coregonus migratorius (Georgi) // Генетика, 2008 – Т. 44, № 3. – С. 423-426.

[8] Заикин О.С., Семенов А.А. Технология крупноблочного параллелизма в SAT-задачах // Проблемы управления, 2008. – № 1. – С. 43–50.

[9] Семенов А.А., Заикин О.С. Неполные алгоритмы в крупноблочном параллелизме комбинаторных задач // Вычислительные методы и программирование, 2008. – Т. 9, № 1. – С. 112–122.

[10] Васильев И.Л., Климентова К.Б., Орлов А.В. Параллельный глобальный поиск равновесных ситуаций в биматричных играх // Вычислительные методы и программирование. - М.: Изд-во МГУ, 2007. – Т.8, № 2. – С. 84-94.

[11] Опарин Г.А., Богданова В.Г. РЕБУС – интеллектуальный решатель комбинаторных задач в булевых ограничениях // Вестник НГУ. Серия: Информационные технологии. – 2008. – Т. 1, вып. 6. – С. 60-68.

[12] Опарин Г.А., Новопашин А.П. Технология синтеза модульных параллельных программ для DVM-системы // Интеллектуальные системы: Труды VII Межд. симпозиума. Под ред. К.А. Пупкова. – М.: РУСАКИ, 2006. – С. 468-471.

[13] Опарин Г.А., Феоктистов А.Г., Новопашин А.П., Горский С.А. Инструментальный комплекс ORLANDO TOOLS / // Программные продукты и системы. – 2007. – № 4. – С. 63-65.

[14] Опарин Г.А., Феоктистов А.Г., Сидоров И.А. Технология организации распределенных вычислений в инструментальном комплексе DISCOMP // Современные технологии. Системный анализ. Моделирование. – 2009. – № 2. – С. 175-180.

[15] Опарин Г.А., Феоктистов А.Г. Модели и инструментальные средства организации распределенных вычислений // Параллельные вычисления и задачи управления: Материалы IV Межд. науч. конф PACO’2008. – Москва: ИПУ РАН, 2008. – C.

[16] Опарин Г.А., Феоктистов А.Г., Александров А.А. Графическая инструментальная среда для описания модели распределенной вычислительной системы // Вестник ИрГТУ. – 2006. – №2 (26). – Т.3. – С.35-40.

[17] Корсуков А.С., Феоктистов А.Г., Дмитриев В.И. Инструментальный комплекс для организации Web-интерфейсов к вычислительным кластерам (WIDT): Свидетельство об официальной регистрации программы для ЭВМ № 2007613651. – М.: Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2007.

[18] Феоктистов А.Г., Корсуков А.С. Разработка Grid-системы с децентрализированным управлением потоками заданий // Вестник НГУ. Серия: Информационные технологии. – 2008. – Т. 6, вып. 3. – С. 147-154.

[19] Новопашин А.П. Методы и инструментальные средства крупноблочного синтеза параллельных программ для вычислительных кластеров: Автореф. дис. канд. техн. наук: 05.13.11 / Иркутск: ИДСТУ СО РАН, 2005. – 26 с.

[20] Горский С.А. Инструментальный комплекс для организации параллельных вычислений в интеллектуальных пакетах прикладных программ: Автореф. дис. канд. техн. наук: 05.13.11 / Иркутск: ИДСТУ СО РАН, 2008. – 20 с.

[21] Корсуков А.С. Инструментальный комплекс для разработки и применения гетерогенных распределенных вычислительных сред: Автореф. дис. канд. техн. наук: 05.13.11 / Иркутск: ИДСТУ СО РАН, 2009. – 18 с.

[22] Заикин О.С. Параллельная технология решения SAT-задач и ее реализация в виде пакета прикладных программ: Автореф. дис. канд. техн. наук: 05.13.01 / Иркутск: ИДСТУ СО РАН, 2009. – 19 с.

[23] Александров А.А. Инструментальный комплекс распределенного имитационного моделирования кластерных систем модульного программирования: Автореф. дис. канд. техн. наук: 05.13.11, 05.13.18 / Иркутск: ИДСТУ СО РАН, 2009. – 18 с.

[24] Сидоров И.А. Технология и инструментальные средства организации распределенных пакетов прикладных программ в разнородных вычислительных средах: Автореф. дис. канд. техн. наук: 05.13.11 / Иркутск: ИДСТУ СО РАН, 2009. – 18 с.