ЦКП ССКЦ ИВМиМГ СО РАН
ГЛАВНАЯ > Наука > Годовой отчет
Инфраструктура
Центр обработки данных (ЦОД) ССКЦ занимает четыре помещения общей площадью 205 кв. м:
  • машинный зал №1: площадь 66,7 кв. м;
  • машинный зал №2: площадь 59,9 кв. м;
  • узел электропитания: площадь 58,5 кв. м;
  • помещение гидромодуля, 20 кв.м.
В настоящий момент машинный зал №1 освобожден от работающей вычислительной техники; в нём будет установлен новый кластер.
ЦОД оборудован автоматической системой газового пожаротушения, пожарной и охранной сигнализацией, источниками бесперебойного питания и прецизионными кондиционерами, системой мониторинга температуры и влажности. Дополнительная информация.
Общая мощность двух источников бесперебойного электропитания составляет 240 кВт, общая мощность прецизионных кондиционеров по холоду составляет 276 кВт. Общее энергопотребление ЦКП ССКЦ составило: 2012 г. - 1250,248 тыс. кВтч., 2013 г. - 1253,346 тыс. кВтч., 2014 г. - 1010,395 тыс. кВтч., 2015 год - 1148,548 тыс. кВтч. 2016 год – 992,132 тыс. кВтч. Вычислительная техника работает в круглосуточном режиме.
ЦКП ССКЦ подключен по выделенному каналу (1 Гбит/с) к сети Новосибирского научного центра и дополнительно по скоростному каналу (10 Гбит/с) к Суперкомпьютерной сети ННЦ.
Вычислительные ресурсы
  • Кластерный суперкомпьютер НКС-30Т, изготовитель Hewlett – Packard, США.
    Введён в эксплуатацию в апреле 2009 года, модернизировался в 2010 и 2011 годах. Гибридное расширение на GPU NVIDIA Tesla M2090 введено в эксплуатацию в феврале 2012 года. Пиковая производительность 115 Тфлопс, в том числе 79 Тфлопс на GPU NVIDIA Tesla M2090.
    ТОП-50 СНГ: 32-е место для расширения кластера на GPU (архитектура GPGPU) в 23-й редакции рейтинга от 28.09.2015 г.; 37-е место в 25-й редакции от 26.09.2016 г. Базовый кластер на процессорах Intel Xeon (архитектура МРР) в рейтинг не вошел. Коммуникационная сеть – QDR Infiniband. Транспортная и сервисная сети – Gigabit Ethernet.
    Кластерная файловая система Ibrix, 32 Тбайт полезной ёмкости. Полная информация.
  • На части кластера НКС-30Т развернута, основанная на KVM, виртуализованная вычислительная среда, использующаяся для обработки данных физических экспериментов в физике высоких энергий, осуществляемых в ИЯФ СО РАН. Обмен данными между ИЯФ СО РАН, НГУ и ССКЦ осуществляется через суперкомпьютерную сеть ННЦ (10 Гбит/с).
  • Сервер с общей памятью HP ProLiant DL980 G7 (архитектура SMP). После расширения в сентябре 2013 года включает восемь 10-ядерных процессоров Intel Е7-4870 с тактовой частотой 2,4 Ггц, оперативной памятью 1024 Гбайт и 8 SAS дисками по 300 Гбайт. Пиковая производительность сервера составляет 768 Гфлопс. Сервер включён в кластер НКС-30Т как нестандартный вычислительный узел.
  • Закупленный в 2014 году сервер HP ProLiant DL580 G8 используется для работы с NVIDIA Kepler K40.
  • В 2014 году были установлены три дисковые полки HP D2700 с дисками HP 1.2 TB 6G 10K SAS. Две полки HP D2700 подключены к IBRIX (BIOIFS) и одна к серверу HP DL980. Версия IBRIX 5.6 обновлена до 6.1.
    На основе работ, проведённых в 2014 г., а также закупке (ИЦиГ) и установке в 2015 году ещё двух дисковых полок HP D2700 с дисками HP 1.2 TB 6G 10K., удалось отказаться от работы от неподдерживаемых гарантийным обслуживанием дисков SATA. При этом объём внешней памяти теперь составляет 2 х 47 Тбайт, размер сегментов IBRIX на новых дисках - 5.9 Тбайт.
Программное обеспечение/инструментальные средства разработки
  • В 2013 году закуплены лицензии на Intel Cluster Studio XE и Intel Parallel Studio XE for OS Linux. На кластере НКС-30Т установлен Intel MPI 4.1, Intel TraceAnalyzer/Collector, компиляторы Intel C++ и Intel Fortran из состава Composer XE 2013 SP1, включающие библиотеки Intel MKL, Intel IPP и Intel TBB. Коммерческая поддержка программного обеспечения Intel заканчивается в сентябре 2016 года.
  • На кластере также установлены параллельные версии Gromacs, Quantum Espresso и Bioscope. Установленный в октябре 2013 года Gromacs 4.6.3 поддерживает параллельную работу как на ядрах CPU, так и на GPU NVIDIA M2090.
  • Установлен и эксплуатируется ANSYS CFD версии 14.5.7. с лицензиями HPC, обеспечивающими параллельное выполнение программ Fluent.
    В 2014 году закуплена академическая лицензия на ANSYS CFD (без лицензий HPC); коммерческая поддержка по этой лицензии закончилась 14.12.2015.
  • В январе 2014 года установлен коммерческий пакет Gaussian g09 Rev D.01 w/LINDA. Для программирования на GPU Nvidia установлен CUDA Toolkit 6.5 и PGI Accelerator версии 14.9.
  • Поскольку сервер с общей памятью HP ProLiant DL980 G7 включён в НКС-30Т, то на нём доступно программное обеспечение кластера.
Использование процессорного времени (CPU, дни) в 2016 г.
ИНСТИТУТЫ ИТОГО ИТОГО(%)
ИК СО РАН 167364,57 26,27
ИХТТиМ СО РАН 95557,75 14,99
ИХКиГ СО РАН 52566,06 8,26
ИТ СО РАН 52002,51 8,17
ИОА СО РАН (Томск) 51293,22 8,05
ИВМиМГ СО РАН 41371,48 6,52
ИХХиТ СО РАН (Красноярск) 31513,64 4,94
ИНХ СО РАН 27148,37 4,25
ИЯФ СО РАН 23390,66 3,68
ИХБиФМ СО РАН 16105,86 2,52
ИТиПМ СО РАН 14850,52 2,33
ВГУ (Воронеж) 11357,66 1,78
ИЦиГ СО РАН 10392,17 1,64
ИЛФ СО РАН 8590,01 1,35
СФУ (Красноярск) 6690,75 1,05
ИНГГ СО РАН 6497 1,03
НИОХ СО РАН 6324,4 0,99
ИГ СО РАН 2785,8 0,44
ИркИХ СО РАН (Иркутск) 2632,5 0,41
НГУ 2003,02 0,31
ИКЗ СО РАН (Тюмень) 1979,71 0,32
ИГД СО РАН 1372,33 0,22
ИБРАЭ РАН 1321 0,21
лтГТУ (Барнаул) 894,05 0,14
ИВЭП СО РАН (Барнаул) 427,68 0,07
ИМ СО РАН 252,19 0,04
ИФП СО РАН 182,95 0,03
СибНИА 100,02 0,02
УфИХ РАН (Уфа) 77,13 0,01
Другие 9,36 0,00
ИТОГО: 637137,51 100,00
Ниже приведена статистика по годам.
Статистика по кластерам НКС-30Т + НКС-160 2009 2010 2011 2012 2013 2014 2015 2016
∑ производительность (Тфлопс) 7,1 17,5 31 116 115 115 115 115
∑ CPU (дни) 80 179,52 121 201,46 209 997,57 533 324, 55 713 960,42 529 708,63 636 770,87 637 137,43
∑ количество заданий 38 914 39 750 35 952 83 797 103 840 89 059 142 989 76 994
ТОР50 (места) 26 34 32 16, 30 21, 36 28, 45 32 37
Использование услуг в 2016 г.
По статистике По отчётам пользователей
Всего пользователей – 192
Всего организаций – 34

Академических организаций – 24
Университетов – 7
(НГУ, НГТУ, СФУ (Красноярск), ВГУ (Воронеж),
АлтГТУ (Барнаул), АлтГТПУ (Барнаул), ХГУ (Абакан))
Другие организации – 3
(СибНИА, СибНИГМИ, Компания Котэс)		 Всего грантов, программ,
проектов, тем — 176
Из них Российских — 172
Международных — 4

Программ РАН – 16
Грантов РФФИ – 66
Грантов РНФ – 22
Проектов СО РАН – 37
Программ Минобрнауки – 19
Другие – 16
 Всего публикаций – 166

Российских – 57
Зарубежных – 109

Доктор. диссерт. – 0,
Кандидат. диссерт. – 7,
Дипломы – 9,
Патенты – 3.
Направления решаемых задач в 2016 г. (по отчётам пользователей)
ПРИОРИТЕТНЫЕ НАПРАВЛЕНИЯ РАЗВИТИЯ НАУКИ, ТЕХНОЛОГИЙ И ТЕХНИКИ РФ
  • Индустрия наносистем – ИВМиМГ, ИК, ИНХ, ИТПМ, ИФП, ИХБФМ, ИЦиГ, ИЯФ, НИОХ, СФУ (Красноярск), ВГУ (Воронеж).
  • Информационно-телекоммуникационные системы - ИВМиМГ, ИВТ, ИК, НГУ, ИВЭП (Барнаул).
  • Энергоэффективность, энергосбережение, ядерная энергетика – ИВМиМГ, ИК, ИВТ, ИТ, ИТПМ, ИХКГ, НГУ.
  • Науки о жизни - ИВМиМГ, ИК, ИНГГ, ИХБиФМ, ИХКГ, ИХТТМ, ИЦиГ, ИЯФ, НГУ, ИКЗ (Тюмень), ИОГен РАН (Москва)
  • Рациональное природопользование - ИВМиМГ, ИГД, ИНГГ, СибНИГМИ, ИХХТ (Красноярск), ИВЭП (Барнаул), ИКЗ (Тюмень), ИОА (Томск)
  • Транспортные и космические системы – ИВМиМГ, ИЛФ, ИТПМ.
ДРУГИЕ НАПРАВЛЕНИЯ
  • Биология, Вычислительная гидродинамика, Химия, Химические технологии, Процессы и аппараты химической технологии, Вычислительная математика, Вычислительная техника, Численные методы, Физика, Физика элементарных частиц, Геофизика, Исследование материалов, Квантовая химия, Математика, Математическое моделирование природных явлений, Структура и свойства полимеров, Суперкомпьютерное моделирование.
Подготовка кадров и повышение квалификации
  • Поддержка практических занятий в пакете Gaussian 09 на ресурсах ССКЦ в рамках учебного курса «Теоретическая и вычислительная спектроскопия» (2016 г.), проводимого приглашённым профессором Энрико Бенасси из университета Пизы (Италия). Описание курса1. Описание курса 2. Как результат – рост числа пользователей, в том числе и новых, желающих работать на Gaussian 09.
  • Ведется подготовка специалистов по высокопроизводительным вычислениям на 4-х кафедрах: Математических методов геофизики НГУ (зав. кафедрой д.ф.-м.н. А.Г. Фатьянов); Параллельных вычислений НГУ (зав. кафедрой профессор В.Э. Малышкин); Вычислительных систем НГУ (зав. кафедрой профессор Б.М. Глинский); Параллельных вычислительных технологий НГТУ (зав. кафедрой профессор В.Э. Малышкин).
  • Проводится регулярный семинар «Архитектура, системное и прикладное программное обеспечение кластерных суперЭВМ» на базе ССКЦ, кафедры Вычислительных систем НГУ и Центра Компетенции по высокопроизводительным вычислениям СО РАН - Intel. Презентации семинаров размещаются на этой странице.
  • В ИВМиМГ СО РАН в 2016 гг. проведены городская Зимняя и международняя Летняя школы по параллельному программированию совместно с Новосибирским государственным университетом и Новосибирским государственным техническим университом. В работе зимней школ участвовали студенты НГУ, НГТУ. В летней школе участвовали студенты НГУ, НГТУ, лицея Lycée Saint Joseph - La Salle de Lorient, г. Lorient (Лорьян), Франция, студенты, аспиранты и научные Казахского национального университета им. Аль-Фараби, г. Алма-Ата.
Сведения о календарной загрузке научного оборудования 2016 год
№ Наименование ЦКП Наименование супер-компьютера Показатель № 1:
Максимально возможно время работы суперкомпьютера в год, часов		 Показатель № 2:
Фактически отработанное время в 2016 году, часов		 Показатель № 3:
Фактически отработанное время в интересах третьих лиц в 2016 году, часов		 Отношение показателя №2 к показателю №1, % Отношение показателя №3 к показателю №2, %
1 ЦКП Сибирский Суперкомпьютерный Центр НКС-30Т 8760 8424 7582 96 90
2 ЦКП Сибирский Суперкомпьютерный Центр SMP-G7 8760 8424 8129 96 96.5
Объём финансирования 2016 г.
Собственные средства - 3,3 млн. руб.
Основные итоги 2016 года
  • Получена субсидия ФАНО в размере 60 млн. руб. на модернизацию ЦКП ССКЦ;
  • Разработано техническое задание и проводится аукцион на новый кластер с ориентацией на современные компоненты вычислительной техники
  • Поддержка практических занятий в пакете Gaussian 09 на ресурсах ССКЦ курса лекций «Теоретическая и вычислительная спектроскопия» (2016 г.), проводимого приглашённым профессором Энрико Бенасси из университета Пизы (Италия);
  • Оказание вычислительных услуг пользователям для осуществления работ в рамках грантов, программ, проектов, подготовки диссертаций и дипломов.
Основные проблемы
  • Моральное устаревание кластера, выход из строя вычислительных узлов. Самые новые вычислительные модули введены в эксплуатацию в феврале 2012 года.
  • Устаревание программного обеспечения. Red Hat 5.4 (2010 г.) не поддерживает установку Intel MPI 5.0 и новее.
  • Решение с одним управляющим модулем подходит для относительно небольшого вычислительного кластера. При увеличении числа вычислительных модулей, нужно функции управляющего модуля разнести на несколько модулей: на одном (Head node) - управляющее ПО – очередь заданий, CMU сервера лицензий. Другой или другие (Login node) будут служить для захода пользователей на кластер, компиляции программ, постановки их в очередь на выполнение, обмена данными.
  • Из-за выхода кондиционера DeLonghi ACCURATE AL 60 из строя в жаркие дни приходится переходить на ручное управление кластером и уменьшать его загрузку, чтобы избежать перегрева вычислительных узлов.