Переход от кластера HPC к облачному HPC

Переход от кластера HPC к облачному HPC

Kevin / 20.11.2019

Зачем оно вообще нужно?

Университет Северной Каролины в Чапел-Хилл (UNC-Chapel Hill) уже давно полагается на свой локальный кластер высокопроизводительных вычислений для поддержки исследовательской деятельности во многих областях науки, техники и медицины.  Тем не менее, по мере того, как потребности в компьютерных исследованиях продолжают расти, пользовательский спрос начинает опережать вычислительные ресурсы и емкость нынешней системы.  Вместо того чтобы расширять существующие инвестиции в высокопроизводительные вычисления, университет решил обратиться к облаку, чтобы предоставить пользователям среду высокопроизводительных вычислен

Подход оказался экономически эффективным и очень гибким.  «Облако позволяет нам предоставлять вычисления, необходимые для выполнения запрошенной работы, и выполнять эти вычисления ровно столько времени, сколько требуется», – говорит Майкл Баркер, временный ИТ-директор UNC-Chapel Hill.  «Это очень эффективный способ предоставить требования для выполнения вычислительной работы».

По словам Джеффа Роуча, старшего научного сотрудника UNC-Chapel Hill, переход на облако был и необходим, и желанен.  «У нас очень традиционный локальный кластер», – говорит он.  Однако со временем стало очевидно, что система постепенно не успевает за растущим числом пользователей, которым требуются передовые вычислительные мощности и более высокая производительность.  «Мы обнаруживаем, что наш локальный кластер действительно хорошо работает для людей, для которых он был разработан, но некоторые из их крайних вариантов становятся все менее важными», – говорит он.

С учетом того, что требовательные к вычислениям варианты использования быстро становятся нормой, UNC-Chapel Hill начала работать с Google Cloud и поставщиком программного обеспечения для моделирования и анализа Techila Technologies, чтобы наметить свой путь в облачную HPC.  Первый шаг после планирования был подтверждением оценки концепции.  «Мы взяли одного из исследователей в университетском городке, который занимался только тонной памяти и интерактивных вычислений, и мы попытались проверить его рабочую нагрузку», – говорит Роуч.  Результатом стал безоговорочный успех, отмечает он.  «Исследователь действительно наслаждался этим; он сделал свою работу».  Эта же задача могла занять до недели, чтобы запустить локальный кластер HPC университета.  «Он смог выполнить большую часть своего бега всего за несколько часов», – говорит Роуч.

На другой стороне Атлантики Йоркский университет также решил использовать облачный подход HPC.  Джеймс Чонг, научный сотрудник Королевского общества и профессор факультета биологии Йоркского университета, отмечает, что HPC широко используется преподавателями и студентами на таких научных факультетах, как биология, физика, химия и информатика, а также в лингвистике и  несколько других дисциплин.

Отдел Чонга в настоящее время использует Google Cloud для анализа данных последовательности ДНК.«В частности, моя группа интересуется микробиомами, смешанными микробными сообществами, которые участвуют в превращении отходов – в нашем случае ила сточных вод – в биогаз», – объясняет он.  «Мы используем HPC для отсадки коротких последовательностей ДНК обратно в метагеном, а затем для разделения геномов различных микробов, чтобы мы могли понять, как эти организмы реагируют на изменения условий их роста».

Как и его коллеги из UNC-Chapel Hill, Чонг ценит мощь и гибкость, которые может обеспечить облачная служба HPC.  «Наша высокопроизводительная вычислительная машина должна быть в состоянии справиться с целым рядом требований – некоторые пользователи хотят много процессоров, другим нужны машины с большим объемом памяти», – говорит он.  «Как биологи, некоторые приложения, которые мы используем, очень быстро связываются с вводом / выводом, поэтому очень быстрый доступ к диску также полезен»

Облачный HPC, который использует университет, также способен адаптироваться к меняющимся потребностям.  «Некоторые из нас начинают использовать методы машинного обучения и хотят использовать разные архитектуры», – отмечает Чонг.  «Широкий круг пользователей [университета] означает, что нам также требуется доступ к ряду различных пакетов», – добавляет он.  Как и большинство облачных высокопроизводительных вычислений, сервис, который использует York, позволяет различным типам исследователей легко и быстро переключаться между программными инструментами, не тратя время на проблемы с приобретением, развертыванием или настройкой.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *