Table of Contents
Название проекта
“Разработка и исследование новых методов унифицированного, удобного и безопасного удаленного запуска и контроля выполнения заданий на вычислительных ресурсах в гриде”
Работа проводися при финансовой поддержке РФФИ: номер проекта 11-07-00434-а
Аннотация
Общей целью работы является обеспечение эффективного использования систем распределенных вычислений и обработки данных (грид-инфраструктур), а также отдельных компьютерных ресурсов (суперкомпьютеров и вычислительных кластеров), расширение класса и повышение качества предоставляемых ими вычислительных услуг за счет унификации доступа к ресурсам пользователей при сохранении высокой степени безопасности системы.
Разработана общая архитектура и алгоритмы работы грид-шлюза на основе REST/JSON-веб-сервисов, а также осуществлена программная реализация всех компонентов сервиса удаленного запуска (грид-шлюза) на основе разработанных принципов работы, архитектуры и алгоритмов. Самым важным результатом в этой части явилось обеспечение унифицированного способа запуска задач на вычислительных ресурсах. Для авторизации запросов, требующих уточнения принадлежности пользователя к виртуальной организации, проводится проверка атрибутного сертификата VOMS, содержащегося в прокси-сертификате. Разработанный язык описания вычислительных заданий позволяет указывать не только параметры, необходимые для запуска задачи, но и требования к среде выполнения задачи, а также требования к наличию предустановленного на кластере или суперкомпьютере программного обеспечения. Предложенное решение позволяет использовать грид-среду для эффективного запуска не только распространенных вариантов на базе MPI- и OpenMP-технологий, но и наиболее сложного комбинированного типа – гибридных задач типа MPI+OpenMP.
Шлюз может быть использован для доступа на суперкомпьютеры с локальными менеджерами ресурсов PBS/Torque, Cleo и SLURM, под управлением которых находятся практически все суперкомпьютерные установки России. Предложенное решение является достаточно общим подходом и может быть перенесено в другие грид-инфраструктуры. Разработанные методы позволяют существенно расширить спектр пользовательских грид-приложений, а также повысить качество обработки заданий и эффективность использования суперкомпьютерных ресурсов.