====== 2019 ====== ===== Совещание 25.04.2019 ===== **Присутствовали**: Ю.Дубенская, Д.Журов, Ю.Казарина, Е.Коростелева, А.Крюков, А.Михайлов, Д.Нгуен, Е.Постников, А.Шигаров, А.Демичев, С.Поляков, В.Токарева. ==== DLC-2019. ==== * А.К. * Написать письмо-напоминание о близком сроке подачи статей. * Все статьи надо пареллельно разместить в ArcXiv. Сделать крос-ссылки из автрофизики и компьютинга. ==== Прототип AstroDS. ==== * А.М. * Есть схема МД на уровне файлов * Пока есть проблема с портами на lcg86. * А.К. Порты открыты. Надо чтобы этот порт кто-нибудь "слушал". * Д.Н. * Отсутствует официальный контейнер с CVMFS * Пытаюсь собрать контейнер. * По сервису агрегации пока прогресса нет. * А.К. Полигон для AstoDS состоит из 1 дискового сервера и 2-х вычислительных серверов (реальные машины!). * Дисковый сервер предназначен для симуляции локальных хранилищ (не менее 2-х). Там же будут располагаться программы "обработки" и экстракторы MD. * 1 вычислительный сервер - это сервис агрегации. * 2-ой вычислительный сервис - это MDC. * Если надо дополнительные сервисы (в сетевом смысле) то используем docker-контейнеры для их моделирования. А так все можно ставить прямо на железные хосты. * Для точки входа пользователей и других сервисов зарегистрирован домен astrods.ru * Сообщите не какой IP сделать запись в DNS. * В.Т. О application service * А.К. * Данный сервис является внешним по отношению к распределенному хранилищу. Его можно включить, если будут (1) выделены ресурсы, (2) выделен человек, котрый будет его менеджировать. * После этого можно обсудить как организовать связт это ресурса с хранилищем (API и т.п.). * А.К. * Для программ MDC и технической документации сделан репозиторий astromd ==== ML ==== === Статус работ === * С.П. Прогресса пока нет. Недостаточно данных для обучения. Ждем новые семплы от Е.П. * Е.П. Новые семплы будут готовы к 25 апреля. * Д.Ж. * Программа переписана на Keras. * Есть некоторые результаты, но не сильно тличные от того, что было. * Е.П. * До клининга имеется 150 тыс. событий с фотонами и 250-300 тыс с гамма. * Сегодня к вечеру подготовлю семплы. * А.К. Договорились подробнее обсудить результаты с участием Е,П. в 14:00 в МГУ. ==== Открытая наука. ==== * А.М. * Установлен и настроен WordPress. * А.К. * Предлагаю исползовать для работы домен astroparticle.ru, который зарегистрирован для этих целей. * Сообщите не какой IP сделать запись в DNS. ==== Прочее. ==== * А.К. В связи праздниками, следующее совещание состоится 16 мая 2019г. ===== DLC-2019 ===== См. сайт конференции [[https://indico.scc.kit.edu/event/526/]] ===== Совещание 18.04.2019 ===== **Присутствовали**: Ю.Дубенская, Д.Журов, Ю.Казарина, Е.Коростелева, А.Крюков, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, А.Демичев, С.Поляков, В.Токарева. ==== DLC-2019. ==== * Ю.К. Пока прогресса нет. ==== Прототип AstroDS. ==== * А.К. * Если надо запустить несколько сервисов на одном физическом сервисе, то использовать docker-контейнеры и микросервисы. * Необходим API для доступа к MDC * А.М. * Открыть порты на lcg86 * Создать репозиторий asdtromd ==== ML ==== === Статус работ === * С.П. Прогресса пока нет. * Е.П. * Кроме сайза (яркость) используются расстояние до центра шала. ==== Открытая наука. ==== * Ю.К. * Будем использовать WordPress. ==== Прочее. ==== * А.К. В связи праздниками, следующее совещание состоится 16 мая 2019г. ================================== ===== Совещание 11.04.2019 ===== **Присутствовали**: Ю.Дубенская, Д.Журов, Ю.Казарина, Е.Коростелева, А.Крюков, А.Михайлов, Д.Нгуен, Е.Постников, А.Шигаров, А.Демичев, С.Поляков. ==== DLC-2019. ==== * А.К. Основной вопрос - это подготовка трудов. * Основное внимание будем уделять качеству английского. Объем статей от6 до 9 стр. Срок - 30 апреля 2019г. * Все работы должны быть также размещены в Archive. ==== Прототип AstroDS. ==== * А.К. В redmine выложен предварительный план работ по реализации прототипа. План рассчитан на развертывание прототипа к конце июня. Просьба к Д.Н, А.Ш. и А.М. конкретизировать план. А именно уточнить список задач, сроки их выполнения, внести, если необходимо, подзадачи и т.д. === Статус работ === * Д.Н. Прогресс в разработке пока отсутствует. * А.Ш. Прогресс в разработке пока отсутствует. ==== ML ==== === Статус работ === * С.П. Прогресса пока нет. Недостаточно данных для обучения. Ждем новые семплы от Е.П. * Е.П. Новые семплы будут готовы к 25 апреля. * Д.Ж. Прогресса пока нет. Надеюсь что-то сообщить на совещании 18 апреля. ==== Открытая наука. ==== * Ю.К. На совещании 18 апреля будет доложено о выборе платформы и плане переноса работ на нее. Подбираем администратора, который будет приглядывать за платформой. * А.К. План надо будет внести в redmine в виде списка связанных задач. === Статус работ === ==== Прочее. ==== * А.К. Выплаты за первое полугодие будут проведены в 20-х числах апреля. Все документы подписана. Договор согласован и проходит регистраци. Оплата по договору - конец октября. ===== DLC-2019 ===== См. сайт конференции [[https://indico.scc.kit.edu/event/526/]] ===== 22.02.19, Метаданные ===== **Присутствовали**: \\ Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Нгуен, Поляков, Постников, Токарева, Шигаров. * А.К. Некоторые принципы. * Распределенное хранилище ориентировано на хранение файлов. * Поиск данных происходит только на сервере МД * МД делятся на 2 уровня * уровень файла, т.е. те МД, которые относятся ко всему файлу, без анализа содержимого файла. * уровень "события". Этот тип МД получается в результате вторичной обработки. * Д.Н. На входе поток объектов, которыми могут быть * файлы, запросы (например, MongoDB в KCDC) * задача экстракторов - извлечение МД, ассоциированных с этим потоком объектов. * иерархия: установка --> кластер --> детектор --> канал * Е.К. Примеры * HiScore --> Cluster1 --> st033(станция) --> канал*8. В одном файле со станции все 8 каналов. * Т133 --> Cluster --> станция*8 --> канал*2 * 1 физическое событие может быть зарегистрировано несколькими детекторами. * Проблема с наличием битых событий, а также событий, которые не должны быть учтены. * А.К. Вопросы: * Запросы на уровне файлов. Фактически в полном пути+имени хранится МД * Как интегрироваться с KCDC. * Один из вариантов, это сделать запрос в виде URI, который будет содержать фактически SQL запрос. * Разные установки имеют разные структуры. * API должен включать запрос на предоставление структуры, которая соответствует данным установки. * Создать тезаурус, чтобы во всем проекте была единая терминология. * Визуализировать структруы для пилотных установок (T133, IACT, KASCADE) * Все объекты (файлы, события и т.д.) должны иметь уникальные номера. * В МД для событий надо предусмотреть специальные маркеры (битые события и т.п.) * Предусмотреть возможность регистрации одного физического события несколькими установками.