archive:appds:arch19
Table of Contents
2019
Совещание 25.04.2019
Присутствовали: Ю.Дубенская, Д.Журов, Ю.Казарина, Е.Коростелева, А.Крюков, А.Михайлов, Д.Нгуен, Е.Постников, А.Шигаров, А.Демичев, С.Поляков, В.Токарева.
DLC-2019.
- А.К.
- Написать письмо-напоминание о близком сроке подачи статей.
- Все статьи надо пареллельно разместить в ArcXiv. Сделать крос-ссылки из автрофизики и компьютинга.
Прототип AstroDS.
- А.М.
- Есть схема МД на уровне файлов
- Пока есть проблема с портами на lcg86.
- А.К. Порты открыты. Надо чтобы этот порт кто-нибудь “слушал”.
- Д.Н.
- Отсутствует официальный контейнер с CVMFS
- Пытаюсь собрать контейнер.
- По сервису агрегации пока прогресса нет.
- А.К. Полигон для AstoDS состоит из 1 дискового сервера и 2-х вычислительных серверов (реальные машины!).
- Дисковый сервер предназначен для симуляции локальных хранилищ (не менее 2-х). Там же будут располагаться программы “обработки” и экстракторы MD.
- 1 вычислительный сервер - это сервис агрегации.
- 2-ой вычислительный сервис - это MDC.
- Если надо дополнительные сервисы (в сетевом смысле) то используем docker-контейнеры для их моделирования. А так все можно ставить прямо на железные хосты.
- Для точки входа пользователей и других сервисов зарегистрирован домен astrods.ru
- Сообщите не какой IP сделать запись в DNS.
- В.Т. О application service
- А.К.
- Данный сервис является внешним по отношению к распределенному хранилищу. Его можно включить, если будут (1) выделены ресурсы, (2) выделен человек, котрый будет его менеджировать.
- После этого можно обсудить как организовать связт это ресурса с хранилищем (API и т.п.).
- А.К.
- Для программ MDC и технической документации сделан репозиторий astromd
ML
Статус работ
- С.П. Прогресса пока нет. Недостаточно данных для обучения. Ждем новые семплы от Е.П.
- Е.П. Новые семплы будут готовы к 25 апреля.
- Д.Ж.
- Программа переписана на Keras.
- Есть некоторые результаты, но не сильно тличные от того, что было.
- Е.П.
- До клининга имеется 150 тыс. событий с фотонами и 250-300 тыс с гамма.
- Сегодня к вечеру подготовлю семплы.
- А.К. Договорились подробнее обсудить результаты с участием Е,П. в 14:00 в МГУ.
Открытая наука.
- А.М.
- Установлен и настроен WordPress.
- А.К.
- Предлагаю исползовать для работы домен astroparticle.ru, который зарегистрирован для этих целей.
- Сообщите не какой IP сделать запись в DNS.
Прочее.
- А.К. В связи праздниками, следующее совещание состоится 16 мая 2019г.
DLC-2019
См. сайт конференции https://indico.scc.kit.edu/event/526/
Совещание 18.04.2019
Присутствовали: Ю.Дубенская, Д.Журов, Ю.Казарина, Е.Коростелева, А.Крюков, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, А.Демичев, С.Поляков, В.Токарева.
DLC-2019.
- Ю.К. Пока прогресса нет.
Прототип AstroDS.
- А.К.
- Если надо запустить несколько сервисов на одном физическом сервисе, то использовать docker-контейнеры и микросервисы.
- Необходим API для доступа к MDC
- А.М.
- Открыть порты на lcg86
- Создать репозиторий asdtromd
ML
Статус работ
- С.П. Прогресса пока нет.
- Е.П.
- Кроме сайза (яркость) используются расстояние до центра шала.
Открытая наука.
- Ю.К.
- Будем использовать WordPress.
Прочее.
- А.К. В связи праздниками, следующее совещание состоится 16 мая 2019г.
Совещание 11.04.2019
Присутствовали: Ю.Дубенская, Д.Журов, Ю.Казарина, Е.Коростелева, А.Крюков, А.Михайлов, Д.Нгуен, Е.Постников, А.Шигаров, А.Демичев, С.Поляков.
DLC-2019.
- А.К. Основной вопрос - это подготовка трудов.
- Основное внимание будем уделять качеству английского. Объем статей от6 до 9 стр. Срок - 30 апреля 2019г.
- Все работы должны быть также размещены в Archive.
Прототип AstroDS.
- А.К. В redmine выложен предварительный план работ по реализации прототипа. План рассчитан на развертывание прототипа к конце июня. Просьба к Д.Н, А.Ш. и А.М. конкретизировать план. А именно уточнить список задач, сроки их выполнения, внести, если необходимо, подзадачи и т.д.
Статус работ
- Д.Н. Прогресс в разработке пока отсутствует.
- А.Ш. Прогресс в разработке пока отсутствует.
ML
Статус работ
- С.П. Прогресса пока нет. Недостаточно данных для обучения. Ждем новые семплы от Е.П.
- Е.П. Новые семплы будут готовы к 25 апреля.
- Д.Ж. Прогресса пока нет. Надеюсь что-то сообщить на совещании 18 апреля.
Открытая наука.
- Ю.К. На совещании 18 апреля будет доложено о выборе платформы и плане переноса работ на нее. Подбираем администратора, который будет приглядывать за платформой.
- А.К. План надо будет внести в redmine в виде списка связанных задач.
Статус работ
Прочее.
- А.К. Выплаты за первое полугодие будут проведены в 20-х числах апреля. Все документы подписана. Договор согласован и проходит регистраци. Оплата по договору - конец октября.
DLC-2019
См. сайт конференции https://indico.scc.kit.edu/event/526/
22.02.19, Метаданные
Присутствовали:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Нгуен, Поляков, Постников, Токарева, Шигаров.
- А.К. Некоторые принципы.
- Распределенное хранилище ориентировано на хранение файлов.
- Поиск данных происходит только на сервере МД
- МД делятся на 2 уровня
- уровень файла, т.е. те МД, которые относятся ко всему файлу, без анализа содержимого файла.
- уровень “события”. Этот тип МД получается в результате вторичной обработки.
- Д.Н. На входе поток объектов, которыми могут быть
- файлы, запросы (например, MongoDB в KCDC)
- задача экстракторов - извлечение МД, ассоциированных с этим потоком объектов.
- иерархия: установка –> кластер –> детектор –> канал
- Е.К. Примеры
- HiScore –> Cluster1 –> st033(станция) –> канал*8. В одном файле со станции все 8 каналов.
- Т133 –> Cluster –> станция*8 –> канал*2
- 1 физическое событие может быть зарегистрировано несколькими детекторами.
- Проблема с наличием битых событий, а также событий, которые не должны быть учтены.
- А.К. Вопросы:
- Запросы на уровне файлов. Фактически в полном пути+имени хранится МД
- Как интегрироваться с KCDC.
- Один из вариантов, это сделать запрос в виде URI, который будет содержать фактически SQL запрос.
- Разные установки имеют разные структуры.
- API должен включать запрос на предоставление структуры, которая соответствует данным установки.
- Создать тезаурус, чтобы во всем проекте была единая терминология.
- Визуализировать структруы для пилотных установок (T133, IACT, KASCADE)
- Все объекты (файлы, события и т.д.) должны иметь уникальные номера.
- В МД для событий надо предусмотреть специальные маркеры (битые события и т.п.)
- Предусмотреть возможность регистрации одного физического события несколькими установками.
archive/appds/arch19.txt · Last modified: 05/07/2024 22:03 by admin