User Tools

Site Tools


appds:meetings

Meetings/Совещания

Задачи 2020

Задача Отв. Примечание
1 Выполнены комплексные исследования системы AstroDS на предмет подтверждения работоспособности и эффективности заложенных при ее реализации модели управления данными, исследовано поведение в различных условиях эксплуатации, в том числе в условиях стресс-тестов. Д.Н.
2 Выполнен анализ результатов этих исследований и на их основе проведена оптимизация системы AstroDS. А.К.
3+ Разработан метод взаимодействия системы AstroDS c хранилищами, использующих модель хранения данных на основе реляционных баз данных. Проведена интеграция таких хранилищ и системы AstroDS. А.М.
4 Повышена точность определения параметров ШАЛ методом машинного обучения. Обобщен данный метод на случай использования экспериментальных данных, поступающих одновременно с нескольких телескопов. Е.П.
5 Разработана методика использования генеративно-состязательных сетей для быстрого моделирования событий области гамма-астрономии как замена традиционных Монте-карло генераторов. А.К.
6+ Продолжено развитие портала astroparticle.online. В частности, будет добавлен инструмент анализа данных с использованием метода машинного обучения и предоставлено пользователям возможность загрузить собственные данные для анализа. Ю.К.
7+ Представлены доклады с результатами работы на ведущих российских и международных конференциях. ВСЕ
8 Опубликованы итоговые результаты работы по проекту в журнале из Q1. А.К.

Совещание 22.10.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • Новости
    • Kaitai 0.9. Валидация.
  • ОЧЕТ
    • Шаблон отчета - А.К.
      • Выложен в redmine (DMS→Otchet2020→otchet2020-shablon)
    • Вопросы к немецким коллегам. – В.Т.
  • Будущий грант РНФ-DFG
    • Прислать пожелание участвовать - Все.
      • Журов, Михайлов.
    • Ограничения: можно участвовать в не более 2-х грантах РНФ одновременно.
    • Начало гранта - 2022 год!
  • Astroparticle.online. Текущий статус - Ю.К.
    • Все работает штатно. Новости обновлены.
  • AstroDS - Д.Н.
    • gridmsu33 не работает 5 дней!
      • запросы обрабатываются
      • дерево строится.
      • отсутствует frontend
      • экстракторы реально пока не применяются.
    • Фильтры - А.М.
      • Описание всего списка фильтров. - отдельная страница. ГДЕ? —> redmine–>wiki–>mdc
      • Фильтрация уровня событий.
    • KCDC. Статус - В.Т.
      • Документация есть.
        • Список ошибок и их значения. - пока не сделано.
      • Сервис работает.
      • Проверить. - А.М.+Д.Н.
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN.
      • Есть предложение выдавать шум, а не чистое избражение. Есть на этот счет статья (см. библиографию).
      • Пока тесты и отладка на цифрах.
      • На МС изображениях качество плохое.
    • GAN. Статус. - Ю.Д.
      • После перехода к реальным изображениям все стало хуже.
      • Прислать примеры результатов на тестах (рубашках) и на наших изображениях.
        • Качество распознования реальных событий у дискриминатора около 50%!
    • Обработка событий с 2-х телескопов. Статус . – С.П.
      • прислать краткий отчет. Q=18 при 2-х изображениях.
      • запрость Гринюка о МС - Е.П. Ожидаем на этой неделе.
      • Ответ как E=k*(S1+S2), где k - велична определяемая сеткой.
      • Точность определения E ококло 20%. Традиционный метод - 45-50%.
      • На одном телескопе - 26%
      • Передать Е.П. для визуализации.
  • Прочее
    • Отчет по договору Бычкова. - В бухгалтерии.
    • Выложить статьи в DLC-2020 в ArXiv в раздел Astro и вторичный - CS.

Совещание 15.10.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • ОЧЕТ!
    • Шаблон отчета - А.К.
  • Будущий грант РНФ-DFG
    • Прислать пожелание участвовать - Все.
  • Astroparticle.online. Текущий статус - Ю.К.
    • Все работает штатно.
  • AstroDS - Д.Н.
    • запросы обрабатываются
    • дерево строится.
    • отсутствует frontend
    • экстракторы реально пока не применяются.
    • Фильтры - А.М.
      • Описание всего списка фильтров. - отдельная страница. ГДЕ? —> redmine–>wiki–>mdc
      • Фильтрация уровня событий.
    • KCDC. Статус - В.Т.
      • Документация есть.
        • Список ошибок и их значения.
      • Сервис работает.
      • Проверить. - А.М.+Д.Н.
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN.
      • Есть предложение выдавать шум, а не чистое избражение. Есть на этот счет статья (см. библиографию).
      • Пока тесты и отладка на цифрах.
      • На МС изображениях качество плохое.
    • Проблема 37 событий (реальных). - провести распознование на сетях. - Е.П.
      • Это другой источник (Маркрян421), не Краб.
        • Требуется обучение на другой источник.
      • Проблема откладывается.
    • GAN. Статус. - Ю.Д.
      • После перехода к реальным изображениям все стало хуже.
      • Прислать примеры результатов на тестах (рубашках) и на наших изображениях.
        • Качество распознования реальных событий у дискриминатора около 50%!
    • Обработка событий с 2-х телескопов. Статус . – С.П.
      • прислать краткий отчет. Q=18 при 2-х изображениях.
      • запрость Гринюка о МС - Е.П.
      • Ответ как E=k*(S1+S2), где k - велична определяемая сеткой.
      • Точность определения E ококло 25%. Традиционный метод - 45-50%.
    • Задача по определению энергии - С.П.
  • Прочее
    • Отчет по договору Бычкова.
      • завершенный вариант будет к понедельнку
    • Выложить статьи в DLC-2020 в ArXiv в раздел Astro и вторичный - CS.

Совещание 08.10.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • Astroparticle.online. Текущий статус - Ю.К.
    • Все работает штатно.
  • AstroDS - Д.Н.
    • gridmsu33 не работает 5 дней!
      • запросы обрабатываются
      • дерево строится.
      • отсутствует frontend
      • экстракторы реально пока не применяются.
    • Фильтры - А.М.
      • Описание всего списка фильтров. - отдельная страница. ГДЕ? —> redmine–>wiki–>mdc
      • Фильтрация уровня событий.
    • KCDC. Статус - В.Т.
      • Документация есть.
      • Сервис работает.
      • Проверить. - А.М.+Д.Н.
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN.
      • Есть предложение выдавать шум, а не чистое избражение. Есть на этот счет статья (см. библиографию).
      • Пока тесты и отладка на цифрах.
      • На этой неделе - на МС изображениях.
    • Проблема 37 событий (реальных). - провести распознование на сетях. - Е.П.
    • GAN. Статус. - Ю.Д.
      • После перехода к реальным изображениям все стало хуже.
      • Прислать примеры результатов на тестах (рубашках) и на наших изображениях.
    • Обработка событий с 2-х телескопов. Статус . – С.П.
      • прислать краткий отчет. Q=18 при 2-х изображениях.
      • запрость Гринюка о МС - Е.П.
    • Задача по определению энергии - С.П.
  • Задачи к отчету.
    • Сделать шаблон - А.К.
  • Прочее
    • Новый грант
    • Отчет по договору Бычкова.
      • завершенный вариант будет к понедельнку
        • тормозит отсутствие документации по KCDC - Токарева.
    • Выложить статьи в DLC-2020 в ArXiv в раздел CS и вторичный - Astro.
      • Можно как есть, только убрать ссылки на сборник трудов.
      • Ю.К. это уже сделала.

Совещание 01.10.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • Astroparticle.online. Текущий статус - Ю.К.?
  • AstroDS - Д.Н.
    • gridmsu33 не работает 5 дней!
      • сделать автозапуск сервиса - Д.Н.
    • запросы обрабатываются
      • дерево строится.
      • отсутствует frontend
      • экстракторы реально пока не применяются.
      • Резюме: Прислать краткий отчет, где будут (а) зарос, (б) ответ от MDC, (в) дерево файлов (каталог) построенный для данного дерева.
    • Фильтры - А.М.
      • Описание всего списка фильтров. - отдельная страница. ГДЕ? —> redmine–>wiki–>mdc
      • Фильтрация уровня событий.
      • Резюме: Прислать доработанный отчет.
    • KCDC. Статус - В.Т.не работает
      • Резюме: Послать письмо с просьбой прислать финальную версию документации. - А.К.
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN.
      • Есть предложение выдавать шум, а не чистое избражение. Есть на этот счет статья (см. библиографию).
      • Резюме: Отчет в понедельник.
    • GAN. Статус. - Ю.Д.
      • После перехода к реальным изображениям все стало хуже.
      • Резюме: Прислать примеры результатов на тестах (рубашках) и на наших изображениях.
    • Обработка событий с 2-х телескопов. Статус . – С.П.
      • Q=18 при 2-х изображениях.
      • Резюме:
        • прислать краткий отчет. - С.П.
        • запрость Гринюка о МС - Е.П.
    • Задача по определению энергии - С.П.
      • Можно на стерео изображениях.
  • Задачи к отчету.
    • Сделать шаблон - А.К.
  • Прочее
    • Новый грант: Желающие участвовать, просьба сообщить до конца октября.
    • Отчет по договору Бычкова.
      • завершенный вариант будет к понедельнку
        • тормозит отсутствие документации по KCDC - Токарева.
    • Выложить статьи в DLC-2020 в ArXiv в раздел CS и вторичный - Astro.
      • Можно как есть, только убрать ссылки на сборник трудов CEUR.
      • Ю.К. это уже сделала!

Совещание 24.09.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020 Proceesings - СБОРНИК ВЫШЕЛ!
    • Большое спасибо всем, кто принял участие в его подготовке и особенно Алексею.
  • Astroparticle.online. Текущий статус - Ю.К.?
  • AstroDS - Д.Н. - gridmsu33
    • Текущий статус.
      • Авторизация и привязка к ней истории запросов.
      • Срок хранения запроса.
    • Фильтры - А.М.
      • Общий метод работы с фильтрами и введение новых.
        • Описание всего списка фильтров. - отдельная страница. ГДЕ?
      • Фильтрация уровня событий.
    • KCDC. Статус - В.Т.
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN.
      • Исправлена ошибка.
      • Есть предложение выдавать шум, а не чистое избражение. Есть на этот счет статья (см. библиографию).
    • GAN. Статус. - Ю.Д.
    • Обработка событий с 2-х телескопов. Статус . – С.П.
  • Прочее
    • Отчет по договору Бычкова.
    • Конференция CSP-2020. Публикация трудов в JoP (Scopus).

Совещание 17.09.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020 Proceesings
    • Собраны все заявленные работы
      • Статья А.К. находится на выверке у Ю.Д.
    • Отправляем сборник в CEUR-WS не позднее 14.09.
      • От редактора нужна бумага.
  • Astroparticle.online - Ю.К.
    • Текущий статус.
    • Обновить zip для миграции Astroparticle.online. - А.Ш.
  • AstroDS - Д.Н. - gridmsu33
    • Текущий статус.
      • Авторизация и привязка к ней истории запросов.
      • Срок хранения запроса.
    • Фильтры - А.М.
      • Общий метод работы с фильтрами и введение новых.
        • Описание всего списка фильтров. - отдельная страница. ГДЕ?
      • Фильтрация уровня событий.
    • KCDC. Статус - В.Т.
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN. - Новостей нет.
    • GAN. Статус. - Ю.Д.
    • Обработка событий с 2-х телескопов.
      • МС - Е.П.
      • Предварительной анализ задачи - С.П.
  • АОВ
    • Отчет по договору Бычкова.
    • Выплаты
    • Ю.К.

Совещание 10.09.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020 Proceesings
    • Собраны все заявленные работы
      • Статья А.К. находится на выверке у Ю.Д.
    • Отправляем сборник в CEUR-WS не позднее 14.09.
      • От редактора нужна бумага.
  • Astroparticle.online - Ю.К.
    • Текущий статус.
    • Обновить zip для миграции Astroparticle.online. - А.Ш.
  • AstroDS - Д.Н. - gridmsu33
    • Текущий статус.
      • Авторизация и привязка к ней истории запросов.
      • Срок хранения запроса.
    • Фильтры - А.М.
      • Общий метод работы с фильтрами и введение новых.
        • Описание всего списка фильтров. - отдельная страница. ГДЕ?
      • Фильтрация уровня событий.
    • KCDC. Статус - В.Т.
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN. - Новостей нет.
    • GAN. Статус. - Ю.Д.
    • Обработка событий с 2-х телескопов.
      • МС - Е.П.
      • Предварительной анализ задачи - С.П.
  • АОВ
    • Отчет по договору Бычкова.
    • Выплаты
    • Ю.К.

DLC-2020: Proceedings

Статус на 23.07.2020 Легенда:
ожидаем
отказался
+ на корректуре
++ финальная версия
АА Соглашение

Прислали:

  1. Andrey Kiryanov ++
  2. Pavel Bezyazeekov ++
  3. Vladimir Korkhov ++
  4. Olga Chuchuk ++
  5. Andrey Demichev ++
  6. Julia Dubenskaya ++
  7. Kseniia Ikonnikova ++
  8. Katrin Link ++
  9. Oleg Fedorov ++
  10. Minh-Duc Nguyen ++
  11. Minh-Duc Nguyen ++
  12. Frank Polgart ++
  13. Jutta Schnabel ++
  14. Victoria Tokareva ++
  15. Florian von Cube ++
  16. Jurgen Wochele ++
  17. Sergei Zolotarev ++
  18. Казарина ++
  19. Поляков (Федотова) ++
  20. Крюков, Михайлов - на правке у Ю.Д.
  21. Хонгс
  22. Джаббар
  23. Кузьмичев
  24. Костюнин

09/07/2020

  • Поступившие статьи. Текущее состояние. - А.Ш.
    • Кто еще обещал прислать.
    • Кто отказался.
    • Еще раз связаться (персонально).
    • Особенно для участников проекта. Нам это важно для успешного завершения гранта и возможного его продления.
  • Подготовка сборника
    • Наверно можно делать “рыбу”. Оглавление, вставить то, что уже есть.
    • Проверка на английский.
      • Ю.Д.+E.P., кто еще?
  • Прочее
    • Презентации. - скопировать на redmine: DMS/DLC2020-Presentations - В.Т.
    • Следующее совещание - 16.07.2020
      • Просьба прислать письмо о наличии статей 14.07.2020.
    • Astronomy and Computing - журнал (Q1) для общей статьи?

Совещание 18.06.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020
    • Главное - конференция прошла успешно.
      • Отдельное спасибо Ю.Казариной, В.Токаревой, нашим немецким коллегам.
    • Главная задача - подготовка трудов. Отв. А.Ш., Ю.К., В.Т., Ю.Д.
      • Письмо-напоминание со ссылкой на правила.
  • Astroparticle.online - Ю.К.
    • Текущий статус.
    • Анализ данных. - В принципе все задачи решены.
      • Возможность визуализации выбранного события. - в пятницу - А.Ш.
      • Проблема с авторизацией! пока отложим (сохраняем 10 последниу наборов) - Д.Ж.
      • Провести анализ 20 реальных событий. - Д.Ж.
    • Обновить zip для миграции Astroparticle.online. - А.Ш.
  • AstroDS - Д.Н. - gridmsu33
    • Текущий статус.
      • KCDC - недоступен. Что случилось? - В.Т.
        • Какой запрос надо сделать, чтобы ответ был не пустой?
          • unavalable - какой источник. - Д.Н.
          • пока файл готовится - кнопка check, проверка готовности файла.
    • Нет авторизации и привязанной к ней истории запросов.
      • Должен быть указан срок хранения запроса.
    • Непонятный интерфейс для работы с историями. Все “files”. Нужна дата запроса. - Д.Н.
    • Фильтры - Д.Н.
      • небольшой набор фильтров.
      • Общий метод работы с фильтрами и введение новых.
        • Описание всего списка фильтров. - отдельная страница. ГДЕ?
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN. - Новостей нет.
    • GAN - работает через докер. - Ю.Д.
      • Есть проблема с Python-3.
    • Идентификация в случае воблинга. Статус. - Д.Ж., Е.П, - проводится анализ результатов.
      • Сделать расшифровку 1000 событий для проверки слепым методом. - Е.П.
      • А.К. Сравнить два случая.
        1. идентифицировать со случайным смещением (без учета угла альфа, т.е. мы не знаем полжение изображения), затем отбор по углу альфа.
        • Сравнить с “лесом” - в ближайшее время - проводится анализ - Д.Ж.
  • АОВ
    • Заявится на конференции CSP-2020 (ВШЭ, Москва) и GRID-2020 (ОИЯИ, Дубна) -см. events.
    • Уходим на лето. Следующее регулярное совещание - сентябрь. Будет сообщено дополнительно.
    • Продолжаем работать над сборником DLC-2020.
      • Сдать сборник не поднее начала августа.
    • Необходимо завершить недоделки (см. выше) до осени.

Совещание 04.06.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева,А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020
    • Главное - программа. На сегодня (28.05) - 24 докладов.
      • Пока отсутствуют доклады
        1. Михайлов,Токарева. Интеграция KCDC и AstroDS
        2. Постников. CNN для идентификации частиц. Последние результаты.
        3. Журов. CNN классификации согласно исследованию диффузного/не диффузного гамма.
    • Разослать письма 30 мая авторам о принятии докладов. - Ю.К., В.Т.
  • Astroparticle.online - Ю.К.
    • Текущий статус.
    • Анализ данных. - В принципе все задачи решены.
      • Возможность визуализации выбранного события. Проблема с авторизацией!
      • Документация к скрипту, выводящего изображения событий. - Д.Ж.
        • Установка, запуск, пример использования. - Д.Ж., сегодня.
      • Провести анализ 20 реальных событий. - Д.Ж., представить анализ - след. неделя.
  • AstroDS - Д.Н. - gridmsu33
    • Текущий статус.
      • Асинхронный достпуп к KCDC. - ориентировочно - пятница. - В.Т.
        • Сразу отдавать имя файла, но он может получиться пустым.
        • Обработка ошибки доступа к сервису.
          • Список исключений (не готов, сбой обработки и т.п.) и возможные реакции.
          • unavalable - какой источник.
          • пока файл готовится - кнопка check, проверка готовности файла.
    • Непонятный интерфейс “download”.
      • Не исчезает окно загрузки после нажатия download
      • непонятно как работают галочки выбора файлов.
      • отсутствует источник в названии файла
      • нет авторизации и привязанной к ней истории запросов.
        • Должен быть указан срок хранения запроса.
      • небольшой набор фильтров.
    • Непонятный интерфейс для работы с историек. Все “files”. Нужна хотя бы дата.
    • Фильтры: погода, источник, прямые измерения/калибровка. - Д.Н.
      • Общий метод работы с фильтрами и введение новых.
        • Описание всего списка фильтров. - отдельная страница.
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN. - Новостей нет.
    • GAN - работает через докер. - Ю.Д.
      • Как запустить и использовать TensorFlow в docker, положить в redmine - Д.Ж.
      • Внести в число подьзователей git Ю.Д. - А.К.
    • Идентификация в случае воблинга. Статус. - Д.Ж., Е.П, - проводится анализ результатов.
      • Сделать 1000 событий для проверки слепым методом. - Е.П.
      • А.К. Сравнить два случая.
        1. идентифицировать со случайным смещением (без учета угла альфа, т.е. мы не знаем полжение изображения), затем отбор по углу альфа.
        • Сравнить с “лесом” - в ближайшее время - проводится анализ - Д.Ж.
  • Результаты 2020
    1. Выполнены комплексные исследования системы AstroDS на предмет подтверждения работоспособности и эффективности заложенных при ее реализации модели управления данными, исследовано поведение в различных условиях эксплуатации, в том числе в условиях стресс-тестов. - отв. Д.Н.
    2. Выполнен анализ результатов этих исследований и на их основе проведена оптимизация системы AstroDS. - отв. А.К.
    3. Разработан метод взаимодействия системы AstroDS c хранилищами, использующих модель хранения данных на основе реляционных баз данных. Проведена интеграция таких хранилищ и системы AstroDS. - отв. А.М.
    4. Повышена точность определения параметров ШАЛ методом машинного обучения. Обобщен данный метод на случай использования экспериментальных данных, поступающих одновременно с нескольких телескопов. - отв. Е.П.
    5. Разработана методика использования генеративно-состязательных сетей для быстрого моделирования событий области гамма-астрономии как замена традиционных Монте-карло генераторов. - отв. А.К.
    6. Продолжено развитие портала astroparticle.online. В частности, будет добавлен инструмент анализа данных с использованием метода машинного обучения и предоставлено пользователям возможность загрузить собственные данные для анализа. - отв. Ю.К.
    7. Представлены доклады с результатами работы на ведущих российских и международных конференциях. - отв. ВСЕ
    8. Опубликованы итоговые результаты работы по проекту в журнале из Q1. - отв. А.К.
  • АОВ
    • Заявится на конференции CSP-2020 (ВШЭб Москва) и GRID-2020 (ОИЯИ, Дубна) -см. events.
    • следующее совещание - 10 июня в рамках DLC-2020.

Совещание 28.05.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева,А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020
    • Главное - программа. На сегодня (28.05) - 18 докладов.
      Список докладов
    • Доклады разбиты на 4 категории:
      • Приглашенный доклад - Кузьмичев
      • Data centres in astroparticle physics; Data and metadata management in experimental physics; Large-scale distributed data storages - 7 докладов
      • Organization and maintaining of data life cycles; Open data in physics; Outreach and education in astroparticle physics - 5 докладов
      • Combined data analysis in astroparticle physics; Modern methods of data analysis for combined datasets - 5 докладов
        • “Combined” - это “multi-messenger”?
    • Пока отсутствуют доклады
      1. Михайлов,Токарева. Интеграция KCDC и AstroDS
      2. Постников. CNN для идентификации частиц. Последние результаты.
      3. Журов. CNN классификации согласно исследованию диффузного/не диффузного гамма.
    • Обновить список тем конференции - Андреас.
    • Разослать письма 30 мая авторам о принятии докладов. - Ю.К., В.Т.
    • У меня в firefox регистрационная форма не сформатирована.
  • Astroparticle.online - Ю.К.
    • Текущий статус.
    • Анализ данных. - В принципе все задачи решены.
      • Документация к скрипту, выводящего изображения событий. - Д.Ж.
        • Установка, запуск, пример использования. - Д.Ж., сегодня.
      • Провести анализ 20 реальных событий. - Д.Ж., представить анализ - след. неделя.
  • AstroDS - Д.Н. - gridmsu33
    • Текущий статус.
      • Асинхронный достпуп к KCDC. - ориентировочно - пятница. - В.Т.
        • Сразу отдавать имя файла, но он может получиться пустым.
        • Обработка ошибки доступа к сервису.
          • Список исключений (не готов, сбой обработки и т.п.) и возможные реакции.
          • unavalable - какой источник.
          • пока файл готовится - кнопка check, проверка готовности файла.
    • Непонятный интерфейс “download”.
      • Не исчезает окно загрузки после нажатия download
      • непонятно как работают галочки выбора файлов.
      • отсутствует источник в названии файла
      • нет авторизации и привязанной к ней истории запросов.
        • Должен быть указан срок хранения запроса.
      • небольшой набор фильтров.
    • Непонятный интерфейс для работы с историек. Все “files”. Нужна хотя бы дата.
    • Фильтры: погода, источник, прямые измерения/калибровка. - Д.Н.
      • Общий метод работы с фильтрами и введение новых.
        • Описание всего списка фильтров. - отдельная страница.
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN. - Первый запуск энкодера.
    • GAN - Ю.Д.
      • В астрономии - пытаются применить GAN сети для IACT.
      • Пробовали применить для чистки изображений солнца, галактик и т.п.
      • Бытрое моделирование в LНС.
    • Идентификация в случае воблинга. Статус. - Д.Ж., Е.П, - проводится анализ результатов.
      • А.К. Сравнить два случая.
        1. идентифицировать со случайным смещением (без учета угла альфа, т.е. мы не знаем полжение изображения), затем отбор по углу альфа.
        • Сравнить с “лесом” - в ближайшее время - проводится анализ.
  • Результаты 2020
    1. Выполнены комплексные исследования системы AstroDS на предмет подтверждения работоспособности и эффективности заложенных при ее реализации модели управления данными, исследовано поведение в различных условиях эксплуатации, в том числе в условиях стресс-тестов. - отв. Д.Н.
    2. Выполнен анализ результатов этих исследований и на их основе проведена оптимизация системы AstroDS. - отв. А.К.
    3. Разработан метод взаимодействия системы AstroDS c хранилищами, использующих модель хранения данных на основе реляционных баз данных. Проведена интеграция таких хранилищ и системы AstroDS. - отв. А.М.
    4. Повышена точность определения параметров ШАЛ методом машинного обучения. Обобщен данный метод на случай использования экспериментальных данных, поступающих одновременно с нескольких телескопов. - отв. Е.П.
    5. Разработана методика использования генеративно-состязательных сетей для быстрого моделирования событий области гамма-астрономии как замена традиционных Монте-карло генераторов. - отв. А.К.
    6. Продолжено развитие портала astroparticle.online. В частности, будет добавлен инструмент анализа данных с использованием метода машинного обучения и предоставлено пользователям возможность загрузить собственные данные для анализа. - отв. Ю.К.
    7. Представлены доклады с результатами работы на ведущих российских и международных конференциях. - отв. ВСЕ
    8. Опубликованы итоговые результаты работы по проекту в журнале из Q1. - отв. А.К.
  • АОВ
    • Заявится на конференции CSP-2020 (ВШЭб Москва) и GRID-2020 (ОИЯИ, Дубна) -см. events.
    • следующее совещание - 4 июня.

Совещание 21.05.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева,А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020
    • Главное - программа. На сегодня (26.05) - 15 докладов.
    • Список ожидаемых докладов
      3. Михайлов,Токарева. Интеграция KCDC и  AstroDS
      4. Постников. CNN для идентификации частиц. Последние результаты.
      5. Журов. CNN классификации согласно исследованию диффузного/не диффузного гамма.
    • Обновить список тем конференции - Андреас.
    • У меня в firefox регистрационная форма не сформатирована.
  • Astroparticle.online - Ю.К.
    • Текущий статус.
    • Анализ данных. - В принципе все задачи решены.
      • Документация к скрипту, выводящего изображения событий. - Д.Ж.
        • Установ, запуск, пример использования.
      • Провести анализ 20 реальных событий. - Д.Ж.
  • AstroDS - Д.Н. - gridmsu33
    • Текущий статус.
      • Асинхронный достпуп к KCDC. - ориентировочно - пятница. - В.Т.
        • Сразу отдавать имя файла, но он может получиться пустым.
        • Обработка ошибки доступа к сервису.
          • Список исключений (не готов, сбой обработки и т.п.) и возможные реакции.
    • Фильтры: погода, источник, прямые измерения/калибровка. - Д.Н.
      • Общий метод работы с фильтрами и введение новых.
  • Neural network
    • Журов: Статус задачи чистки изображений IACT с помощью CNN. - Пока никак.
    • Идентификация в случае воблинга. Статус. - Д.Ж., Е.П,
      • А.К. Сравнить два случая.
        1. идентифицировать со случайным смещением (без учета угла альфа, т.е. мы не знаем полжение изображения), затем отбор по углу альфа.
        • Сравнить с “лесом” - в ближайшее время - следующее совещание.
  • АОВ
    • следующее совещание - 28 мая.

Совещание 14.05.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская,Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020
    • Даты: 8-10 июня. – внести в раздел важные даты.
    • Бюллетень- он-лайн, ZOOM.
    • Список ожидаемых докладов
      0. Крюков. Статус проекта APPDS. -- зарегистрирован
      1. Казарина. Развитие портала
      2. Нгуен. AstroDS - текущий статус
      3. Токарева. Интеграция KCDC и  AstroDS
      4. Постников. CNN для идентификации частиц. Последние результаты.
      5. Журов. CNN классификации согласно исследованию диффузного/не диффузного гамма.
      6? Поляков. Применение GAN для генерации изображений IACT.
    • Как посмотреть полный список?
    • Обновить список тем конференции - Андреас.
    • У меня в firefox регистрационная форма не сформатирована.
  • Astroparticle.online - Ю.К.
    • Текущий статус.
    • Анализ данных.
      • Что означает, что вероятность больше 1? - там e^-xx
      • Провести анализ 20 реальных событий. - Д.Ж.
  • AstroDS - Д.Н. - gridmsu33
    • Текущий статус.
      • Асинхронный достпуп к KCDC. - ориентировочно - пятница.
        • Сразу отдавать имя файла, но он может получиться пустым.
      • Обработка ошибки доступа к сервису.
    • Фильтры: погода, источник, прямые измерения/калибровка.
  • Neural network
    • Поляков: GAN? - нового нет.
    • Журов: Статус задачи чистки изображений IACT с помощью CNN. Пока никак.
    • Идентификация в случае воблинга. Статус.
      • А.К. Сравнить два случая.
        1. идентифицировать со случайным смещением (без учета угла альфа, т.е. мы не знаем полжение изображения), затем отбор по углу альфа.
        • Сравнить с “лесом” - в ближайшее время - следующее совещание.
  • АОВ
    • следующее совещание - 21 мая.

Совещание 30.04.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020
    • Даты: 8-10 июня. – внести в раздел важные даты.
    • Список ожидаемых докладов
      0. Крюков. Статус проекта APPDS. -- зарегистрирован
      1. Казарина. Развитие портала
      2. Нгуен. AstroDS - текущий статус
      3. Токарева. Интеграция KCDC и  AstroDS
      4. Постников. CNN для идентификации частиц. Последние результаты.
      5. Журов. CNN классификации согласно исследованию диффузного/не диффузного гамма.
      6? Поляков. Применение GAN для генерации изображений IACT.
    • Как посмотреть полный список?
    • Обновить список тем конференции - Андреас.
    • У меня в firefox регистрационная форма не сформатирована.
    • Пригласить кого-нибудь из ЦЕРНа! - А.К. - письмо направлено, но реакции пока нет.
    • Пригласить Кузьмичева (TAIGA)
  • Astroparticle.online - Ю.К.
    • Текущий статус.
    • Анализ данных.
      • Что означает, что вероятность больше 1? - там e^-xx
      • Провести анализ 20 реальных событий. - Д.Ж.
  • AstroDS - Д.Н. - gridmsu33
    • Текущий статус.
      • Асинхронный достпуп к KCDC.
        • Сразу отдавать имя файла, но он может получиться пустым.
      • Обработка ошибки доступа к сервису.
    • Фильтры: погода, источник, прямые измерения/калибровка.
  • Neural network
    • Поляков: GAN? - нового нет.
    • Журов: Статус задачи чистки изображений IACT с помощью CNN. Пока никак.
    • Идентификация в случае воблинга. Статус.
      • А.К. Сравнить два случая.
        1. идентифицировать со случайным смещением (без учета угла альфа, т.е. мы не знаем полжение изображения), затем отбор по углу альфа.
        • Сравнить с “лесом” - в ближайшее время - следующее совещание.
  • АОВ
    • следующее совещание - 14 мая.

Совещание 16.04.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020
    • Даты: 8-10 июня.
    • 5-6 докладов от членов гранта и примерно столько же от сторонних участников - все.
      • Список ожидаемых докладов разослан - А.К.
        0. Крюков. Статус проекта APPDS.
        1. Казарина. Развитие портала
        2. Нгуен. AstroDS - текущий статус
        3. Токарева. Интеграция KCDC и  AstroDS
        4. Постников. CNN для идентификации частиц. Последние результаты.
        5? Журов. Применение CNN для чистки изображений.
        6? Поляков. Применение GAN для генерации изображений IACT.
    • Страница конференции на indico в KIT - В.Т., Ю.К.
      • В overview добавить ссылку на инф. письмо.
      • У меня в firefox регистрационная форма не сформатирована.
      • Просьба всех зарегистрироваться.
      • Важные даты - добавить даты конференции.
      • Добавить другие разделы по аналогии с DLC-2019
        • Например про ZOOM.
    • Пригласить кого-нибудь из ЦЕРНа! - А.К.
  • Astroparticle.online - Ю.К.
    • Зеркало портала - пока карантин не будем трогать наши серверы.
    • Текущий статус.
    • Анализ данных.
  • AstroDS - Д.Н.
    • Текущий статус.
      • Обработка того, что KCDC недоступен.
    • Фильтры: погода, источник, прямые измерения/калибровка.
      • Е.К. - пришлет погодные данные сегодня-завтра.
  • Neural network
    • Поляков: пока нет.
    • Наличие программ чтения и визуализация картинок. - Д.Ж. сделает.
      • Срипт конвертации наш формат в hdf5 (python).
    • Журов: Статус задачи чистки изображений IACT с помощью CNN. Пока никак.
    • Идентификация в случае воблинга.
      • Е.П. - картинки как чистые, так и с шумом.
      • А.К. Сравнить два случая.
        1. идентифицировать со случайным смещением (без учета угла альфа, т.е. мы не знаем полжение изображения), затем отбор по углу альфа.
        2. сдвинуть источник в центр, провести идентификацию по всей совокупности.
        • Сравнить с “лесом” и т.п.

Совещание 09.04.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, В.Христюк, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020
    • Примерные даты: 2-3 июня. - Определились: 8-10 июня.
      • Сделать голосовалку - А.К. - Сделал.
    • 5-6 докладов от членов гранта и примерно столько же от сторонних участников - все.
    • Сделать страницу конференции на indico в KIT - В.Т., Ю.К. - Сделано.
      • В качестве прототипа взять информацию из предыдущей конференции.
      • Андреас: Пришлет ссылку в течении часа. - В.Т.
    • Подготовить информационное письмо - А.Ш. - Сделано.
      • Посмотреть - А.К.
      • Поговорить с Кореньковым - А.К. - Послал письмо.
      • Пригласить кого-нибудь из ЦЕРНа! - А.К.
    • Можно использовать zoom - А.К.(через ЦЕРН)
  • Astroparticle.online
    • Как сделать зеркало портала? - А.Ш., А.К. - А.Ш. прислал блоб.
      • А.Ш. прислал как это сделать с плагином для WP.
    • Обновлены новости. Добавлен материал в раздел popular science.
    • Анализ данных
      • сделать кнопку upload - сделано.
        • выгрузку результатов
        • скрипты для визуализации рещультатов.
      • +в процессе “угадайки” должен вестись текущий счет, а в конце показываться результат.- А.М.
        • убрать лишние нажатия
        • протокол работы.
  • AstroDS
    • Организовать скачивание данных с KCDC.- Д.Н.
      • Проверить возможность получения данных из нескольких источников.
        • Сделать тестовый источник с нужными МД. - А.М.
      • если KCDC недоступен, то MDC должен сообщить агрегатору, что сервис недоступен.
        • Пока этого нет - А.М.
    • Добавить фильтры: погода, источник, прямые измерения/калибровка.
      • В тестовом виде. -А.М.
      • Специальный запрос (API) к MDC, по которому будут отдаваться возможные параметры выбора с их типом (интервал, перечисление, т.п.), а также совместимость их с другими параметрами.
      • Между параметрами логика выбора “и”. Если нужно “или”, то два запроса.
      • Внутри одного параметра логика “или”. Например выбор нескольких источников одновременно. Пока не сделано.
    • Neural network
      • Дубенская: пока ничего.
      • Поляков: Статус задачи быстрой генерации изображений IACT с помощью GAN - прогресса нет. - читаю статью.
        • Поделиться ссылкой по GAN.
        • Наличие программ чтения и визуализация картинок. - Можно взять из репо.
      • Журов: Статус задачи чистки изображений IACT с помощью CNN - прогресса нет.
        • Е.П. - нужны картинки как чистые, так и с шумом.
      • Постников. Есть вопрос о идентификации частиц по последним семплам. - пока результата нет.
      • А.К. Провести обучение на этой выборке и проверить качество идентификации по сравнению с прямым анализом параметров Хиласа.
        • Точность 90%.

Совещание 02.04.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Ю.Казарина, Е.Коростелева, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, В.Токарева, Д.Журов.

  • DLC-2020
    • Будет проводиться on-line
    • Примерные даты: 2-3 июня. Сделать голосовалку - А.К.
    • 5-6 докладов от членов гранта и примерно столько же от сторонних участников - все.
    • Сделать страницу конференции на indico в KIT - В.Т., Ю.К.
      • В качестве прототипа взять информацию из предыдущей конференции.
    • Подготовить информационное письмо - А.Ш.
      • Поговорить с Кореньковым - А.К.
      • Посмотреть когда будет GRID-2020 - А.К.
    • Спросить Токарева как можно использовать zoom? - А.К.(ЦЕРН?)
  • Astroparticle.online
    • Как сделать зеркало портала? - А.Ш., А.К.
    • Обновлены новости. Добавлен материал в раздел popular science.
    • Анализ данных
      • сделатна кнопка upload - проверить.
      • +в процессе “угадайки” должен вестись текущий счет, а в конце показываться результат. - А.М.
      • +кнопка возврата на основную страницу - А.М.
      • +добавить краткую информацию радом с каждым изображением - Ю.К.
  • AstroDS
    • Организовать скачивание данных с KCDC.- Д.Н.
      • Проверить возможность получения данных из нескольких источников.
        • Сделать тестовый источник с нужными МД. - А.М.
      • если KCDC недоступен, то MDC должен сообщить агрегатору, что сервис недоступен.
    • Добавить фильтры: погода, источник, прямые измерения/калибровка.
      • Специальный запрос (API) к MDC, по которому будут отдаваться возможные параметры выбора с их типом (интервал, перечисление, т.п.), а также совместимость их с другими параметрами.
      • Между параметрами логика выбора “и”. Если нужно “или”, то два запроса.
      • Внутри одного параметра логика “или”. Например выбор нескольких источников одновременно. Пока не сделано.
    • Neural network
      • Поляков: Статус задачи быстрой генерации изображений IACT с помощью GAN - прогресса нет. - читаю статью.
        • Наличие программ чтения и визуализация картинок. - Можно взять из репо.
      • Журов: Статус задачи чистки изображений IACT с помощью CNN - прогресса нет.
        • Е.П. - нужны картинки как чистые, так и с шумом.
      • Постников. Есть вопрос о идентификации частиц по последним семплам. - пока результата нет.
      • А.К. Провести обучение на этой выборке и проверить качество идентификации по сравнению с прямым анализом параметров Хиласа.

Совещание 30.03.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Е.Коростелева, М.-Д. Нгуен, С.Поляков, Е.Постников, Ю.Казарина, Д.Журов, А.Михайлов, А.Шигаров.

  • DLC-2020
    • Будет проводиться on-line
    • Примерные даты: 2-3 июня. Сделать голосовалку - А.К.
    • 5-6 докладов от членов гранта и примерно столько же от сторонних участников.
    • Сделать страницу конференции на indico в KIT - В.Т.
      • В качестве прототипа взять информацию из предыдущей конференции.
    • Подготовить информационное письмо - А.К.
      • Поговорить с Кореньковым - А.К.
      • Посмотреть когда будет GRID-2020
  • Astroparticle.online
    • Обновлены новости.
    • Анализ данных
      • сделать кнопку upload - А.М.
      • в процессе “угадайки” должен вестись текущий счет, а в конце показываться результат. - А.М.
      • кнопка возврата на основную страницу - А.М.
      • добавить краткую информацию радом с каждым изображением - Ю.К.
  • AstroDS
    • Организовать скачивание данных с KCDC.- Д.Н.
      • Проверить возможность получения данных из нескольких источников.
        • Сделать тестовый источник с нужными МД. - А.М.
    • Добавить фильтры: погода, источник, прямые измерения/калибровка.
      • Специальный запрос (API) к MDC, по которому будут отдаваться возможные параметры выбора с их типом (интервал, перечисление, т.п.), а также совместимость их с другими параметрами.
      • Между параметрами логика выбора “и”. Если нужно “или”, то два запроса.
      • Внутри одного параметра логика “или”. Например выбор нескольких источников одновременно.
    • Neural network
      • Поляков: Статус задачи быстрой генерации изображений IACT с помощью GAN - прогресса нет.
      • Журов: Статус задачи чистки изображений IACT с помощью CNN - прогресса нет.
      • Постников. Есть вопрос о идентификации частиц по последним семплам.
      • А.К. Провести обучение на этой выборке и проверить качество идентификации по сравнению с прямым анализом параметров Хиласа.

Совещание 12.03.2020

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Е.Коростелева, М.-Д. Нгуен, С.Поляков, Е.Постников, Ю.Казарина, Д.Журов, А.Михайлов, А.Шигаров, В.Христюк, В.Токарева, Д.Костюнин.

  • Astroparticle.online
    • Добавлены фото на титульную страницу.
    • В разделе “анализ данных” будет сделана возможность выгрузки своих данных для анализа.
  • AstroDS
    • Организовать скачивание данных с KCDC.
      • А.М. - проверить что данные можно скачать.
    • Добавить фильтры: погода, источник, прямые измерения/калибровка.
      • А.К. - Восстановить монтировку k1, k2, k12(?) на lcg86
    • Выбор данных по МД.
      • Сделать специальный запрос (API) к MDC, по которому будут отдаваться возможные параметры выбора с их типом (интервал, перечисление, т.п.), а также совместимость их с другими параметрами.
      • Логика выбора “и”. Если нужно “или”, то два запроса.
    • Neural network
      • Поляков - прогресса нет
      • Журов - прогресса нет
      • Постников. Сделал набор для сдвинутых изображений со случайным положением на окружности 1.3 и 0.3 градуса.
      • А.К. Провести обучение на этой выборке и проверить качество идентификации по сравнению с прямым наблюдением.
appds/meetings.txt · Last modified: 22/10/2020 11:55 by kryukov