====== 2018 ====== [[tmatrix18|Матрица задач]], [[todo|TODO]], [[metrics|Критерии]] ===== 13/12/2018 Отменяется ===== **Совещание отменяется.** ===== 6/12/2018 ===== Просьба проголосовать за даты [[https://doodle.com/poll/thp3prsdvfg2nfei|совещания в Иркутске]] весной 2019г. ===== 29/11/2018 - ОТМЕНЯЕТСЯ ===== Следующее совещание - 6.12.2018 в 11:00. ===== 22.11.2018 ===== **Присутствуют:** \\ Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов * Отчет 2018г. * Опубликовано 2 статьи. Направлено в печать - 6. * Просьба ответственных за публикации в трудах ARENA (Ю.Казарина) и Барнаул (Е.Постников) запросить оргкомитеты конференций прислать подписанный скан письма с указанием того, что статья принята, где она будет опубликована и примерно когда. * Для статей в трудах конференции GRID-2018 в Дубне такие письма получены. * Все статьи надо выложить в [[http://arXiv.org]], предварительно убрав из текста указания на выходные данные статей, если такие имеются. * Отразить статус публикации на wiki в разделе "публикации". * Отчет содержит 3 раздела - Выполненные работы - до 10 стр. - Полученные результаты - до 5 стр. - План работ и ожидаемые результаты на 2019г - до 5 стр. * Просьба подготовить материалы для отчета (3 страницы) * Распределенное хранилище данных - А.Крюков, Нгуен * Машинное обучение - Е.Постников * Бинарные форматы - А.Шигаров * Открытые данные (Hubzero) - Ю.Казарина. * Прислать исправленный отчет по договору с ИГУ * Все материалы помещать в redmine (DMS → Otchet-2018) * Конференции 2019г. * Прислать в каких конференциях Вы хотели бы участвовать. Примерную тему доклада. * Конференции без доклада или труды которой на индексируются в WoS или Scopus, не рассматриваются. * ACAT-2019. Срок подачи абстракта до **1 декабря 2018г**. Можем послать 2-3 человека. * Отчет по договору с Бычковым __подписан__ * Сервер с ГПУ * CentOS-7.5, CUDA toolkit 10. * В начале следующей неделе будут заведены учетные записи. * Прочее. * Выложить заявку в redmine. - сделано ===== 18.10.2018 ===== **Присутствуют:** \\ Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов * Публикации * Труды конференции GRID-2018 в Дубне. Срок подачи до **06.11.2018**. * Есть изменения в требованиях по подготовке статей. Подробности в письме оргкомитета. * Выложены в Redmine: Нгуеи, Токарева, Шигаров. **Отсутствует** - Постников (срок 21.10.18) * Проверить наличие ссылки на грант (кроме В.Т.) * Внести в список автором всех. Список участников для публикаций [[grants:archive:appds:papers|здесь]]. * Ю.Казарина - обновить отчет по Hubzero. Срок - 5.11.18 25.10.2018. * Отчет по договору с Бычковым - 20.10.18 * Face-to-face совещание в Карлсруэ 29-30 октября 2018г. * Участники, которые едут в Германию: А.Крюков, Ю.Казарина, Е.Постников. * Названия докладов и аннотации к ним. Срок - 15.10.18 * Шигаров - Бинарные данные. Презентация в redmine * Крюков - Статус работ по гранту. * Казарина - Hubzero * Постников - ML * Нгуен - распределенное хранилище. * ???? - KCDC * Все материалы помещать в redmine (DMS → F2F-2018) * Подготовить драфт программы - А.Хонгс. * Оргвопросы (проход на территорию, место проведения, контакты) - отв. Виктория. * Прочее * Выплаты надбавок. * Приказ о выплате выпущен. **Деньги должны поступить вначеле ноября** ===== 27.09.2018 ===== **Присутствуют:** \\ Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов * Публикации * Трудов конференции GRID-2018 в Дубне. Срок подачи до **14.10.2018**. Отв. Е.Постников. Драфт, срок - **1.11.18** * Е.Постников, Барнаул, JoP * Журнал DATA. Драфт - 5.10.18. Отв. Шигаров. * Просьба добавить рисунки по разделам. * Драфты статей до **01.10.18** в Redmine (DMS->Papers->_название конференции_) * Туда же поместить уже опубликованные работы (WoS, Scopus!), в которых есть ссылки на грант. * Подготовка отчета за 2018г. * Ю.Казарина - обновить отчет по Hubzero. Срок - 5.11.18. * Отчет по договору с Бычковым - 20.10.18 * Face-to-face совещание в Карлсруэ 29-30 октября 2018г. * Участники, которые едут в Германию: * А.Крюков * Ю.Казарина * Е.Постников. * Прислать сканы билетов для оформления командировок. * Прислать названия докладов и аннотации к ним. Срок - 15.10.18 * Шигаров - Бинарные данные * Крюков - Статус работ по гранту. * Казарина - Hubzero * Постников - ML * Нгуен - распределенное хранилище. * ???? - KCDC * Все материалы помещать в redmine (DMS -> F2F-2018) * Прочее * Готовятся выплаты надбавок. Постараемся в сентябре оформить. * Унифицировать сайт проекта. * Тем не менее, российская чать останется на русском. ===== 21.09.2018 ===== **Присутствуют:** \\ Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов * Публикативная активность * Публикации трудов конференции GRID-2018 в Дубне. Срок подачи до **14.10.2018** * Драфты статей - **01.10.2018** * Подготовка убликаций к печати * Е.Постников, Барнаул, JoP * A.Shigarov - журнал DATA * Просьба добавить рисунки по разделам. * [[grants:archive:appds:metrics|Формирование списка]] требований для системы хранения данных. * Прислать акты. * Подготовка отчета за 2018г. * Ю.Казарина - обновить отчет по Hubzero * Face-to-face совещание в Карлсруэ 29-30 октября 2018г. * Участники: * А.Крюков * Ю.Казарина * ??? * Прилать приглашения! * Годовое совещание по гранту в Моске (ноябрь-декабрь) * Прочее * Готовятся выплаты надбавок. Постараемся в сентябре оформить. * Унифицировать сайт проекта. * Тем не менее, российская чать останется на русском. ===== 06.09.2018 ===== **Присутствуют:** \\ Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов * Публикативная активность * Доклады на конференция GRID-2018 в Дубне * D.Shipilov, Application of Hubzero platform for the educational process in astroparticle physics * M.D.Nguyen, A distributed data warehouse system for astroparticle physics. * A.Kryukov, USING BINARY FILE FORMAT DESCRIPTION LANGUAGES FOR VERIFYING RAW DATA IN ASTROPARTICLE PHYSICS EXPERIMENTS (Poster) * E.Postnikov, Particle identification in ground-based gamma-ray astronomy using convolutional neural networks * Подготовка убликаций к печати * Е.Постников, Барнаул - Gamma/Hadron Separation in Imaging Air Cherenkov Telescopes Using Deep Learning Libraries TensorFlow and PyTorch, JoP * A.Shigarov - журнал DATA * Формирование списка требований для системы хранения данных. * Просьба либо прислать по почте, либо внести самостоятельно в раздел сайта [[grants:archive:appds:metrics|Критерии]] * Алгоритмы агрегации данных, постановка задачи. * Подготовка отчета за 2018г. * Прочее * Договор с ИГУ. Акты должны быть подписаны (и присланы нам сканы) до 10 сентября. * Сразу после этого деньги будут переведены в ИГУ. * План командировок. * Face-to-face совещание в Карлсруэ в октябре. * Зафиксировать даты на этой неделе. * Кто поедет в командировку. * Сформировать список докладов, в т.ч .дистанционных * Годовое совещание по гранту в Моске (ноябрь-декабрь) * Готовятся выплаты надбавок. Постараемся в сентябре оформить. ===== 05/07/2018: ОТМЕНЕН ===== Следующий митинг состоится в четверг, 12 июля в 11:00 МСК. ===== 28.06.2018 ===== **Присутствуют:** \\ Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов * Публикативная активность * Доклады на конференция GRID-2018 в Дубне (**срок подачи аннотаций - 29 июня!**) * J.Kazarina, Application of Hubzero platform for the educational process in astroparticle physics * M.D.Nguyen, A distributed data warehouse system for astroparticle physics. * A.Shigarov, USING BINARY FILE FORMAT DESCRIPTION LANGUAGES FOR VERIFYING RAW DATA IN ASTROPARTICLE PHYSICS EXPERIMENTS * A.Kryukov, Architecture of distributed storage for multi-messenger analyses in astroparticle physics * Создан репозиторий papers (git@theory.sinp.msu.ru:papers), предназначенный для совместной разработки статей в Техе. * Т.к. мастер - это что-то не понятное, а делать для каждой статьи свое репозиторий не очень хорошая идея, то каждая статья - это отдельный branch, который никогда не будет сливаться с другими бранчами. * Если кого забыл внести в список пользователейй репозитория, то просьба прислать письмо об этом. * Прочее * План командировок. * Face-to-face совещание в Карлсруэ осенью? * Годовое совещание по гранту в Моске (ноябрь-декабрь) * О следующем совещании будет объявлено дополнительно. ===== 14/06/2018 ===== **Присутствуют:** \\ Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов * Новости * Совещание коллаборации ТАЙГА в Дубне. * Были сделаны сообщения по ML И работе с бинарными данными. * Положительно восприняты сообществом. * Публикативная активность * Доклады на конференции в Барнауле * Постер по бинарным данным представит Д.Ж. * Доклады на конференция GRID-2018 в Дубне (**срок подачи аннотаций - 29 июня!**) * Использование Hubzero как образовательный ресурс в астрофизике частиц. * Автоматический разбор бинарных данных экспериментов TAIGA/TUNKA * Использование для генерации метаданных * Распознование типа частиц в астрофизическом эксперименте с помощью ML * Принципы организации распределенного хранилища экспериментальных данных в астрофизике частиц. * Обязательно: благодарность гранту! * Прочее * План командировок. * Face-to-face совещание в Карлсруэ осенью? * Годовое совещание по гранту в Моске (ноябрь-декабрь) * Следующее регулярное совещание состоится 21 июня, четверг в 11:00 по Москве. ===== Объединенное совещание 30.05.18 ===== ==== 2018.05.30 8:30 GMT (Skype) ==== 10:30 Karlsruhe\\ 11:30 Moscow\\ 16:30 Irkutsk\\ === Participants === Demichev, Dubenskaya, Haungs, Kazarina, Korosteleva, Kostunin, Kryukov, Nguyen, Mikhailov, Polyakov, Postnikov, Shigarov, Shipilov, Tokareva, Zhurov. === Topics === * Introduction new PhD student - V.Tokareva from 01/07/18 * Status of datacenter and joint KG/Tunka analysis {{grants:archive:appds:restricted:kostunin-datacenter-skype20180530.pdf|Slides}} * Test: [[http://kcdc.icc.ru]] * Serialization and deserialization of binary data {{:appds:restricted:mikhailov_ks_slides.pdf|Slides}} * O.Fedorov check a lot of files. * A.K. This tool can use for automatic form metadata of primary data. * Hubzero (static data + community) {{grants:archive:appds:restricted:hubzero_community.pdf|Slides}} * A.K. Use Let's encrypt CA for the sute. * Identification of particles with ML * A.K. It is necessary to make a conclusion of the first stage. * Publication in [[http://www.mdpi.com/journal/data/special_issues/Astro_Geophy|Special issue of "Data" journal]] {{grants:archive:appds:restricted:meetings:data_journal_cfp.pdf|Slides}} * Deadline is 16/09/18. Responsible person - A.Shigarov. * The TAIGA collaboration meeting in Dubna * A.K.: E.Korosteleva must prepare the report about binary data on . \\ E.Postnikiv Must prepare the report about ML. * ECRS contributions * Name of the project * **astroparticle,online** * AOB * Next regular meeting of Russian team - 14.06.18 * Please, send me (A.K.) the information about publications, reports and so on where we say thank's to the RSF. ===== 17/05/2018 ===== **Присутствуют:** \\ Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов * Новости * Установка KCDC. Текущий статус. Отв. Ю.К., Д.К. * //Д.К. Разрабатотчики готовят новый релиз под VMWare.// * Hubzero. Отв. Ю.К. * Предложения по использованию ресурса и его контента. - Ю.К. * Использования ресурса для студентов, участвующих в летней школе на Байкале. * //Д.К. Используется устаревший движок.// * Методы машинного обучения. Текущее состояние - Е.П. * Сравнение на выборках после клининга. * //Е.П. Есть вопрос об уровне шумов// * //А.К. Описать методику работы с PyTorch и TF.// * Чтение бинарных данных. Текущий статус. - А.Михайлов * Библиотеки под популярные языки (С/С++, Fortran, Python), а также тестовые программы, которые делают следующее: * читают бинарный файл * пишут бинарный файл * по хешу можно убелиться, что входной и выходные файлы идентичны. * Цель: дать пример использования и быть уверенным, что все работает правильно. * //А.М. Федоров провел тесты на примере файлов TUNKA-Rex// * //Д.К. Можно использовать GRANDE// * **Прочее** * Договор с ИГУ - сегодня будетнаправлен на подпись в Иркутск * //А.К. К сожалению, потребовали сделать ряд доработок.// * Совместный митинг с немецкими коллегами в мае - **30 мая**. * С нашей стороны предлагаю следующие сообщения (10 мин, 3-4 слайда) * Распознование типа частиц метоом ML - How to * Серилизация и десерилизация бинарных астрофизических данных - How to * HubZero - Ю.К. * KCDC - сроки релиза? ===== 26/04/2018 ===== **Присутствуют:** \\ Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитирий Нгуен, Поляков, Постников, Шигаров, Шипилов * Новости * Совместный митинг с немецкими коллегами в мае - Д.К. * Дата совещания - 24 мая. Запасной день - 30 мая. * [[appds:restricted:name|Предложения по названию проекта]] * Результаты голосования будут подведены на совместном совещании в мае. * Договор с ИГУ пока на утверждении. * Установка KCDC. Отв. Ю.К., Д.К. * Должен получить образ под VMWare. * Установка Hubzero. Отв. Ю.К. * Предложения по использованию ресурса и его контента. * Подготовить на 2-3 стр. предложения - Ю.К. * План использования ресурса для студентов, участвующих в летней школе на Байкале. * [[http://astronu.jinr.ru/school/current|ISAPP-Baikal Summer School "Exploring the Universe through multiple messengers"]] * The deadline for applications is **APRIL 30, 2018.** * Методы машинного обучения. Модератор - Е.П. * Уточненная процедура сравнения. * Открыть тестовую выборку, чтобы самостоятельно проанализировать результаты. * Сравнение на выборках после клининга. * Подготовлена соответствующая выборка. * Провести сравнение качества традиционных методов и нейронных сетей. * Вопрос шумов. * Шумы моделируется реальные, насколько это возможно в используемой модели. * Нет зависимости от времени года и т.п. * А.К. - Это медленная зависимость, которой не этом этапе можно и нужно пренебречь. * Отклики детектора моделируются по Пуассону. * Описание бинарных данных. Обсуждение. * А.К. Необходимо сделать для 2-3 наиболее популярных языков (С/С++, Fortran, Python) библиотеки, а также тестовые программы, которые делают следующее: * читают бинарный файл * пишут бинарный файл * по хешу можно убелиться, что входной и выходные файлы идентичны. * Цель: дать пример использования и быть уверенным, что все работает правильно. * **Прочее** * О выделении вычислительного сервера для целей проекта. - А.К. * О плане совещаний на май. * Следующее совещание 17 мая. Будет дополнительно сообщено по почте. === Решения === * Предложения по контенту Hubzero для летней школы на Байкале. Отв. - Ю.К., срок - 17.05.18 * Подготовить примеры использования читалок бинарных файлов для C/C++, Fortran, Python. Отв. - А.М., срок - 17.05.18. * Сделать очищенный набор телескопных событий и провести сравнение традиционного подхода и NN. Отв. - Е.П., Д.Ж., С.П.б срок - 17.05.18 * Выделить место для файлов с телескопными событиями. Отв. А.К., срок - 5.05.18. ===== 19/04/2018 ===== **Присутствуют:** \\ Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Михайлов, Поляков * Новости * Совместный митинг с немецкими коллегами в мае - Д.К. * Проголосовать за дату совещания - [[https://doodle.com/poll/mbm7vtpnybfznazf| Doodle]] * [[grants:archive:appds:restricted:name|Предложения по названию проекта]] * Результаты голосования. * Договор с ИГУ пока на утверждении. * Дело сдвинулось. Жду подписания на следующей неделе. * Установка KCDC. Отв. Ю.К., Д.К.: Должен быть предоставлен доступ к серверу. * Сейчас готовится образ WMWare c KCDC с ограниченной БД. * Установка Hubzero. Отв. Ю.К. * Кто-нибуль пробовал зайти? -- А.К. * Надо сформулировать что мы хотим от этого ресурса и содержание контента. * Есть задумка сделать что-то для студентов, участвующих в летней школе на Байкале. * Методы машинного обучения. * Предварительные результаты качества распознования PyTorch, TensorFlow и традиционные методы - Е.П. * {{grants:archive:appds:postnikov-180419.pdf |Презентация}} * С.Поляков. Необходимо уточнить процедуру сравнения. * А.К. Сделать сравнение на выборках после клининга. * Открыть тестовую выборку, чтобы самостоятельно проанализировать результаты. * Участие а конференции в Барнауле. * **Прочее** * Напомню о том, что надо регулярно выкладывать программы, разрабатываемые в проекте, в репозитории. - А.К. ===== 2018.04.06 8:30 GMT (Skype) ===== 10:30 Karlsruhe\\ 11:30 Moscow\\ 16:30 Irkutsk\\ === Participants === * Haungs, Kazarina, Kostunin, Kryukov, Mikhailov, Polyakov, Postnikov, Shigarov, Nguyen === Topics === * The technical implementation of KCDC and which parts we will use (D. Kostunin) {{ grants:archive:appds:restricted:kostunin-cordus-skype20180406.pdf }} * [[name|Name of the project]] * Topics for new PhD student in KIT * Tunka data * Author list * Hubzero content === Slides === * {{ grants:archive:appds:restricted:pytorch-180406.pdf | PyTotch}}. April phreliminary results - Polyakov * {{ grants:archive:appds:restricted:first_results-180406.pdf |ML. First results}} - Postnikov * {{ grants:archive:appds:restricted:kazarina._hubzero_content-180406.pdf |Hubzero. Current status}} - Kazarina * {{ grants:archive:appds:restricted:zhurov-180406.pdf |TensorFlow}} - Zhurov === Protocol === * New PhD student in KIT: Viktoria Tokareva. Second affiliation: LNP JINR? Tkachev group? * KCDC: coherent development, further improvements * Hubzero: brainstorm with ideas, public release before ECRS2018 (ask for poster there?), beta-testing on Baikal-ISAPP school * Tunka data: has to be discussed * ANN: Tensorflow vs pyTorch: same number of epochs for fair test, increase training dataset in 10-100 times * Name of the project: second round * Check KIT participants in appds mail list ---- ===== 12 марта 2018 ===== **Совещание отменяется.** ===== 6 марта 2018 ===== Совместное совещание участников проекта. [[grants:archive:appds:restricted:meetings#gmt_skype|Ссылка на программу]] ===== 29/03/2018 ===== **Присутствуют:** \\ Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Поляков, Михайлов. * Новости * Собрать заявки на публикации по проекту. - Все * Матрица задач. - А.К. [[tmatrix|Обновленная матрица]] * Дополнений не поступило. * Договориться о совместном митинге с немецкими коллегами в апреде - Д.К. * Проголосовать за дату совещания - [[https://doodle.com/poll/mbm7vtpnybfznazf| Doodle]] * **Результаты голосования: 6 апреля, 11:30 МСК.** * Резервный день - 9 апреля. * [[grants:archive:appds:restricted:name|Предложения по названию проекта]] (можно несколько). * Сегодня открою голосование. * Гражданско-правовое соглашение с Бычковым. Подписано. * Передан с Будневым. * Договор с ИГУ пока на утверждении. * Выложить все программы, разрабатываемые в проекте, в репозитории. - А.К. * Нет фалов: simm, astropm, kcdc, hubzero, tflow, astrods, dataformat * Есть файлы: [[https://theory.sinp.msu.ru/redmine/projects/appds/repository/torch|torch]] * Установка KCDC. Отв. Ю.К., Д.К.: Должен быть предоставлен доступ к серверу. * Это plugin to Dgango. Пока это не работает. * Надо настроить морду. * Пока нет данных. * Установка Hubzero. Отв. Ю.К. * Можно зайти на сайт и зарегистрироваться. * Сделать "морду" в соответствии с проектом. * Начать наполнение сайта учебно-научными материалами. * Методы машинного обучения. * Разослано предложение по топологии сетки и обучающему набору. * В качестве алгоритма перехода от гексагональной структуры к прямоугольной используем косоугольные координаты. * Все эти алгоритмы - просто порядок нумерации ячеек. * Критерии качества распознования? * **6 марта - мини отчет по сравнению инструментария.** * **Прочее** ===== 22/03/2018 ===== **Присутствуют:** \\ Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Поляков, Михайлов. * Новости * Собрать заявки на публикации по проекту. - Все * Провести ревизию матрицы задач. - А.К. [[grants:archive:appds:tmatrix|Обновленная матрица]] * Договориться о совместном митинге с немецкими коллегами в апреде - Д.К. * Проголосовать за дату совещания - [[https://doodle.com/poll/mbm7vtpnybfznazf| Doodle]] * [[grants:archive:appds:restricted:name|Предложения по названию проекта]] (можно несколько). * Гражданско-правовое соглашение с Бычковым. Подписано. * Передан с Будневым. * Завести страницу со списком компьютеров, используемых в проекте. * [[https://theory.sinp.msu.ru/redmine/projects/appds/wiki/Hardware|Hardware]] * Выложить все программы, разрабатываемые в проекте, в репозитории. - А.К. * Нет фалов: simm, astropm, kcdc, hubzero, tflow, astrods, dataformat * Есть файлы: [[https://theory.sinp.msu.ru/redmine/projects/appds/repository/torch|torch]] * Установка KCDC. Отв. Ю.К., Д.К.: Должен быть предоставлен доступ к серверу. * Установка Hubzero. Отв. Ю.К. * Первисная установка была произведена. См. ссылку. * Методы машинного обучения. * Согласовать топологию сетки и обучающий набор. * Поляков должен разослать через список начальное предложение. * В качестве алгоритма перехода от гексагональной структуры к прямоугольной используем косоугольные координаты. * Критерии качества распознования? * Билеты. 114 Task New Normal Подготовить доклад по Katai Strcut A. Mikhailov 03/19/2018 02:59 PM 108 Task New Normal Спецификация формата данных Grande A. Mikhailov 03/17/2018 10:44 AM 107 Task New Normal Спецификация формата данных Tunka-133 A. Mikhailov 03/17/2018 10:43 AM 106 Task New Normal Спецификация формата данных IACT A. Mikhailov 03/17/2018 10:43 AM 103 Task New Normal Metadata format version 1.0 D. Kostunin 03/16/2018 12:04 PM 89 Task New Normal digital object approach D. Kostunin 02/21/2018 11:46 AM 60 Task New Normal Assign astroparticle.online to hubzero virtual server D. Kostunin 03/17/2018 09:46 AM 51 Task New Normal Add H.-related author list to wiki D. Kostunin 03/20/2018 09:04 AM 50 Task New Normal Add H.-related aknowledgements to wiki page A. Haungs 02/05/2018 02:20 PM 23 Task New Normal Сравнение пакетов Torch и TensorFlow J. Dubenskaya 03/20/2018 12:08 PM 12 Task New Normal Исследовательский стенд J. Dubenskaya 02/13/2018 12:49 PM 11 Task New Normal Установка HubZERO J. Kazarina 03/15/2018 08:32 AM * **Прочее** ===== 15/03/2018 ===== **Присутствуют:** \\ Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Поляков. * Новости * [[http://russianscdays.org/|Russian Supercomputing Days]]. Conference and Exhibition Working Days: September 24-25, 2018. //Important days: April 1 - abstract submission// * [[https://indico.jinr.ru/conferenceDisplay.py?confId=447|Grid'2018]]. 10-14 Sep. 2018, JINR, Dubna. //Important days: June 29 - abstract submission// * Итоги Kick-off совещание по проекту в Москве: week of //5-9 March 2018//. * Согласование программ исследований российской и немецеой сторон. * Уточнение групп, выполняющие те или иные задачи. * Уточненная архитектура распределенного хранилища астрофизических данных. * Метаданные и работа с ними. * Обсудить возможность/необходимость выборки событий из файлов, а не только выборка файлов. * Машинное обучение: Torch, TensorFlow - применение в астрофизике частиц, первый опыт развертывания и использования. * Форматы данных KASCADE и TUNKA: проблемы объединения для совместного анализа. * **Организация работ по гранту** * Гражданско-правовые соглашение. Должно быть подписано сегодня. * Договор с ИГУ пока на согласовании в ректорате. * **Инфраструктура проекта** * Git. Репозитории созданы. Требуется уточнение списков участников, имеющих право на запись. * Все программы, которые разрабатываются в проекте должны быть выложенв в git! * Milestones. К сожалению, нужный для нашей версии плагин пока не готов. * Установка KCDC. Отв. Ю.К., Д.К. Текущий статус. * Установка Hubzero. Отв. Ю.К. Текущий статус. * Методы машинного обучения. * Пакет Torch - С.П. Текущий статус. * Пакет TensorFlow - Д.Ш. и Д.Ж. Текущий статус. * Следующий этап: сравнение двух инт=струментариев. * Согласовать топологию сетки и обучающий набор. * В качестве алгоритма перехода от гексагональной структуры к прямоугольной используем косоугольные координаты. * Билеты. # Tracker Status Priority Subject Assignee Updated 89 Task New Normal digital object approach D. Kostunin 02/21/2018 11:46 AM 78 Task New Normal Конференция 26th E+CRS / 35th RCRC. D. Shipilov 02/11/2018 11:10 PM 65 Task New Low Translate main wiki page to English D. Kostunin 02/06/2018 03:25 PM 60 Task New Normal Assign astroparticle.online to hubzero virtual server D. Kostunin 02/22/2018 10:08 PM 52 Task New Normal Add H.-related people to mail list A. Haungs 02/05/2018 02:20 PM 51 Task New Normal Add H.-related author list to wiki 02/05/2018 02:20 PM 50 Task New Normal Add H.-related aknowledgements to wiki page A. Haungs 02/05/2018 02:20 PM 23 Task New Normal Сравнение пакетов Tourch и TensorFlow J. Dubenskaya 02/28/2018 06:13 AM 21 Task New Normal ОсвоенИе пакета ML Tourch J. Dubenskaya 02/08/2018 11:12 PM 20 Task New Normal Алгоритмы агрегации данных A. Shigarov 01/29/2018 11:50 PM 19 Task New Normal Формат данных KASCADE D. Kostunin 02/06/2018 03:26 PM 12 Task New Normal Исследовательский стенд J. Dubenskaya 02/13/2018 12:49 PM 11 Task New Normal Установка HubZERO J. Kazarina 03/15/2018 08:32 AM 76 Task In progress Normal Установка KCDC J. Kazarina 02/23/2018 03:25 PM 75 Task In progress Normal HubZero J. Kazarina 02/22/2018 08:50 AM 73 Task In progress High Договор с Бычковым A. Kryukov 03/04/2018 08:48 AM 72 Task In progress High Договор с ИГУ A. Kryukov 03/04/2018 08:53 AM 64 Task In progress Normal Install KCDC on virtual server D. Kostunin 02/22/2018 10:09 PM 61 Task In progress Normal Install hubzero to virtual server D. Shipilov 02/23/2018 05:42 AM 28 Task In progress High Управление проектом A. Kryukov 03/04/2018 08:53 AM 25 Task In progress Normal Инфраструктура проекта D. Nguyen 03/05/2018 12:11 AM 24 Task In progress Normal Критерии функционирования APPDS A. Shigarov 03/14/2018 04:29 AM 18 Task In progress Normal Формат данных в TAIGA A. Shigarov 03/01/2018 07:47 AM 17 Task In progress Normal Формат данных экспериментов A. Shigarov 03/14/2018 04:31 AM 16 Task In progress Normal Формат описания МД A. Kryukov 02/10/2018 10:25 AM 15 Task In progress Normal Алгоритм идентификации частиц E. Korosteleva 03/15/2018 09:37 AM 14 Task In progress Normal Rest API A. Kryukov 02/22/2018 08:46 AM 13 Task In progress Normal Архитектура APPDS A. Kryukov 02/22/2018 08:47 AM 100 Support Solved Normal Как сделать видимыми в redmine новые репозитории? D. Nguyen 03/05/2018 12:11 AM 43 Task Solved Normal Git in redmine D. Nguyen 03/05/2018 12:11 AM 22 Task Solved Normal Освоение пакета ML TensorFlow D. Zhurov 03/15/2018 09:37 AM 74 Task Feedback Normal обеспечить доступ на git (c правами создания репозитория) для Костюнина D. Kostunin 02/22/2018 08:39 AM 27 Task Feedback Normal Развертывание репозитория для ПО D. Nguyen 02/13/2018 12:50 PM * **Прочее** ===== Kick-off meeting. Presentations ===== ==== 05/03/2018 ==== * A.Haungs, {{ grants:archive:appds:restricted:krad-intro-march18-moscow-haungs.pdf |KRAD}} * L. Kuzmichev, {{ grants:archive:appds:restricted:taiga-2018.pdf |TAIGA. Status report}} * A.Heiss, {{ grants:archive:appds:restricted:gridka-krad.pdf |GridKA-KRAD}} * A.Streit, {{ grants:archive:appds:restricted:2018-03-05_krad_workshop_kit.pdf |DLC}} * E.Postnikov, {{ grants:archive:appds:restricted:postnikov_deeplearn_iact.pdf |Deep learning for IACT}} * S.Polyakov, {{ grants:archive:appds:restricted:pytorch_framework.pdf |Torch framework}} * D.Shipilov, {{ grants:archive:appds:restricted:tensorlow_for_machine_learning_tasks.pdf |Overview of the Tensorflow library for machine learning tasks}} * D.Kostunin, {{ grants:archive:appds:restricted:kostunin-krad-astropm.pdf |AstroPM}} * Minh Duc Nguyen, {{ grants:archive:appds:restricted:sdds_appds_kickoff_meeting.pdf |SDDS – an automated system for space experiment data processing, storage, and distribution }} ==== 06/03/2018 ==== * A.Kryukov, {{ grants:archive:appds:restricted:appds-kryukov-180306.pdf |Architecture of distributed storage for astroparticle physics}} * A.Haungs, {{ grants:archive:appds:restricted:kcdc-march18-moscow-haungs.pdf |KCDC and future Analysis & Data Centre}} * A.Kryukov, {{ grants:archive:appds:restricted:md-kryukov-180306-v2.pdf |Metadata}} * D.Kostunin, {{ grants:archive:appds:restricted:kostunin-krad-data-format.pdf |Physical aspects of Data Format}} * D.Kostunin, {{ grants:archive:appds:restricted:kostunin-krad-simm.pdf |SiMM}} * J.Kazarina, {{ grants:archive:appds:restricted:hubzero_overview._deployment_status.pdf |Hubzero}} ===== 22/02/2018 ===== **Присутствуют:** \\ Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, \\ Костюнин, Демичев, Поляков. * Новости * [[http://russianscdays.org/|Russian Supercomputing Days]]. Conference and Exhibition Working Days: September 24-25, 2018. //Important days: April 1 - abstract submission// * Kick-off совещание по проекту в Москве: week of //5-9 March 2018// * Даты: 5-6 марта. * Приглашение для А.Хонгса - Отослано. * Командировки из Иркутска. - Возможно. Срочно надо прислать темы докладов. * Основные вопросы: * Согласование программ исследований российской и немецеой сторон. * Уточненная архитектура распределенного хранилища астрофизических данных. * Метаданные и работа с ними. * Torch - применение в астрофизике частиц, первый опыт развертывания и использования. * TensorFlow - применение в астрофизике частиц, первый опыт развертывания и использования. * Форматы данных KASCADE и TUNKA: проблемы объединения для совместного анализа. * ??? * **Организация работ по гранту** * Формирование научной группы * Оформление трудовых и гражданско-правовых договоров * Все зачислены на 0.25% ставки в НИИЯФ. В ближайшее время будут начислены первые надбавки. * Напоминаю о счетах в сбербанке для перечисления зарплат. * Это либо самый обычный счет, непривязанный к какой-либо карте, либо счте привязванный к карте МИР. * Прислать реквизиты счета. * Гражданско-правовые соглашения * На согласовании в ректорате * Пока все застопорилось. * **Инфраструктура проекта** * Git - установленю Работает в режиме RO. * Жду заявки на репозитории (название, цель, кто участник) * Milestones. К сожалению, нужный для нашей версии плагин пока не готов. * **[[tmatrix|Задачи]] на 2018г. Мини отчеты** * Установка KCDC. Отв. Ю.К., Д.К. * Подготовлено заявление в ИДСТУ для получения ВМ. * Есть проблемы с деплойментом, т.к. это не законченный проект. * Установка Hubzero. Отв. Ю.К. * Пакет Torch - С.П.. Перенесено на Kick-off митинг. * Пакет TensorFlow - Д.Ш. и Д.Ж. \\ Ничего удобного и правильного для сверток на изображении с гексагональными пикселями для TensorFlow найти не удалось. \\ Пока предположительно при использовании TensorFlow придется реализовать алгоритм из библиотеки, предложной Димой Костюниным ([[https://github.com/ai4iacts/hexagdly|]]). Т.е. сделать форк и реализовать вариант для TensorFlow. Дополнительные подробности {{ :appds:tfoverview.pdf |здесь}}. * **Прочее** * Провести ревизию билетов. Не забывать о статусе билета. Если статус держится New, то это означает что на билет не реагирует тот, кому он назначен! * В состоянии NEW - 20 билетов! * 1 билет (#51) не назначен никому! ===== 15/02/2018 ===== **Присутствуют:** Журов, Казарина, Коростелева, Костюнин, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Демичев, Поляков. * Новости * Граты РНФ для молодых ученых. * Подробности на сайте [[http://rscf.ru/ru/contests|РНФ]] * Конференции * Конференция [[https://ecrs18.asu.ru/event/1/|26th E+CRS / 35th RCRC]]. \\ //20th Feb 2018. Deadline for Abstract Submission// * Д.Журов и Д.Шипилов - Название и абстракт. * Kick-off совещание по проекту в Москве: week of //5-9 March 2018// * Даты: 5-6 марта. * Срочно подготовить приглашение для А.Хонгса - в работе. Возможно сегодня будет. * Уточнить возможность командировок из Иркутска. - в работе * **Организация работ по гранту** * Формирование научной группы * Оформление трудовых и гражданско-правовых договоров * Д.Шипилову - срочно прислать необходимые документы. * Напоминаю о счетах в сбербанке для перечисления зарплат. * Утресаются последние вопросы по гражданско-правовому соглашению * На согласовании в ректорате * Подготовлен договор на выполнение НИР с ИГУ на сумму 495 тыс. * На согласовании в ректорате * **Инфраструктура проекта** * Управление проектом - Redmine - установлен. * Git - установленю Работает в режиме RO. * На этой неделе будет предоставлена возможность исполььзования репозиториев. * Прислать заявки на репозитории (название, цель, кто участник) * Кто еще на выложил свои ключи в РМ, просьба сделать это. * Milestones. К сожалению, нужный для нашей версии плагин пока не готов. * Насколько я понял, нужная версия проходит тестирование. * CI tool Jenkins - пока нет - Отложено на неопределенный срок. * **[[tmatrix|Задачи]] на 2018г. Мини отчеты** * Установка KCDC. Отв. Ю.К., Д.К. * Подготовлено заявление в ИДСТУ для получения ВМ. * Есть проблемы с деплойментом, т.к. это не законченный проект. * Установка Hubzero. Отв. Ю.К. * На ноутбуке. * Пакет Torch - С.П. * Пакет TensorFlow - Д.Ш. и Д.Ж. * Идет освоение пакетов. * Производительность сильно падает при использовании OpenCL. * Д.К. Есть проблемы с обработкой шестиугольных матриц. * Е.П. Есть работы по использованию TF для косоугольных матриц (сотовых) в телескопе. * Архитектура системы (уточнение) - А.К. * См. [[https://theory.sinp.msu.ru/redmine/dmsf/files/1048/view|документ]] (PDF) * Метаданные и работа с ними - А.К. (в Формате мини-семинара). Перенесено на совещание в марте * **Публикации** * Запущено [[meetings#голосование|голосование]] (требуется регистрация). * **Просьба проголосовать.** * **А.К.: Пока нет окончательного решения, действуем по упрощенной схеме.** * Подгтовка трех статей с результатами работ: * **Д.Костюнин**, SiMulation manager (30мин) * Архитектура распределенного сервиса хранения данных для астрофизики частицт- А.К. * Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения - Е.К. * Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA * Жду предложений. У нас обязательства на этот год - 3 статьи в WoS или Scopus. * **Прочее** ===== 08/02/2018 ===== Предложения по программе прошу присылать на [[mailto:kryukov@theory.sinp.msu.ru|мою почту]] - А.К. **Присутствуют:** Журов, Казарина, Коростелева, Костюнин, Крюков, Дмитирий Нгуен, Шигаров, Шипилов, Демичев. * Новости * Конференция [[https://ecrs18.asu.ru/event/1/|26th E+CRS / 35th RCRC]]. \\ //20th Feb 2018. Deadline for Abstract Submission// * Д.Журов и Д.Шипилов - Название и абстракт. * Kick-off совещание по проекту в Москве: week of //5-9 March 2018// * Уточнить даты. Подготовить программу. * Даты: 5-6 марта. * Срочно подготовить приглашение для А.Хонгса * Уточнить возможность командировок из Иркутска. * [[http://russianscdays.org/|Russian Supercomputing Days]]. Conference and Exhibition Working Days: September 24-25, 2018. \\ //Important days: April 1 - abstract submission// * **Организация работ по гранту** * Формирование научной группы * Идет оформление трудовых и гражданско-правовых договоров * А.Шипилову - срочно прислать необходимые документы. * Утресаются последние вопросы по гражданско-правовому соглашению * Подготовлен договор на выполнение НИР с ИГУ на сумму 495 тыс. * **Инфраструктура проекта** * Управление проектом - Redmine - установлен. * Git - установленю Работает в режиме RO. * Milestones. К сожалению, нужный для нашей версии плагин пока не готов. * CI tool Jenkins - пока нет - Отложено на неопределенный срок. * **[[tmatrix|Задачи]] на 2018г. Мини отчеты** * Установка KCDC. Отв. Ю.К. * Установка Hubzero. Отв. Ю.К. \\ Сделано: 1. Изучение документации системы KCDC и платформы HUBzero. 2. Собраны технические требования для установки системы KCDC и платформы HUBzero. 3. Заключен устный договор с ИДСТУ для создания на их базе двух виртуальных машин для установки системы KCDC и платформы HUBzero. План на ближайшую неделю: 1. Отправить в ИДСТУ официальное заявление для получения доступа. 2. Продолжение изучения документации 3. Тестовая установка платформы HUBzero на ноутбук. * Исследовательский стенд в НИИЯФ. Отв. Ю.Д., перенесено на следующее совещание. * Алгоритм индентификации типа частиц.Сделано: 1. Изучение документации системы KCDC и платформы HUBzero. 2. Собраны технические требования для установки системы KCDC и платформы HUBzero. 3. Заключен устный договор с ИДСТУ для создания на их базе двух виртуальных машин для установки системы KCDC и платформы HUBzero. План на ближайшую неделю: 1. Отправить в ИДСТУ официальное заявление для получения доступа. 2. Продолжение изучения документации 3. Тестовая установка платформы HUBzero на ноутбук. Отв. Е.К. * МС генерация событий. * Составить список главных параметров, к которым чуствительна задача идентификации. * Составить список выходных параметров. * Освоение пакета TensorFlow - Д.Ж. * Освоение пакета Torch - Ю.Д., перенесено на следующее совещание. * На следующем совещании * Архитектура системы (уточнение) - А.К. * Метаданные и работа с ними - А.К. (в Формате мини-семинара) * **Публикации** * О порядке публикования - [[grants:archive:appds:restricted:publications|Предложение Д.К.]] * Сильно формлизованная схема, которая применима для больших коллабораций с очень длительным сроком работы. Например, коллаборации в ЦЕРНе. - Я бы сейчас не усложнял процедуру. Во всяком случае на этот год. Мое предложение: * Работа публикуется той группой авторов, которая делала данную задачу. * Публикуются "титульные" статьи с участием всего кллектива. * Все работы обсуждаются/утверждаются на семинарах группы. * Запущено [[meetings#голосование|голосование]] (требуется регистрация). * **А.К.: Пока нет окончательного решения, действуем по упрощенной схеме.** * Подгтовка трех статей с результатами работ: * Архитектура распределенного сервиса хранения данных для астрофизики частиц * В работе * Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения - Е.К. * Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA * Жду предложений. У нас обязательства на этот год - 3 статьи в WoS или Scopus. * **Прочее** * **Д.Костюнин**, SiMulation manager (30мин) ==== Голосование ==== * Формализованная схема (Д.К.) * Упрощенная схема (А.К.) * Предлагаю свою схему ===== 01/02/2018 ===== Предложения по программе прошу присылать на [[mailto:kryukov@theory.sinp.msu.ru|мою почту]] - А.К. * **Организация работ по гранту** * Формирование научной группы * Оформлен приказ НИИЯФ об организации научной группы. * Идет оформление трудовых и гражданско-правовых договоров * Приках о зачислении по совместительству проходит экпертизу юристов. * Кажется можно будет ездить в командировки из Иркутска. Уточняем. * Утресаются последние вопросы по гражданско-правовому соглашению * Подготовлен договор на выполнение НИР с ИГУ на сумму 495 тыс. * План командировок на 2018г. * Никто пока не выразил никаких пожеланий. * Д.Костюнин предложил посмотреть на конференцию E+CRS, дедлайн по абстрактам 20.02.2018 * Я не знаю что это за конференция. Запросил Диму. * Закупки в 2018г. (Из заявки) * Готовятся котировки на сервер для ML * 1 сервер и 1 GPU NVIDIA P100 * Уточняютется вопрос по ЖД * Готовятся котировки на оборудование для аудио и видео конференций * Logitech * **Инфраструктура проекта** * Списки рассылки (APPDS) - запущен * Dokuwiki - запущена * Управление проектом - Redmine - установлен. * Git - установленю Работает в режиме RO. * CI tool Jenkins - пока нет * **Задачи на 2018г.** * Смотри [[tmatrix|Матрицу задач]] * Со следующего соывещания ответственные по задачам будут делать краткие отчеты. * Сегодня остановимся на некоторых. * Установка KCDC. Отв. Ю.К. * Установка Hubzero. Отв. Ю.К. * Исследовательский стенд в НИИЯФ. Отв. Ю.Д. * Выделены необходимые червера. Установлена ОС. Настраивается ПО работы с контейнерами. * Алгоритм индентификации типа частиц. Отв. Е.К. * Д.Костюнин предложил следующие задачи * Package manager * Simulation manager * **Публикации** * Подгтовка трех статей с результатами работ: * Архитектура распределенного сервиса хранения данных для астрофизики частиц * В работе * Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения - Е.К. * Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA * Жду предложений. У нас обязательства на этот год - 3 статьи в WoS или Scopus. * **Прочее** ===== 18/01/2018 ===== //Предварительная программа соещания// __Основная цель совещания__ - это расказать о ходе подготовки к началу работ и сформировать группы по задачам. Предложения по программе прошу присылать на [[mailto:kryukov@theory.sinp.msu.ru|мою почту]] - А.К. * **Организация начала работ по гранту** * Формирование научной группы * оформление трудовых и гражданско-правовых договоров * [[.restricted:budget18|бюджет 2018г]] (Органиченный доступ) * Взаимодействие с немецкой группой * План командировок на 2018г. (Из заявки) * ECRS-2018).июль 2018. Россия, Барнаул. ( 2чел) * RICAP-18). Июнь 2018, Марсель, Франция * Москва-Карлсруэ - 2 поездки * Москва-Иркутск - 2 поездки * Совещание в Москве совместное с коллегами из KIT * //Финансирование возможно только поездок из Москвы!// * Закупки в 2018г. (Из заявки) * 2 вычислительных сервера * 1 сервер с GPU для ML * ЖД на 80ТБ * 2 ноутбука * оборудование для аудио и видео конференций * материалы * прочие закупки * Оплата сторонних организаций. * **Инфраструктура проекта** * Списки рассылки (APPDS) * Dokuwiki * Управление проектом - Redmine * Git * CI tool Jenkins * **Программный стек** * Общий инструментарий: Python, JavaScript * Веб-сервисы (микросервисны): REST/HTTP(s)/JSON, WebDAV * Веб-интерфейсы: Django, Node.js, JavaScript * СУБД: SQLite, MySQL, Postgresql * ML: Torch (Python), TensorFlow * **Задачи на 2018г.** * Смотри Матрицу задач ниже * Подгтовка трех статей с результатами работ: * Архитектура распределенного сервиса хранения данных для астрофизики частиц * Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения * Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA * Задел на 2019 год * **Прочее**