Название:
Разработка и исследование способов совместного анализа мультимодальных экспериментальных данных на основе выделения существенных признаков методами глубокого обучения

В современную цифровую эпоху постоянно порождаются огромные и все увеличивающиеся объемы данных. Поэтому обработка и анализ получаемой информации является одной из наиболее важных и насущных задач. Часто эти данные поступают из различных источников, отражают различные стороны объектов или явлений и поэтому являются существенно неоднородными. Такие данные имеют разные типы и форматы, что очень сильно затрудняет их совместную обработку и анализ. В связи с этим, существует настоятельная потребность в разработке новых эффективных и совершенствовании существующих методов совместной обработки и анализа больших потоков разнородных, мультимодальных данных. Это является центральной научной проблемой, на решение которой направлен данный проект. Актуальность этой проблематики обусловлена многочисленными примерами важности таких методов в конкретных прикладных областях, например, в медицине, управлении процессами жизнедеятельности городов, климатических и экологических исследованиях, естественных науках и многих других.

Конкретной задачей в рамках проблемы, на решение которой направлен проект, является разработка новых эффективных способов совместной обработки мультимодальных данных, которые будут апробированы на модельных и реальных данных из области гамма-астрономии, а именно данных, получаемых с помощью гибридной системы детекторов, регистрирующих широкие атмосферные ливни в эксперименте TAIGA. Мультимодальность означает, что полный набор данных состоит из нескольких подмножеств, каждое из которых содержит данные одного типа, а типы данных в разных подмножествах отличаются друг от друга. Важно отметить, что мультимодальность характерна в целом для экспериментов в области современной многоканальной астрономии, поскольку собираемая информация об изучаемых явлениях имеет не только очень большой объем, но и большое разнообразие по своей природе и характеристикам. Новизна предлагаемого проекта обусловлена новаторским методологическим подходом для решения этой задачи, а именно осуществлением объединения и совместного анализа не на уровне сырых экспериментальных данных, а после извлечения с помощью нейросетевых технологий их существенных признаков, которые отражают сущность явления, а не конкретный метод его регистрации. При этом будет поставлена задача максимально возможного согласования формата признаков, полученных из разных наборов данных.

Таким образом, одна часть проекта будет посвящена выбору и оптимизации методов извлечения существенных признаков, то есть преобразования входного пространства в подпространство меньшей размерности, которое сохраняет большую часть релевантной информации, адекватной цели исследования. Важной частью исследования будет разработка методов интерпретации существенных признаков на языке прикладной области, основанных на машинном обучении, а также возможность управления этими признаками с помощью параметров из этой прикладной области. Вторая часть проекта будет посвящена разработке методов совместного анализа существенных признаков данных, полученных из разных источников. Для этого предполагается использовать различные методы, например, простая конкатенация, перенос или многозадачное обучение, использование рекуррентных сетей, совместное обучение.

Решение поставленных задач и разработанные методы обеспечат ученых инструментарием для совместного анализа больших мультимодальных данных. Его эффективность будет подтверждена на примере задач гамма-астрономии, что, в свою очередь, создаст хороший задел для лучшего понимание процессов, происходящих во Вселенной. В силу общего характера решаемых задач, разработанные методы могут быть применены в других областях науки и техники, требующих комплексного анализа данных, поступающих по нескольким каналам. Таким образом, задачи, поставленные в проекте, являются актуальными, инновационными, масштабными и носят мультидисциплинарный характер.