THEORY

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== Литература ======

===== Общие вопросы =====

  * [[https://lilianweng.github.io/|Lil’Log]]. Мне показалось - интересные и полезные материалы по МО.
  * {{ :dlcp:kryukov22:biblio:holler_diss-hillas.pdf |Holler, dissertation. H.E.S.S}}
===== Обзоры статей =====

  * Yang, Z. {{ dlcp:kryukov22:biblio:zeng_pres.pdf |Generative Adversarial Networks with Constraints}} (А.Демичев)
  * Weiler, M. and Cesa, G. {{ dlcp:kryukov22:biblio:e2_equivariantsteerablecnns.pdf |General E(2) - Equivariant Steerable CNNs}} (А.Демичев)
===== Astro&HEP =====

  * EuCAPT. EuCAPT White Paper Opportunities and Challenges for Theoretical Astroparticle Physics in the Next Decade. **[[https://arxiv.org/pdf/2110.10074|ArXiv: 2110.10074]]**
  * T. Miener and et.al. IACT event analysis with the MAGIC telescopes using deep convolutional neural networks with CTLearn. **ArXiv: 2112.01821**
  * Atul Kumar  and et.al. SinhaSUPA: A Lightweight Diagnostic Simulator for Machine Learning in Particle Physics. **ArXiv: 2202.05012**
  * The ATLAS Collaboration. Deep generative models for fast shower simulation in ATLAS. [[http://cdsweb.cern.ch/record/2630433/files/ATL-SOFT-PUB-2018-001.pdf|ATLAS-SOFT-PUB-2018-001]]
  * E. A. Huerta and et.al. Enabling real-time multi-messenger astrophysics discoveries with deep learning. [[https://doi.org/10.1038/s42254-019-0097-4]], {{ dlcp:kryukov22:biblio:s42254-019-0097-4-mmastro.pdf |PDF}}
  * Songshaptak De and etc. Deep learning techniques for Imaging Air Cherenkov Telescopes, [[https://arxiv.org/pdf/2206.05296|]] 

===== (c)GAN =====

  * Raghav Kansal and et.al. Particle Cloud Generation with Message Passing Generative Adversarial Networks. **ArXiv: 2106.11535**
  * [[https://habr.com/ru/company/ods/blog/322514/|Нейросетевая игра в имитацию]]
  * Mehdi Mirza, Simon Osindero. [[https://arxiv.org/abs/1411.1784|Conditional Generative Adversarial Nets]], arXiv:1411.1784
  * [[https://learnopencv.com/conditional-gan-cgan-in-pytorch-and-tensorflow/|Conditional GAN (cGAN) in PyTorch and TensorFlow]]
  * [[https://machinelearningmastery.com/how-to-develop-a-conditional-generative-adversarial-network-from-scratch/|How to Develop a Conditional GAN (cGAN) From Scratch]]
  * [[https://arxiv.org/abs/1905.06841|Enforcing Statistical Constraints in Generative Adversarial Networks for Modeling Chaotic Dynamical Systems]] ({{ dlcp:kryukov22:biblio:1905.06841-stat_constrains-gan.pdf |PDF}})
  * Amin Heyrani Nobari and et.al. {{ :dlcp:kryukov22:biblio:2106.03620-continuous_cgan.pdf |PcDGAN: A Continuous Conditional Diverse Generative Adversarial Network For Inverse Design}}
  * Xin Ding and et. al. {{ :dlcp:kryukov22:biblio:ccgan_continuous_conditional_g.pdf |ccGAN: CONTINUOUS CONDITIONAL GENERATIVE ADVERSARIAL NETWORKS FOR I MAGE GENERATION}}
  * {{ :dlcp:kryukov22:biblio:07_gans_syntheticdata_rus_pptx.pdf |Генерация синтетических данных с использованием генеративных состязательных сетей}}

----
  * [[https://habr.com/ru/post/352794/|Generative adversarial networks]]
  * [[https://neurohive.io/ru/papers/stylegan-open-source/|StyleGAN для генерации новых лиц опубликована в открытом доступе]]
  * [[https://reflect.ucl.ac.uk/ad-veturi/2021/07/20/improving-the-gan/|Improving the GAN]]
    * [[https://reflect.ucl.ac.uk/ad-veturi/2021/08/03/improving-the-gan-part-2-conditional-and-controllable-generation/|Improving the GAN Part 2: Conditional and Controllable generation]]

===== (c/c)VAE =====

  * Kai Yi, Yi Guo, Yanan Fan, Jan Hamann, Yu Guang Wang. CosmoVAE: Variational Autoencoder for CMB Image Inpainting. **ArXiv: 2001.11651**
  * Harish RaviPrakash, Syed Muhammad Anwar, Ulas Bagci. Variational Capsule Encoder. **ArXiv: 2010.09102**
  * [[https://habr.com/ru/post/331382/|Автоэнкодеры в Keras]]
  * [[https://neurohive.io/ru/osnovy-data-science/variacionnyj-avtojenkoder-vae/|Как работает вариационный автоэнкодер (VAE)]]
  * [[https://keras.io/examples/generative/vae/|Variational AutoEncoder]] in  Keras
  * [[https://towardsdatascience.com/understanding-conditional-variational-autoencoders-cd62b4f57bf8|Understanding Conditional Variational Autoencoders]]
  * {{ :dlcp:kryukov22:biblio:1812.02833-disentagling_vae.pdf |Disentangling Disentanglement in Variational Autoencoders}}
  * {{ :dlcp:kryukov22:biblio:abcs2018_paper_58-conv_ae.pdf |Convolutional Autoencoders}}
===== Diffusion NN =====

  * {{ dlcp:kryukov22:biblio:2104.07636-difusion_gen.pdf |Image Super-Resolution via Iterative Refinement}}
  * [[https://iterative-refinement.github.io/|Сайт проекта]]
  * Готовое [[https://github.com/openai/guided-diffusion|ПО]] на GitHub
  * [[https://lilianweng.github.io/posts/2021-07-11-diffusion-models/|What are Diffusion Models?]]
  * [[https://www.assemblyai.com/blog/diffusion-models-for-machine-learning-introduction/|Introduction to Diffusion Models for Machine Learning]]
  * [[https://arxiv.org/pdf/2105.05233|Diffusion Models Beat GANs on Image Synthesis]] ({{ dlcp:kryukov22:biblio:2105.05233-diffusion.pdf |PDF}})
  * [[https://arxiv.org/abs/2006.11239|Denoising Diffusion Probabilistic Models]] ({{ dlcp:kryukov22:biblio:2006.11239-denoising_diffusion_model.pdf |PDF}})
  * [[https://ayandas.me/blog-tut/2021/12/04/diffusion-prob-models.html|An introduction to Diffusion Probabilistic Models]]
  * [[https://github.com/openai/guided-diffusion|Tutorial на GitHub]]

----
  * [[https://lilianweng.github.io/posts/2018-08-12-vae/#reparameterization-trick|From Autoencoder to Beta-VAE]]
===== Symmetry =====

  * Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling. Gauge Equivariant Convolutional Networks and the Icosahedral CNN. **ArXiv: 1902.04615**
  * Marc Finzi, Samuel Stanton, Pavel Izmailov, Andrew Gordon Wilson. Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data. **ArXiv: 2002.12880**
  * Krish Desai. SymmetryGAN: Symmetry Discovery with Deep Learning. **ArXiv: 2112.05722**
  * Taco S. Cohen and et.al. SPHERICAL CNNs. [[https://openreview.net/pdf?id=Hkbd5xZRb|PDF]], [[https://arxiv.org/pdf/1801.10130|ArXiv: 1801.10130]]

===== Transfer Learning =====

  * Thi Thu Thao KHONG, Takashi NAKADA, and Yasuhiko NAKASHIMA. Flexible Bayesian Inference by Weight Transfer for Robust Deep Neural Networks. [[https://www.jstage.jst.go.jp/article/transinf/E104.D/11/E104.D_2021EDP7046/_pdf|IEICE TRANS. INF. & SYST., VOL.E104–D, NO.11 NOVEMBER 2021]]
  * [[https://machinelearningmastery.com/transfer-learning-for-deep-learning/|A Gentle Introduction to Transfer Learning for Deep Learning]]
  * [[https://habr.com/ru/company/binarydistrict/blog/428255/|Transfer Learning: как быстро обучить нейросеть на своих данных]]

===== AutoEncoder-based Lossy Image Compression =====

  * [[https://ieeexplore.ieee.org/iel7/8450337/8456237/08456308.pdf|Zhengxue Cheng et. al., Deep Convolutional AutoEncoder-based Lossy Image Compression, In 2018 Picture Coding Symposium (PCS) (pp. 253-257). IEEE]]
    * В статье представлена архитектура системы, построенной на основе сверточного автоэнкодера (CAE), предназначенной для сжатия изображений с потерями, которая обладает  высокой эффективностью кодирования. В дополнение к CAE используется метод главных компонент (principal component analysis (PCA)) для поворота карт признаков, созданных CAE и квантование. Экспериментальные результаты показывают, что этот метод превосходит традиционные алгоритмы кодирования изображений, достигая снижения BD-rate на 13,7% для изображений из базы данных Kodak по сравнению с JPEG2000. BD Rate (Bjontegaard delta rate) позволяет измерять снижение битрейта, обеспечиваемое кодеком, при сохранении того же качества, которое измеряется объективными показателями.
    * Процитирована 145 раз.
  * [[https://arxiv.org/pdf/1703.00395|Theis, Lucas, Wenzhe Shi, Andrew Cunningham, and Ferenc Huszar. "Lossy image compression with compressive autoencoders." arXiv preprint arXiv:1703.00395 (2017)]]
    * Показано, что  автоэнкодеры  могут удовлетворить потребность в более гибких алгоритмах сжатия, чем существующие кодеки. Однако их трудно оптимизировать напрямую из-за присущей им недифференцируемости функции потерь при сжатии. В работе показано, что минимальные изменения функции потерь достаточны для обучения глубоких автоэнкодеров, конкурирующих с JPEG 2000 и превосходящих недавно предложенные подходы, основанные на RNN. 
    * Процитирована **874** раза.
  * [[https://openaccess.thecvf.com/content_ICCV_2019/papers/Choi_Variable_Rate_Deep_Image_Compression_With_a_Conditional_Autoencoder_ICCV_2019_paper.pdf|Choi, Yoojin, Mostafa El-Khamy, and Jungwon Lee. "Variable rate deep image compression with a conditional autoencoder." In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 3146-3154. 2019]]
    * Предложен новый фреймворк, основанный на обучении, для кодирования изображений с переменным коэффициентом сжатия. Предыдущие методы сжатия изображений на основе обучения в основном требовали обучения отдельных сетей при разном коэффициенте сжатия, чтобы они могли давать сжатые изображения различного качества. В этой работе предложен метод развертывания только одной сети сжатия изображений с переменным коэффициентом, основанный на использовании условного автоэнкодера. Экспериментальные результаты показывают, что предложенная схема обеспечивает лучший компромисс между коэффициентом сжатия и искажениями, чем традиционные кодеки сжатия изображений с переменным коэффициентом, такие как JPEG2000 и BPG. Эта модель также демонстрирует сравнимую, а иногда и лучшую производительность, чем современные модели сжатия изображений, которые используют несколько сетей, обученных для различных коэффициентов.
    * Процитирована 130 раз.
  * [[https://ieeexplore.ieee.org/iel7/6687317/7153538/09380370.pdf?casa_token=NGB36ix56roAAAAA:sIb4KIwUlmZlZTCuc7-kCAjIF67dJ4fNaxcpcf30n4-foPFEsAfPcm2NeN7N6hjCH_0KiBKRLIlnOrs|Liu, Tong, Jinzhen Wang, Qing Liu, Shakeel Alibhai, Tao Lu, and Xubin He. "High-ratio lossy compression: Exploring the autoencoder to compress scientific data." IEEE Transactions on Big Data (2021)]]
    * Научное моделирование  с помощью систем высокопроизводительных вычислений (HPC) может генерировать большие объемы данных с плавающей запятой за один прогон. Чтобы устранить узкое место в хранилище данных и уменьшить объем данных, обычно используются системы сжатия (компрессоры) с плавающей запятой. По сравнению с компрессорами без потерь, компрессоры с потерями могут более агрессивно сокращать объем данных, сохраняя при этом информативное качество данных. Однако уменьшение коэффициента сжатия  более чем на два порядка практически невозможно без серьезного искажения данных. В области медиаданных методы с использованием автоэнкодеров продемонстрировали большой потенциал для сжатия, в частности изображений и аудиофайлов. Сможет ли автоэнкодер обеспечить аналогичную производительность с научными данными — остается под вопросом. В работе впервые осуществлено исследование возможности использования автокодировщиков для сжатия **реальных научных данных**. Реализован прототип сжатия на основе автоэнкодера, причем исследование показывает, что для большинства тестовых наборов данных настроенный автоэнкодер существенно превосходит по степени сжатия известные компрессоры (SZ и ZFP), построенные на основе других принципов. 
    * Процитирована 15 раз.
  * [[https://ieeexplore.ieee.org/iel7/8019154/8025209/08025238.pdf?casa_token=3ghNslcyr_QAAAAA:iASOD2VTpPalM2kDeXIycMdvTucxi-UakVhfg_XInHksPahULRblMdR2pu7m6CNqlCE6-olw8ib5Bwo|Sento, Adna. "Image compression with auto-encoder algorithm using deep neural network (DNN)." In 2016 Management and Innovation Technology International Conference (MITicon), pp. MIT-99. IEEE, 2016]]
    * В  статье представлено подробное исследование для демонстрации алгоритма сжатия изображений с использованием глубокой нейронной сети (DNN). Предлагаемый алгоритм состоит из 1) сжатия изображения автокодировщиком и 2) декодирования изображения. Предлагаемый алгоритм сжатия изображения с автоматическим кодировщиком использует нерекуррентные трехслойные нейронные сети, которые используют расширенный фильтр Калмана (EKF) для обновления весов сетей. Для оценки производительности предложенного алгоритма используется программа Matlab для реализации общего алгоритма тестирования. Из результатов моделирования видно, что предложенный алгоритм сжатия изображения способен уменьшить размерность изображения и восстановить сжатое изображение с малыми потерями.
    * Процитирована 11 раз
===== Other =====