| Код | 542512 |
| Дата создания | 2021 |
|
Мы сможем обработать ваш заказ (!) 6 мая в 12:00 [мск]
Файлы будут доступны для скачивания только после обработки заказа.
|
|
В этой области проводится множество исследований и каждый год опубликовываются десятки статей на лучших научных конференциях мира, связанных с компьютерным зрением. И успехи в ней достаточно велики, так как с каждым годом точность на многих академических набора данных становится всё выше и выше. Частично это связанно с тем, что данные алгоритмы приносят большую пользу лидерам в IT-области, ведь через метрическое обучение работают алгоритмы распознавания лиц, транспортных средств, поиска наиболее похожих интернет-товаров
[4] и так далее. Также популярность этой области связанна с достаточно большим количеством не решенных проблем, которые проявляются в виде низкой точности на некоторых наборах данных
Таким образом, целью данной выпускной квалификационной работы является разработка алгоритмов вычисления векторного представления изображения с помощью глубокого обучения и для достижения этой цели были поставлены следующие задачи:
– изучение литературы, связанной с машинным обучением, ком пьютерным зрением, глубоким обучением и методами вычисления векторного представления изображений;
– разработка методов вычисления векторного представления изображений;
– программная реализация алгоритмов на языке программирования Python с использованием библиотеки PyTorch;
– обучение реализованных алгоритмов и валидация гиперпараметров на наборах данных In-Shop Clothes, Stanford Online Products;
– анализ полученных результатов.
ВВЕДЕНИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1 Описание предметной области . . . . . . . . . . . . . . . . . . . . 6
1.1 Целевые функции для метрического обучения . . . . . . . 6
1.2 Формирование триплетов для метрического обучения . . . 10
1.3 Подход к обучению через парадигму ”разделяй и властвуй” 15
1.3.1 Архитектура свёрточной нейронной сети и принцип
её работы................................................................................. 16
1.3.2 Кластеризация набора данных на K кластеров................... 17
1.3.3 Разделение векторного представления на ”учеников” . 18
1.3.4 Сохранение связи между кластерами и ”учениками” . 18 1.3.5 Обучение ”учеников”.............................................................. 18
1.3.6 Обучение после объединения ”учеников”............................. 19
1.4 Метрическое обучение через разбиение на кластеры.................... 19
1.4.1 Переход к глобальным дескрипторам и отказ от ре- шения транспортной задачи.............................................................. 20
1.4.2 Агрегация через механизм внимания.................................... 21
1.5 Обзор существующих методов для решения задачи метри- ческого обучения ............................................................................................. 24
2 Описание внесенных изменений в ”модифицированный D&C” . 26
2.1 Алгоритм быстрой валидации........................................................ 26
2.1.1 Разделение обучающей выборки на две части случай-
ным образом........................................................................... 27
2.1.2 Разделение обучающей выборки на две части с чере-
дованием.................................................................................. 28
2.2 Поддержание актуальности центроидов кластеров....................... 30
2.3 Превращение центроидов в обучаемые параметры после завершения обучения ............................................................................................. 31
2.4 Нормализация векторов в процессе обучения................................ 32
2.4.1 Нормализация центроидов перед передачей в меха-
низм внимания........................................................................ 32
2.4.2 Замена алгоритма кластеризации.......................................... 33
2.5 Замена механизма внимания на усреднение векторов . . . 34
2.6 Замена механизма внимания на полносвязный слой..................... 34
3 Результаты экспериментов....................................................................... 36
3.1 Наборы данных............................................................................... 36
3.2 Метрика для оценки результатов................................................... 37
3.3 Реализация........................................................................................ 37
3.4 Применение алгоритма быстрой валидации................................ 38
3.5 Результаты работы алгоритма поддержания актуальности центроидов .......................................................................................... 40
3.6 Результаты работы алгоритма превращение центроидов в обучаемые параметры после завершения обучения ....................... 41
3.7 Результаты нормализации векторов в процессе обучения . 43
3.7.1 Нормализация центроидов перед передачей в меха-
низм внимания........................................................................ 43
3.7.2 Замена алгоритма кластеризации.......................................... 43
3.8 Результаты замены механизма внимания на усреднение век- торов 44
3.9 Результаты замены механизма внимания на полносвязный
слой...................................................................................................... 45
3.10 Результаты работы алгоритмов на различных наборах дан-
ных....................................................................................................... 46
3.10.1 Результаты работы на наборе данных In-Shop Clothes 47
3.10.2 Результаты экспериментов на наборе данных Stanford
Online Products........................................................................ 49
3.10.3 Результаты экспериментов на наборе данных CUB200-
2011 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.10.4 Результаты экспериментов на наборе данных CARS196 53 ЗАКЛЮЧЕНИЕ............................................................................................... 55
СПИСОК ЛИТЕРАТУРЫ......................................................................... 67
ПРИЛОЖЕНИЕ........................................................................................... 72
1. Hermans, A. In Defense of the Triplet Loss for Person Re-Identification
/ A. Hermans, L. Beyer, B. Leibe // arXiv preprint arXiv:1703.07737 : [сайт] – 2017. - URL: https://arxiv.org/abs/1703.07737 (дата обращения: 05.05.2021)
2. Circle Loss: A Unified Perspective of Pair Similarity Optimization /
Y. Sun, C. Cheng, Y. Zhang, C. Zhang, L. Zheng, Z. Wang, Y. Wei // arXiv preprint arXiv:2002.10857 : [сайт] – 2020. - URL: https://arxiv.org/abs/2002.10857 (дата обращения: 28.05.2021)
3. Smooth-AP: Smoothing the Path Towards Large-Scale Image Retrieval
/ A.Brown, W. Xie, V. Kalogeiton, A. Zisserman // arXiv preprint arXiv:2007.12163 : [сайт] – 2020. - URL: https://arxiv.org/abs/2007.12163 (дата обращения: 28.05.2021)
4. ProxyNCA++: Revisiting and Revitalizing Proxy Neighborhood Component Analysis / E. W. Teh, T. DeVries, G. Taylor // arXiv preprint arXiv:2004.01113 : [сайт] – 2020. - URL: https://arxiv.org/abs/2004.01113 (дата обращения: 05.05.2021)
5. The iNaturalist Species Classification and Detection Dataset / G. Horn, O. Aodha, Y. Song, Y. Cui, C. Sun, A. Shepard, H. Adam, P. Perona,
S. Belongie // arXiv preprint arXiv:1707.06642 : [сайт] – 2017. - URL:(дата обращения: 28.05.2021)
6. Flickr30k Entities: Collecting Region-to-Phrase Correspondences for Richer Image-to-Sentence Models / B. Plummer, L. Wang, C. Cervantes, J. Caicedo, J. Hockenmaier, S. Lazebnik // arXiv preprint arXiv:1505.04870 : [сайт] – 2015. - URL: https://arxiv.org/abs/1505.04870 (дата обращения: 28.05.2021)
7. DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations / Z. Liu, P. Luo, S. Qiu, X. Wang // IEEE Transactions on Pattern Analysis and Machine Intelligence : [сайт] – 2016. - URL: https://ieeexplore.ieee.org/document/7780493 (дата обращения: 06.05.2021)
8. Deep Metric Learning via Lifted Structured Feature Embedding / H. Song, Y. Xiang, S. Jegelka, S. Savarese // arXiv preprint arXiv:1511.06452
: [сайт] – 2015. - URL: https://arxiv.org/abs/1511.06452 (дата обращения: 08.05.2021)
9. 3D Object Representations for Fine-Grained Categorization /
J. Krause, M. Stark, J. Deng, L. Fei-Fei // IEEE Transactions on Pattern Analysis and Machine Intelligence : [сайт] – 2013. - URL: https://ieeexplore.ieee.org/document/6755945 (дата обращения: 08.05.2021)
10. Caltech-UCSD Birds 200 / P. Welinder, Steve Branson, T. Mita, C. Wah, F. Schroff, S. Belongie, P. Perona // ResearchGate : [сайт] – 2010. - URL: https://www.researchgate.net/publication/46572499 (дата обращения: 08.05.2021)
11. Musgrave, K. A Metric Learning Reality Check / K. Musgrave,
S. Belongie, S. Lim// arXiv preprint arXiv:2003.08505 : [сайт] – 2020. - URL: https://arxiv.org/abs/2003.08505 (дата обращения: 05.05.2021)
12. Hadsell, R. Dimensionality Reduction by Learning an Invariant Mapping / R. Hadsell, S. Chopra, Y. Lecun // ResearchGate : [сайт] – 2006.
- URL: https://www.researchgate.net/publication/424627 (дата обращения: 05.05.2021)
13. Weinberger, K. Distance Metric Learning for Large Margin Nearest Neighbor Classification / K. Weinberger, J. Blitzer, L. Saul // ResearchGate
: [сайт] – 2006. - URL: https://www.researchgate.net/publication/210341989 (дата обращения: 28.05.2021)
14. Schroff, F. FaceNet: A Unified Embedding for Face Recognition and Clustering / F. Schroff, D. Kalenichenko, J. Philbin // arXiv preprint
arXiv:1503.03832 : [сайт] – 2015. - URL: https://arxiv.org/abs/1503.03832 (дата обращения: 05.05.2021)
15. Sampling Matters in Deep Embedding Learning / C.-Y. Wu,
R. Manmatha, A. Smola, P. Krähenbühl // arXiv preprint arXiv:1706.07567
: [сайт] – 2017. - URL: https://arxiv.org/abs/1706.07567 (дата обращения: 05.05.2021)
16. Sohn, K. Improved Deep Metric Learning with Multi-class N-pair Loss Objective / K. Sohn // NIPS : [сайт] – 2016. - URL: https://papers.nips.cc/paper/2016/hash/6b180037991d8b1232f8a8ca9- Abstract.html (дата обращения: 05.05.2021)
17. Multi-Similarity Loss with General Pair Weighting for Deep Metric Learning / X. Wang, X. Han, W. Huang, D. Dong, M. Scott // arXiv preprint arXiv:1904.06627 : [сайт] – 2019. - URL: https://arxiv.org/abs/1904.06627 (дата обращения: 05.05.2021)
18. No Fuss Distance Metric Learning using Proxies / Y. Movshovitz- Attias, A. Toshev, T. Leung, S. Ioffe, S. Singh // arXiv preprint arXiv:1703.07464 : [сайт] – 2017. - URL: https://arxiv.org/abs/1703.07464 (дата обращения: 05.05.2021)
19. Divide and Conquer the Embedding Space for Metric Learning /
A. Sanakoyeu, V. Tschernezki, U. Büchler, B. Ommer // arXiv preprint arXiv:1906.05990 : [сайт] – 2019. - URL: https://arxiv.org/abs/1906.05990 (дата обращения: 05.05.2021)
20. Deep Residual Learning for Image Recognition / K. He, X. Zhang,
S. Ren, J. Sun // arXiv preprint arXiv:1512.03385 : [сайт] – 2015. - URL:(дата обращения: 05.05.2021)
21. Krizhevsky, A. ImageNet Classification with Deep Convolutional Neural Networks / A. Krizhevsky, I. Sutskever, G. Hinton // ResearchGate : [сайт] – 2012. - URL: https://www.researchgate.net/publication/267960550 (дата обращения: 05.05.2021)
22. Lloyd, S. Least squares quantization in PCM / S. Lloyd // IEEE Transactions on Pattern Analysis and Machine Intelligence : [сайт] – 1982. - URL: https://ieeexplore.ieee.org/document/1056489 (дата обращения: 05.05.2021)
23. Munkres, J. Algorithms for the assighment and transportation problems / J. Munkres // JSTOR : [сайт] – 1957. - URL: https://www.jstor.org/stable/2098689 (дата обращения: 05.05.2021)
24. Deep Relative Distance Learning: Tell the Difference between Similar Vehicles / H. Liu, Y. Tian, Y. Yang, L. Pang, T. Huang // ResearchGate : [сайт] – 2016. - URL: https://www.researchgate.net/publication/311611186 (дата обращения: 06.05.2021)
25. Attention Is All You Need / A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, L. Kaiser, I. Polosukhin // arXiv preprint arXiv:1706.03762 : [сайт] – 2017. - URL: https://arxiv.org/abs/1706.03762 (дата обращения: 05.05.2021)
26. Radenović, F. Fine-tuning CNN Image Retrieval with No Human Annotation / F. Radenović, G. Tolias, O. Chum // arXiv preprint arXiv:1711.02512 : [сайт] – 2017. - URL: https://arxiv.org/abs/1711.02512 (дата обращения: 06.05.2021)
27. Cross-Batch Memory for Embedding Learning / X. Wang, H. Zhang,
W. Huang, M. Scott // arXiv preprint arXiv:1912.06798 : [сайт] – 2019. - URL: https://arxiv.org/abs/1912.06798 (дата обращения: 05.05.2021)
28. Combination of Multiple Global Descriptors for Image Retrieval / H. Jun, B. Ko, Y. Kim, I. Kim, J. Kim // arXiv preprint arXiv:1903.10663 : [сайт] – 2019. - URL: https://arxiv.org/abs/1903.10663 (дата обращения: 05.05.2021)
29. Babenko, A. Aggregating Deep Convolutional Features for Image Retrieval / A. Babenko, V. Lempitsky // arXiv preprint arXiv:1510.07493
: [сайт] – 2015. - URL: https://arxiv.org/abs/1512.03385 (дата обращения: 07.05.2021)
30. Tolias, G. Particular object retrieval with integral max-pooling of CNN activations / G. Tolias, R. Sicre, H. Jégou // arXiv preprint arXiv:1510.07493 : [сайт] – 2015. - URL: https://arxiv.org/abs/1511.05879 (дата обращения: 07.05.2021)
31. Грешилов, А. А. Математические методы построения прогнозов : учебник / А. А. Грешилов, В. А. Стакун, А. А. Стакун. – Москва : Радио и связь, 1997. - 112 c. - ISBN 5-256-01352-1.
32. Zhong, S. Efficient online sphercal K-means clustering / S. Zhong // ResearchGate : [сайт] – 2005. - URL: https://www.researchgate.net/publication/4202779 (дата обращения: 18.05.2021)
33. Jégou, H. Product Quantization for Nearest Neighbor Search / H. Jégou, M. Douze, C. Schmid // ResearchGate : [сайт] – 2011. - URL: https://www.researchgate.net/publication/47815472 (дата обращения: 10.05.2021)
34. Glorot, X. Understanding the difficulty of training deep feedforward neural networks / X. Glorot, Y. Bengio // ResearchGate : [сайт] – 2010. - URL: https://www.researchgate.net/publication/215616968 (дата обраще- ния: 10.05.2021)
35. Kingma, D. Adam: A Method for Stochastic Optimization / D. Kingma,
J. Ba. // arXiv preprint arXiv:1412.6980 : [сайт] – 2014. - URL: https://arxiv.org/abs/1412.6980 (дата обращения: 10.05.2021)