Як геоінтелект допоміг знайти локацію по фото

13 листопада 2024 1 хвилина Автор: Cyber Witcher

У цій статті ми дослідимо заплутану, але надзвичайно цікаву історію ідентифікації місця з загадковим логотипом “VM” на приватній панорамі в Болівії. Спираючись на підказки та інструменти для пошуку, будемо виявляти, де саме було зроблене фото.

Розпочнемо

Фотографія одразу переносить думками до Латинської Америки, але точна країна залишається незрозумілою. Перше, що кидається в очі, – логотип із літерами VM. Використовуються різні способи пошуку: через об’єктив, по самих літерах у Google або на карті, проте результатів це не приносить. На зображенні видно машину без коліс, а за парканом – ще одну, очевидно, на ремонті, що може свідчити про наявність автосервісу. На задньому плані видніється будівля з освітленими вікнами, яка працює вночі – можливо, це готель. Автомобіль вдалося ідентифікувати як Daewoo Tico, який, за даними з Вікіпедії, був популярний у Латинській Америці.

Daewoo Tico також експортувався до Латинської Америки, де для окремих ринків отримав назву Daewoo Fino. Особливою популярністю він користувався в Перу, де став одним із найпопулярніших автомобілів, які використовувалися для таксі.

Отже, перше припущення – це Перу. Проте автомобіль не виглядає як місцеве таксі, адже в Перу вони зазвичай жовтого кольору. Тому повертаємося до початкової точки.

Таксі в Перу

Було вирішено уважніше розглянути номерний знак Daewoo і знайти подібний серед країн Латинської Америки. Найбільш схожим виявився номер із регіону Гуаяс в Еквадорі.

Однак це припущення залишилося лише гіпотезою і не отримало подальшого підтвердження. Потім виникла ідея з бразильським номером, але і вона не виправдала себе — Бразилія виявилася недоречною для цього випадку.

Залишалося лише жартома визнати, що це Казахстан, закрити завдання та розслабитися. Однак ми вирішили не здаватися та розпочали розв’язання. Отже, було вирішено довести цей завдання до кінця. Після того, як завдання вирішили, стало зрозуміло, що обидва місця знаходяться в одній країні — Болівії.

Отже, вирішили ще раз зібрати всі ознаки і пошукати в Overpass або спробувати знайти через назву в Google Maps. Але й це не принесло результату.

Із новими силами почали аналіз вихідного зображення і помітили дефекти склеювання. Це вказувало на приватну панораму, оскільки компанії зазвичай не знімають уночі.

Вирушаємо знову в Гугл мапс і дивимося приватні панорами Болівії. У когось уже їде дах і він накладає на себе руки. Так минає ще 10 днів і ми отримаемо  нову підказку.

І так підсказки:

  • Це Болівія

  • Це Магазин

  • Повна назва логотипу не складається тільки з. 2 букв VM

  • Мова іспанська

Ще раз перевіряються панорами, фокусуючись на пошуку магазинів у Болівії з назвами, що починаються на “VM” і містять додаткові елементи. Візуально обстежується майже вся Болівія.

Проте цей процес був надзвичайно трудомістким і малоефективним, і виникла думка, що автоматичне завантаження панорам за регіоном значно прискорило б пошук. На щастя, вдалося знайти тих, хто зміг налаштувати автоматичне завантаження панорам, і процес пішов значно швидше.

Загалом було завантажено 52 793 панорами, але для ефективності вирішили відсіяти лише нічні знімки. Вибірка скоротилася до приблизно 1000 нічних та ще 1000 прикордонних. Сповнені надії на швидкий успіх, учасники послідовно переглянули нічні, потім прикордонні, а після цього і решту з 50 000 панорам, але очікуваних результатів це не дало.

Наступна підсказка:

  • У цьому місті не їздила машина гугл, а по суті лише точки з панарамомами приватні

Оскільки алгоритм завантаження все ще проходив налагодження, було вирішено додати можливість ігнорування приватних панорам поблизу вулиць зі Street View і повторно завантажити всю Болівію. Завантажили ще близько 20 тисяч панорам, переглядаючи їх на випадок, якщо цільова панорама не знайдеться, але знайдеться щось поруч. Проте і цього разу успіху не було.

Нова підсказка:

  • Магазин одягу

Ще раз помучили оверпас та гугл, а також жовті сторінки Болівії у пошуках магазину з абревіатурою VM. Але знову нічого.

Підсказка:

  • Це знаходиться у Бразилії

Отримавши підтвердження, було вирішено завантажити майже 300 тисяч панорам з Бразилії, яка добре охоплена панорамами. З них відібрали 8 тисяч нічних, а прикордонні поки що не брали, адже їх уже набралося близько 40 тисяч.

Переходимо до ретельного перегляду відібраних панорам. Потім застосовуемо ще один хитрий підхід: використовуемо інструмент для індексації зображень, який працює на основі нейромережевої моделі CLIP (Contrastive Language-Image Pre-training). Ця модель дозволяє виконувати пошук зображень за текстовими запитами, майже як Google, хоча з дещо меншою точністю. Усі панорами з Бразилії, разом із контрольним зображенням для перевірки запиту, індексуються за допомогою цього інструменту.

Після цього вводиться текстовий запит “daewoo tico and pink house at night” і отримуються доволі релевантні результати, що включають контрольне зображення, однак, на жаль, без шуканої панорами.

Після численних експериментів із запитами стало очевидно, що такий підхід не дозволить знайти потрібне зображення.

Було вирішено зібрати панорами з усієї Південної Америки, але вибрати лише ті, що розташовані далеко від зон із наявністю Street View. Залишалася надія на візуальну пам’ять автора. У результаті було зібрано близько 45 тисяч панорам, із яких лише 727 були нічними, а ще 6 тисяч — темними прикордонними.

І що ж виявилося? Увесь цей час нас  водили усіх по хибному сліду, а шукане місце зрештою знайшлося… в Парагваї.

-23.411221,-57.439445

Виявилося, що це зовсім не магазин одягу, а скляна майстерня. Назва Vidriera Mavi складається лише з цих двох слів і не зустрічається більше ніде. Таким чином, завдання було вирішене не завдяки, а всупереч підказкам. Принаймні відсутність поруч Street View допомогла скоротити кількість панорам до прийнятного рівня для перегляду.

Інші статті по темі
Знайшли помилку?
Якщо ви знайшли помилку, зробіть скріншот і надішліть його боту.