Пошук і веб-інтерфейси Shodan Частина 2.

Схоже, ці пристрої NetGear — основні користувачі служб у цій мережі, сумісних із SSLv2.

Приклад: дослідження Telnet. Припустимо, ми хочемо дослідити пристрої в Інтернеті, які використовують Telnet. З’єднаємо попередні команди так:

mkdir telnet-data shodan stream --ports 23,1023,2323 --datadir telnet-data/ --limit 10000

Спочатку створюємо папку telnet-data для збереження даних Telnet. Потім запитуємо 10 000 записів (--limit 10000) з потоку даних для стандартних Telnet-портів (--ports 23,1023,2323) і зберігаємо результати в папку telnet-data/ через --datadir.

Аддон Maltego

Maltego — це програма з відкритим кодом, призначена для збору, аналізу й візуального дослідження даних із різних джерел.

Аддон Shodan для Maltego надає 2 нових сутності (entities) – Service та Exploit та 5 нових перетворень (transforms):

• searchShodan

• searchShodanbyDomain

• searchShodanbyNetblock

• toShodanHost

• searchExploits

Shodan — огляд можливостей і практичні приклади

Shodan — це платформа, орієнтована на API, яка збирає банери й метадані про публічно доступні в інтернеті сервіси. Вона дозволяє автоматизовано отримувати ту саму інформацію, що й через веб-інтерфейс, але у вигляді, зручному для обробки скриптами та інтеграцій. REST API служить для пошуку, отримання відомостей про хости, роботи з фасетами та інших допоміжних операцій, тоді як Streaming API надає «сиру» стрічку банерів у реальному часі — її використовують для моніторингу і великих дослідницьких задач. Зауважте: доступ до повного стріму зазвичай вимагає платної підписки або ліцензії даних.

Обмеження використання

У Shodan є кілька типів лімітів, які залежать від тарифного плану. По-перше, query credits (пошукові кредити) — вони витрачаються при запитах з фільтрами або при переході на наступні сторінки результатів; простий запит без фільтрів може не списувати кредити, а запит типу apache country:us і перехід на сторінку 2 вже списують. По-друге, scan credits — кожен on-demand-скан запитується через API і витрачає кредит на один запит сканування. По-третє, alerts — кількість мережевих оповещень (і кількість IP/діапазонів у них) обмежується планом; максимум — ~100 оповещень на акаунт. Важливо пам’ятати, що query і scan кредити відновлюються на початку місяця, тому плануйте дослідження відповідно.

Фасети — як швидко отримати картину

Facets (фасети) дають агреговану статистику по області інтересу — наприклад, розподіл портів, версій SSL/TLS, відбитків SSH тощо. Якщо пошук повертає багато результатів, фасети дозволяють «побачити здалеку» основні патерни та вузькі місця: які порти найпоширеніші, які продукти виявлені найчастіше, які версії протоколів використовуються. Через API і CLI ви можете вказати потрібні фасети та отримати зрізи статистики — це часто перший крок перед глибинним аналізом або вибірковим скачуванням даних.

Початок роботи з Python

Щоб працювати з API у Python, встановіть офіційну бібліотеку:

easy_install shodan
# або оновлення
easy_install -U shodan

Ініціалізація проста — передайте ваш API-ключ:

import shodan
api = shodan.Shodan('YOUR API KEY')

Ключ можна отримати в акаунті: https://account.shodan.io. Після цього ви готові виконувати пошуки, отримувати деталі хостів і працювати з фасетами через зручні методи бібліотеки. Рекомендується завжди обгортати виклики в try/except, щоб коректно обробляти помилки API та не зупиняти виконання скрипту.

Приклад пошуку і перебору результатів

Один із базових прикладів — пошук по слову і вивід IP та банерів:

try:
    results = api.search('apache')
    print('Results found: %s' % results['total'])
    for result in results['matches']:
        print('IP: %s' % result['ip_str'])
        print(result['data'])
        print('')
except shodan.APIError as e:
    print('Error: %s' % e)

За замовчуванням кожна сторінка містить до 100 банерів; щоб перейти на іншу сторінку, використовуйте параметр page=. Якщо потрібно послідовно перебрати всі банери без фасетів, зручно використовувати api.search_cursor('apache') — це полегшує автоматичну обробку великої кількості результатів.

Інформація про хост і історія

Щоб дізнатися, що Shodan знайшов по конкретному IP, використовуйте api.host():

host = api.host('217.140.75.46')
print("IP: %s\nOrganization: %s\nOS: %s" %
      (host['ip_str'], host.get('org','n/a'), host.get('os','n/a')))
for item in host['data']:
    print("Port: %s\nBanner: %s" % (item['port'], item['data']))

За бажанням можна отримати повну історію банерів за IP, передавши history=True; це поверне вже неактивні служби і допоможе відновити минулі конфігурації або виявити колишні вразливості.

On-demand сканування

Якщо потрібно просканувати мережу негайно, Shodan підтримує on-demand-скани через API:

scan = api.scan('198.20.69.0/24')
# або список мереж
scan = api.scan(['198.20.49.30', '198.20.74.0/24'])

Це асинхронний процес: після ініціації ви отримаєте id завдання, кількість IP у скані (count) і credits_left — залишок кредитів для сканувань. Використовуйте id для моніторингу стану і подальшої обробки отриманих результатів.

Streaming API — реальний час

Streaming API повертає потік банерів у реальному часі — це «сирий» стрім, без можливостей пошуку всередині нього. Його використовують для моніторингу нових виявлень або для відслідковування специфічних шаблонів (вразливостей, певних продуктів). Приклад фільтрації по CVE:

def has_vuln(banner, vuln):
    return 'vulns' in banner.get('opts', {}) and vuln in banner['opts']['vulns']

for banner in api.stream.banners():
    if has_vuln(banner, 'CVE-2015-0204'):
        print(banner)

Зверніть увагу: стандартні плани часто дають доступ лише до невеликої частини стріму (~1%), повний доступ вимагає покупки Data License.

Alerts — мережеві оповіщення і підписка на стрім

Alerts — це зручний спосіб відслідковувати події для конкретних мережевих діапазонів. Створення оповіщення:

alert = api.create_alert('Production network', '198.20.69.0/24')
# або декілька діапазонів
alert = api.create_alert('Prod+Staging', ['198.20.69.0/24','198.20.70.0/24'])

Оповідання можна робити тимчасовим, зазначивши expires. Після створення ви отримуєте id — підписуйтесь на нього і обробляйте банери так само, як у стандартному стрімі:

for banner in api.stream.alert(alert['id']): print(banner)

Через CLI можна швидко створювати, видаляти та експортувати оповіщення; це зручно для оперативного моніторингу виробничих мереж.

Приклад — аналіз публічних MongoDB

Через роки, коли MongoDB часто не вимагала аутентифікації, багато екземплярів опинилися відкритими в інтернеті. Shodan захоплює банери таких інстансів — у банері містяться метадані про версію, списки баз, загальний totalSize тощо. Для масового завантаження банерів:

shodan download --limit -1 mongodb-servers.json.gz product:mongodb

Потім локально обробляємо файл: ітеруємо записи, витягаємо JSON-частину банера, сумуємо totalSize і підраховуємо найпоширеніші імена баз даних. Простий скрипт дасть підсумок у вигляді людського формату (GB/TB/PB) і топ-10 імен баз, що допомагає оцінити обсяг опублікованих даних.

Практичний робочий процес дослідження

Рекомендований підхід для розвідки публічної поверхні мережі: спочатку зробіть оцінку масштабу (shodan count net:... або api.search), потім зберіть агрегати через shodan stats --facets (порти, продукти, ssl.version), визначте аномалії (нестандартні порти, старі SSL/SSH, публічні БД), завантажте необхідні результати (shodan download) і обробіть їх локально скриптами. Після цього налаштуйте alerts для безперервного моніторингу змін і автоматизуйте рутинну обробку результатів.

Висновок

Shodan — це не просто пошукова система для пристроїв в інтернеті, а потужний інструмент аналітики, який поєднує зручність командного рядка, гнучкість API і глибину даних про глобальну інфраструктуру. Використовуючи CLI, REST API та Streaming API, можна ефективно відстежувати відкриті порти, сервіси, вразливості, аналізувати мережі та навіть створювати власні системи моніторингу безпеки.

Завдяки фасетам, алертам і можливості працювати з потоковими даними у реальному часі, Shodan стає інструментом стратегічного рівня — як для фахівців із кібербезпеки, так і для дослідників інфраструктури. При правильному використанні він дозволяє не лише виявляти ризики, а й запобігати потенційним інцидентам, знаходити помилки конфігурацій і відстежувати зміни в мережі.

Сьогодні Shodan є однією з базових платформ для OSINT, пентесту та моніторингу відкритих сервісів у всьому світі. Освоївши його інтерфейс і API, ви фактично отримуєте доступ до «рентгену» інтернету — здатного показати, що приховано за мільйонами IP-адрес і портів.