Mayoret – це передовий онлайн-сервіс, який допомагає вам знаходити цілі та мету користувачів на основі їхнього користувачним імені. Цей інструмент надає вам доступ до розширеного пошуку та аналізу інформації, що допомагає розкрити додаткові деталі про особистість та мету користувача. Mayoret використовує розумні алгоритми та потужну аналітику для перегляду різних джерел даних, включаючи соціальні мережі, профілі, форуми та інші публічні джерела. Це дозволяє вам знайти цінні відомості про інтереси, активності та поведінку користувача, що важливо для розуміння їхніх потреб та мотивацій. Незалежно від того, чи ви маркетолог, дослідник, розробник продукту або просто цікавитеся аналітикою, Mayoret допоможе вам збагатити свої дані та зробити осмисленими кроки. Ви зможете використовувати отримані відомості для уточнення стратегій, персоналізації змісту, встановлення кращих зв’язків зі своєю аудиторією та багато іншого.
Запроваджуйте новий рівень аналізу та розуміння своєї аудиторії з Mayoret. Знаходьте цілі за користувачним ім’ям за допомогою потужного онлайн-інструмента. Відкрийте нові можливості аналізу та розуміння своєї аудиторії, знаходячи цінну інформацію про користувачів на основі їхнього користувачним імені. Покращуйте стратегії, персоналізуйте зміст та забезпечуйте більш глибоке з’єднання зі своєю аудиторією завдяки Mayoret.
Ви можете вказати кілька імен користувачів, розділених пробілом. Імена користувачів не є обов’язковими, оскільки існують інші режими роботи (див. нижче).
Мегре спробує отримати інформацію про власника документа/облікового запису (включаючи ім’я користувача та інші ідентифікатори) і здійснить пошук за витягнутим іменем користувача та ідентифікаторами.
Параметри також можна налаштувати за допомогою файлів налаштувань, див. розділ налаштувань.
--tags
– Фільтрувати сайти для пошуку за тегами: категорії сайтів і дволітерні коди країн ( не мова! ). Наприклад, фото, побачення, спорт; jp, us, глобальний. З одним сайтом можна пов’язати декілька тегів. Попередження: розмітка тегів зараз нестабільна.
-n
,--max-connections
– Дозволена кількість одночасних підключень (за замовчуванням: 100) .
-a
,--all-sites
– Використовувати всі сайти для сканування (за замовчуванням: топ-500) .
--top-sites
– Кількість сайтів для сканування в рейтингу Alexa Top (за замовчуванням: топ-500) .
--timeout
– Час (у секундах) очікування відповіді від сайтів (за замовчуванням: 30) . Довший тайм-аут з більшою ймовірністю дозволить отримати результати від повільних сайтів. З іншого боку, це може призвести до тривалої затримки збору всіх результатів. Вибір правильного тайм-ауту повинен здійснюватися з урахуванням пропускної здатності інтернет-з’єднання.
--cookies-jar-file
– Файл із спеціальними файлами cookie у форматі Netscape (він же cookies.txt). Ви можете встановити розширення до свого браузера, щоб завантажувати власні файли cookie ( Chrome , Firefox ).
--no-recursion
— Вимкнути розбір сторінок для інших імен користувачів і рекурсивний пошук за ними.
--use-disabled-sites
– Використовуйте відключені сайти для пошуку (може викликати багато помилкових спрацьовувань).
--id-type
– Вкажіть тип ідентифікатора(ів) (за замовчуванням: ім’я користувача). Підтримувані типи: gaia_id, vk_id, yandex_public_id, ok_id, wikimapia_uid. Наразі ви повинні додати-a
прапорець, щоб запустити сканування на сайтах із спеціальними типами ідентифікаторів, сайти буде автоматично відфільтровано.
--ignore-ids
– Не здійснювати пошук за вказаним ім’ям користувача або іншими ідентифікаторами. Корисно для повторного сканування зі знайденими відомими невідповідними іменами користувачів.
--db
– Завантажте базу даних Мегре з файлу JSON або онлайнового дійсного файлу JSON.
--retries RETRIES
– Кількість спроб перезапустити тимчасово невдалі запити.
-P
,
-H
,--html
– Створити файл звіту HTML (загальний звіт про всі імена користувачів).
-X
,--xmind
– Створіть карту розуму XMind 8 (один звіт для кожного імені користувача).
-C
,--csv
– Створення звіту CSV (один звіт на ім’я користувача).
-T
,--txt
– Створення звіту TXT (один звіт на ім’я користувача).
-J
,--json
– Створення звіту JSON певного типу: простий, ndjson (один звіт на ім’я користувача). напр--json ndjson
-fo
,--folderoutput
– результати будуть збережені в цій папціresults
за замовчуванням. Буде створено, якщо не існує.
-v
,--verbose
– Відображення додаткової інформації та показників. (loglevel=ПОПЕРЕДЖЕННЯ)
-vv
,--info
– Відображення службової інформації. (loglevel=INFO)
-vvv
,--debug
,-d
– Відображати інформацію про налагодження та відповіді сайту. (loglevel=DEBUG)
--print-not-found
– Друк сайтів, на яких не знайдено ім’я користувача.
--print-errors
– Друк повідомлень про помилки: підключення, captcha, заборона сайту в країні тощо.
--version
– Відображати інформацію про версію та залежності.
--self-check
– Виконуйте самоперевірку сайтів і бази даних і відключайте непрацюючі для поточного сеансу пошуку за замовчуванням. Це корисно для тестування нового підключення до Інтернету (це залежить від провайдера/хостингу, на яких сайтах буде цензурна заглушка або відображення captcha). Після перевірки Мегре запитає, чи хочете ви зберегти оновлення, відповідь «да/да» перепише локальну базу даних.
--submit URL
– Виконайте автоматичний аналіз заданої URL-адреси облікового запису або URL-адреси головної сторінки сайту, щоб визначити механізм сайту та методи перевірки наявності облікового запису. Після перевірки Мегре запитає, чи хочете ви додати сайт, відповідь «да/да» перепише локальну базу даних.
Maigret може аналізувати URL-адреси та вміст веб-сторінок за URL-адресами, щоб отримати інформацію про власника облікового запису та іншу метаінформацію. Ви повинні вказати URL-адресу з опцією –parse, це може бути посилання на обліковий запис або онлайн-документ. Після завершення фази аналізу Мегре розпочне фазу пошуку за знайденими підтримуваними ідентифікаторами (іменами користувачів, ідентифікаторами тощо).
Maigret аналізує веб-сторінки облікових записів і витягує особисту інформацію, посилання на інші профілі тощо. Отримана інформація відображається як додатковий результат у виводі CLI та як таблиці у звітах HTML і PDF. Крім того, Maigret використовує знайдені ідентифікатори та імена користувачів із посилань, щоб почати рекурсивний пошук.
Увімкнено за замовчуванням, можна вимкнути за допомогою.
Мегре може отримати деякі загальні ідентифікатори та імена користувачів із посилань на сторінці облікового запису (часто люди розміщують посилання на свої інші облікові записи) і негайно почати новий пошук. Уся зібрана інформація відображатиметься у вихідних даних і звітах CLI.
Увімкнено за замовчуванням, можна вимкнути за допомогою.
Maigret наразі підтримує HTML, PDF, TXT, XMind 8 mindmap і звіти JSON.
Фото профілю
Всю зібрану особисту інформацію
Додаткова інформація про передбачувані персональні дані (ПІБ, стать, місцезнаходження), отримана зі статистики всіх знайдених акаунтів
Крім того, у вихідних даних CLI є короткий текстовий звіт після завершення фази пошуку.
Попередження : ментальні карти XMind 8 несумісні з XMind 2022!
База даних сайтів Мегре дуже велика (і буде ще більшою), і, можливо, пошук по всіх сайтах є накладним. Також часто буває важко зрозуміти, які сайти для нас цікавіші у випадку з певною людиною. Розмітка тегів дозволяє вибрати підмножину сайтів за інтересами (фото, обмін повідомленнями, фінанси тощо) або за країною. Теги знайдених облікових записів згруповані та відображені у звітах.
Мегре може виявляти загальні помилки, такі як сторінки-заглушки цензури, сторінки з кодуванням CloudFlare та інші. Якщо під час сеансу ви отримаєте більше 3% помилок певного типу, ви отримаєте попереджувальне повідомлення у виводі CLI з рекомендаціями щодо покращення продуктивності та уникнення проблем.
Мегре повторить запити з отриманими тимчасовими помилками (збої підключення, помилки проксі тощо).
Одна спроба за замовчуванням, можна змінити опцією.
База даних Мегре містить не лише оригінальні веб-сайти, а й дзеркала, архіви та агрегатори.
Пошук Reddit BigData
Picuki , дзеркало Instagram
Перевірка тіньової заборони Twitter
Дозволяє отримати додаткову інформацію про особу та перевірити наявність облікового запису, навіть якщо основний сайт недоступний (захист від ботів, captcha тощо)
Maigret можна легко інтегрувати за допомогою пакета maigret Python . Приклад: офіційний бот Telegram
TL;DR: Ім’я користувача => Досьє
Maigret призначений для збору всієї доступної інформації про людину за її логіном. Що це за інформація? По-перше, посилання на особисті облікові записи. По-друге, усі фрагменти інформації, які можна отримати машиною, наприклад: інші імена користувачів, повне ім’я, URL-адреси зображень людей, дата народження, місцезнаходження (країна, місто тощо), стать.
Уся ця інформація утворює певне досьє, але вона також корисна для інших інструментів і аналітичних цілей. Кожна зібрана частина даних має мітку певного формату (наприклад, follower_count кількість підписників або created_at час створення облікового запису), щоб її можна було аналізувати різними системами та зберігати в базах даних.
Статистика БД сайтів – добре
Статистика сеансів сканування – добре
Автоматичне визначення двигуна сайту – добре
Двигуни для всіх сайтів – WIP
Уніфікований потік звітності – нормально
Повторні спроби – добре
Мегре може здійснювати пошук не лише за звичайними іменами користувачів, а й за певними загальними ідентифікаторами. Існує список усіх ідентифікаторів, які наразі підтримуються.
gaia_id – внутрішній числовий ідентифікатор користувача Google, раніше розміщувався в URL-адресі облікового запису Google Plus.
steam_id – внутрішній числовий ідентифікатор користувача Steam.
wikimapia_uid — внутрішній числовий ідентифікатор користувача Wikimapia.org.
uidme_uguid – внутрішній числовий ідентифікатор користувача uID.me.
yandex_public_id – внутрішній літерний ідентифікатор користувача Яндекс сайтів. Дивіться також: YaSeeker .
vk_id – внутрішній числовий ідентифікатор користувача VK.com.
ok_id – внутрішній числовий ідентифікатор користувача OK.ru.
yelp_userid – внутрішній ідентифікатор користувача Yelp.
Використання тегів дозволяє вибирати підмножину сайтів з великої БД Мегре для пошуку.
Попередження: розмітка тегів зараз нестабільна.
Коди країн :
us
,jp
,br
… ( ISO 3166-1 alpha-2 ). Ці теги відображають мову сайту та регіональне походження його користувачів, а потім використовуються для визначення місцезнаходження власника імені користувача. Якщо регіональне походження важко встановити або сайт позиціонується як всесвітній, код країни не вказується . Для одного сайту може бути кілька тегів коду країни.
Двигуни сайту . Більшість із них зараз є двигунами форумів:
uCoz
,vBulletin
,XenForo
та ін. Повний список двигунів, що зберігається в базі даних Мегре.
Тематика/тип сайтів та інтереси користувачів . Повний список «стандартних» тегів присутній у вихідному коді лише на мить.
--tags us,jp
– search on US and Japanese sites (actually marked as such in the Maigret database)
--tags coding
– search on sites related to software development.
--tags ucoz
– search on uCoz sites only (mostly CIS countries)
Почніть пошук облікових записів із іменем користувача machine42
на 500 найпопулярніших сайтах із бази даних Мегре.
Почніть пошук облікових записів з іменем користувача machine42
на всіх сайтах з бази даних Мегре.
Розпочніть пошук […] і створіть звіти HTML і PDF.
Почніть пошук облікових записів з іменем користувача machine42
лише у Facebook.
Отримайте інформацію зі сторінки Steam за URL-адресою та почніть пошук облікових записів зі знайденим іменем користувача machine42
.
Почніть пошук облікових записів з іменем користувача machine42
лише на сайтах США та Японії.
Починайте пошук облікових записів з іменем користувача machine42
тільки на сайтах, пов’язаних з розробкою програмного забезпечення.
Починайте пошук облікових записів з логіном machine42
тільки на сайтах uCoz (переважно країни СНД).
Параметри також можна налаштувати за допомогою файлів налаштувань. Дивіться файл налаштувань JSON, щоб переглянути список підтримуваних параметрів.
Після запуску Мегре намагається завантажити конфігурацію з наступних джерел у тому самому порядку:
Відсутність будь-якого з цих файлів не є помилкою. Якщо наступний файл налаштувань містить уже відомий параметр, цей параметр буде переписано. Таким чином, можна створити індивідуальну конфігурацію для різних користувачів і каталогів.
Рекомендовано використовувати Python 3.7/3.8 для тестування через деякі конфлікти в 3.9.
Вимоги до тесту встановлення:
Для перевірки Мегре використовуйте наступні команди:
Потрібні права на співпрацю, напишіть Soxoj, щоб отримати їх .
Для публікації нової версії ви повинні створити нову гілку в репозиторії зі зміненим номером версії та фактичним журналом змін. Після цього ви повинні створити випуск, а дія GitHub автоматично створить новий пакет PyPi.
Приклад нової гілки: https://github.com/soxoj/maigret/commit/e520418f6a25d7edacde2d73b41a8ae7c80ddf39
Приклад випуску: https://github.com/soxoj/maigret/releases/tag/v0.4.1
Перевірте номер поточної версії тут: https://pypi.org/project/maigret/ . Збільште лише версію виправлення (третє число), якщо немає критичних змін.
setup.py
maigret/__version__.py
docs/source/conf.py
Натисніть Вибрати тег , введіть v0.4.0 (ваша версія)
Натисніть Створити новий тег
Натисніть + Автоматичне створення приміток до випуску
Скопіюйте весь текст із текстового поля опису нижче
Вставте його в порожній текстовий розділ у CHANGELOG.txt
Видаліть зайві рядки ## Що змінилося та ## Розділ нових учасників, якщо він існує
Закрийте сторінку нового випуску
Знову відкрийте https://github.com/soxoj/maigret/releases/new
Натисніть Вибрати тег
Введіть актуальну версію у форматі v0.4.0
Також введіть актуальну версію в поле Назва випуску
Натисніть Створити новий тег
Натисніть + Автоматичне створення приміток до випуску
Натисніть кнопку «Опублікувати випуск».
Ви можете стежити за цим на сторінці дії: https://github.com/soxoj/maigret/actions/workflows/python-publish.yml