Що таке ReCaptcha і як її обійти

ReCaptcha це реалізація CAPTCHA від компанії Google. Являє собою тест, який використовується для того, щоб визначити, хто надсилає запит на сайт: реальна людина чи бот. Порівняно з іншими видами капчі, ReCaptcha використовує вдосконалені та складніші алгоритми для аналізу й перевірки користувачів.

Приклади, який вигляд може мати стандартна капча:

Поширений варіант ReCaptcha:

Після відмітки чек-боксу сайт може стати доступним одразу, але в деяких випадках з'являється вікно з додатковою перевіркою, яке має такий вигляд:

ReCaptcha є частиною системи безпеки веб-сайтів і використовується як захист від автоматизованих атак. Кілька прикладів реалізації технології ReCaptcha у веб-розробці:

• у формах реєстрації та входу;
• на сторінках відновлення пароля;
• у формах зворотного зв'язку та коментарів;
• у формах оплати та оформлення замовлень;
• для захисту API, наприклад, платіжних систем, від автоматичних запитів.

Технологія відіграє важливу роль в інтернет-мережі, оскільки захищає сайти від спаму та небажаних автоматичних дій, наприклад, таких як реєстрація фальшивих акаунтів, масових відправлень запитів через форми зворотного зв'язку та коментарі. Крім того, вона захищає сайт від ботів, які можуть намагатися здійснити злом акаунтів користувачів, завдяки чому забезпечує безпеку конфіденційних даних клієнтів сайту.

Алгоритм роботи ReCaptcha

ReCaptcha використовує різні методи для того, щоб визначати підозрілу поведінку користувача на сайті. До них можна віднести аналіз призначеної для користувача взаємодії з сайтом, наприклад, моніторинг швидкості введення тексту в полях даних, рухів миші, часу, проведеного на сторінці, та інших параметрів. Крім того, технологія передбачає проведення статистичного аналізу показників активності, наприклад, частоти запитів, а також аналізу мережевого трафіку, включно з IP-адресами, які використовуються для доступу до сайту.

Розглянемо алгоритм, як працює ReCaptcha:

1. При виявленні підозрілих патернів активності, ReCaptcha спрацьовує автоматично. Користувач бачить чек-бокс "Я не робот" і натискає на прапорець.
2. ReCaptcha аналізує поведінку користувача на веб-сторінці до та після натискання на чек-бокс, включно зі швидкістю переміщення вказівника миші, кліками, швидкістю та способом набору тексту.
3. Далі ReCaptcha аналізує дані браузера та операційної системи користувача, щоб визначити, чи справжній це браузер, який використовується людиною, чи автоматичний скрипт.
4. Якщо результату попереднього аналізу було недостатньо, ReCaptcha v2 може видавати додаткове завдання, де користувачеві необхідно ідентифікувати об'єкти на зображеннях. У новій версії ReCaptcha v3 тест із зображеннями вже не з'являється.
5. У разі правильного рішення, користувач може продовжувати користуватися сайтом. У разі, якщо завдання було вирішено неправильно, ReCaptcha запропонує розв'язати його заново або відобразить нове завдання. Блокування трапляються рідко, і тільки в тих випадках, якщо були виявлені серйозні порушення безпеки або автоматизована активність, яка явно вказує на спробу обійти захист.

Для аналізу відповідей ReCaptcha використовує алгоритми машинного навчання, а також проводить статистичний аналіз, щоб порівнювати відповіді, отримані в поточному сеансі, з попередніми.

Причини появи ReCaptcha

З огляду на принцип роботи ReCaptcha і методи, за якими технологія визначає дії користувача на сайті як підозрілі, можна виокремити кілька поширених причин її появи. До них належать підозрілий Fingerprint користувача, підвищена кількість запитів, не характерна для звичайної людини, і шкідливі дії на сайті.

Підозрілий Fingerprint браузера

Fingerprint - цифровий відбиток браузера, в якому зібрано ідентифікаційну інформацію, що містить дані про сам браузер і пристрій, на якому його встановлено. До нього входять такі параметри, як:

• HTTP-заголовки;
• роздільна здатність екрана;
• встановлені на пристрої шрифти;
• підтримувані технології, такі як WebGL або Flash;
• IP-адреса.

Існує кілька видів HTTP-заголовків, які передаються на кінцевий сервер під час кожного запиту і перевіряються системами безпеки. Деякі з них:

• User-Agent: містить інформацію про програмне забезпечення або пристрій, з якого відправлено запит;
• Referer: містить URL попередньої сторінки, з якої було здійснено перехід;
• Set-Cookie: містить дані сеансу, уподобання користувача, стан авторизації;
• Accept-Language: вказує на бажані мови користувача.

Під час використання ботів для автоматизації дій на сайті, перераховані заголовки можуть містити некоректну інформацію, що рідко зустрічається, або залишатися порожніми, що робить такий браузерний відбиток підозрілим.

Крім того, система безпеки сайту аналізує і місце розташування користувача за його IP-адресою. Якщо при цьому визначається локація, не пов'язана з конкретним провайдером інтернету, або не збігається з місцем розташування, яке використовувалося для попередніх сесій, сайт може вимагати рішення ReCaptcha. Також, технологія може визначати IP-адреси, які асоціюються з відомими VPN, і мати власні чорні списки певних діапазонів IP-адрес. З метою запобігання доступу через анонімізатори та захисту від несанкціонованого доступу, виникає капча.

Абьюз трафіку веб-сайту

Аб'юз трафіку - комплекс маніпуляцій, спрямованих на спотворення статистики веб-сайту і порушення його роботи. Наведемо як приклад кілька дій, які належать до аб'юзу:

• Генерація фальшивого трафіку шляхом використання спеціального ПЗ;
• Підміна даних у HTTP-заголовках для створення спотворених даних про джерела трафіку;
• Накрутка кліків на рекламні оголошення за допомогою клікботів;
• Поширення посилань на сайт у спам-розсилках у коментарях, соціальних мережах, на форумах;
• Перенаправлення призначеного для веб-сайту трафіку на інші ресурси.

Подібні практики використовуються для того, щоб завдати ресурсу шкоди з метою отримання власної вигоди. Наприклад, під час перенаправлення трафіку особисті дані користувачів можуть бути отримані незаконно, а подальше їхнє використання з несанкціонованою метою завдасть шкоди репутації веб-сайту. Під час використання клікботів зловмисник може збільшити витрати власників сайту на рекламу або отримати нечесним шляхом прибуток за кліки.

Поява ReCaptcha в такому разі є відповіддю на аб'юз з метою обмеження активності ботів. Технологія запобігає деяким формам аб'юзу трафіку і може ускладнити виконання автоматизованих атак, бо боти або скрипти не завжди можуть розпізнавати і проходити перевірку капчі. Варто також зазначити, що однієї технології ReCaptcha для боротьби з аб'юзом трафіку недостатньо, тому її часто застосовують у поєднанні з іншими методами гарантування безпеки, як-от аналіз поведінки користувача або системи виявлення вторгнень.

Велика кількість запитів

Низка дій, які проводяться на веб-сайті та завантажують сервер надсиланням великої кількості запитів. До них можна віднести:

• Brute force атаки - підбір паролів, PIN-кодів, ключів шифрування з метою злому. Для їхньої реалізації використовується програмне забезпечення, спеціально створене для автоматичного перебору паролів, або скрипти, які можуть автоматично генерувати й надсилати різні комбінації паролів, доки не буде знайдено правильний.
• Багаторазові запити на завантаження важких сторінок або великих файлів, які перевантажують сервер, приводячи до збою роботи веб-ресурсів і тривалого завантаження його сторінок.
• Спам - надсилання електронної пошти, коментарів, повідомлень у формах зворотного зв'язку та іншого контенту. Для цього використовуються автоматизоване ПЗ, що призводить до великої кількості відправлених запитів на кінцевий сервер.
• Веб-скрапінг - процес автоматичного збору різноманітних даних зі сторінок вебсайту, що здійснюється за допомогою різних програм і скриптів. Цей процес може спричиняти проблеми з точки зору порушення авторських прав, порушення умов використання веб-сайтів або створення навантаження на сервери.

У таких випадках, ReCaptcha працює як обмеження великої кількості запитів. Її поява ускладнює подальші автоматизовані дії, внаслідок чого запитів стає менше.

Способи обходу ReCaptcha

З огляду на особливості та принцип роботи технології ReCaptcha, обійти її можна, насамперед, змінивши свій цифровий слід у мережі. Щоб вирішувати капчу також можна використовувати спеціальні сервіси, які інтегруються в ПЗ і роблять це автоматично. Найкращий результат досягається, якщо комбінувати кілька способів.

Авторизація в Google акаунт

Якщо капча з'являється під час використання сервісів Google, наприклад, Google Пошук, Google Академія або YouTube, для її обходу найчастіше достатньо авторизуватися у своєму акаунті. Google може використовувати інформацію про акаунт користувача та його активність, щоб визначити, реальна це людина чи бот. Також це спрацює з веб-сайтами, що підтримують Гугл-авторизацію.

Однак, у низці випадків, коли від авторизованого користувача надходить надто багато запитів або за ним фіксується інша підозріла активність, ReCaptcha може з'являтися, щоб веб-ресурс упевнився в реальності користувача.

Використання сервісів для вирішення CAPTCHA

Для вирішення ReCaptcha можна використовувати спеціалізовані сервіси, які інтегруються в програмне забезпечення користувача і надають API для автоматичного вирішення капчі. Також вони можуть бути представлені у вигляді плагінів у браузері. Однак такі сервіси не сприяють більш рідкісній появі ReCaptcha і можуть використовуватися тільки як додатковий інструмент у випадках, якщо інших методів було недостатньо, щоб уникнути капчі.

На ринку існує велика кількість сервісів, що надають функціонал для автоматизованого вирішення капчі. Частина з них повністю побудована на мануальному розв'язанні, інша частина передбачає комбінацію штучного інтелекту і людської перевірки, що забезпечує більш швидкий результат. Розглянемо три найпопулярніші сервіси для вирішення ReCaptcha.

2Captcha

Цей сервіс працює за принципом ручного вирішення капчі, дає змогу розв'язувати всі наявні на даний момент капчі від Google і розпізнає їх на будь-яких сайтах. Обхід капчі здійснюється шляхом інтеграції API сервісу.

Формат оплати в сервісі 2Captcha - за вирішені капчі. Вартість - 1,00 € за 1 000 розпізнаних капч. За запевненнями розробників сервісу, середня швидкість вирішення стандартної капчі - 6 секунд.

DeathbyCAPTCHA

DeathbyCAPTCHA також можна інтегрувати у веб-додаток або програмне забезпечення за допомогою API. Сервіс працює за гібридною схемою, використовуючи систему оптичного розпізнавання символів і ручне рішення. Розробник заявляє точність рішення 90% із середнім часом відповіді від 8 до 10 секунд. Крім цього, у сервісу є особлива послуга, що забезпечує 100% точність при вирішенні капчі. У разі її активації, завдання надсилатиметься 3 різним співробітникам, щоб результат був максимально точним.

Вартість варіюється залежно від типу розв'язуваних капч. Актуальний прайс для ReCaptcha - $2,89 за 1 000 правильно вирішених капч. Користувачі не платять за ті завдання, які не були вирішені.

AZcaptcha

Цей сервіс є повністю автоматизованим і використовує алгоритми штучного інтелекту для розв'язання капч. Ефективність під час розв'язання ReCaptcha сягає понад 90%. AZcaptcha пропонує кілька пакетів, частина з яких містить необмежене розв'язання капч протягом оплаченого періоду. Вартість починається від $1 за 1000 вирішених капч від Google.

Ще однією особливістю сервісу є наявність розширень для Google Chrome і FireFox, за допомогою яких можна автоматизувати вирішення капч під час інтернет-серфінгу.

З огляду на те, що авторизація в Google акаунт працює не на всіх сайтах, а сервіси з розв'язання капчі допомагають тільки розв'язати проблему, а не уникнути її, більш доцільним варіантом обходу ReCaptcha стануть антидетектор-браузери та проксі-сервери.

Використання антидетект-браузерів

Антидетект-браузери спеціально створені для того, щоб унеможливити відстеження даних реального користувача в мережі. Їх використовують у різних сферах, як-от SEO-оптимізація, SMM-маркетинг, E-комерція, де для ефективного виконання завдань потрібне створення кількох акаунтів і можливість роботи з ними в одному робочому вікні.

Антидетект-браузери мають особливі можливості, які дають змогу налаштовувати автоматизовані дії таким чином, щоб обійти капчу і знизити ризик блокування користувача:

• Зміна фінгерпринта браузера. Під час роботи в антидетект-браузері, користувач може налаштовувати нові параметри цифрового відбитка, такі як HTTP-заголовки, тип пристрою, розмір екрана та інші дані.
• Можливість інтеграції сторонніх сервісів з вирішення капчі. Функціонал антидетект-браузерів передбачає можливість використання API для автоматичного вирішення капчі.
• Емуляція поведінки користувача. У таких браузерах є інструменти для відтворення дій, які здійснює реальна людина на сайті, наприклад: рухи миші або набір тексту. У результаті, навіть при виконанні автоматизованих дій, профіль користувача викликатиме менше підозр.
• Інтеграція проксі. Використання пулу проксі-серверів і розподіл відправки запитів, дає можливість уникнути появу капчі та блокування.

Можна виділити 5 найпопулярніших антидетект-браузерів із широким функціоналом для зміни свого цифрового відбитка, що дають змогу ефективно обходити капчу.

Dolphin {Anty}

Браузер містить функціонал спеціально для командної роботи, завдяки чому дає змогу створювати велику кількість браузерних профілів і налаштовувати для кожного з них власний цифровий відбиток. Крім того, прямо в браузері є можливість створювати скрипти автоматизації повторюваних дій, що дає змогу зменшити кількість рутинної ручної роботи.

Dolphin {Anty} пропонує широку базу реальних фінгерпринтів, завдяки чому при його використанні значно знижується ризик виникнення капчі. Це дає змогу уникати асоціації профілів, створених і функціонуючих в одному робочому просторі.

Multilogin

Антидетект-браузер містить кілька ключових особливостей, серед яких наявність можливості швидкого створення разових профілів. Це браузерні профілі, які видаляються відразу після закриття Multilogin, і підходять для виконання тимчасових коротких завдань.

Крім цього, у браузері передбачено функціонал автоматичного вимкнення небезпечних плагінів, через які може статися витік реальних даних користувача. Під час налаштування проксі, Multilogin зчитує його параметри і застосовує відповідні значення автоматично, включно з мовами браузера, часовим поясом і геолокацією. Також у браузері є "CookieRobot", який сканує сайти і збирає файли cookie автоматично.

У сукупності всі ці можливості дають змогу створити правдоподібний фінгерпринт, що згодом знижує частоту виникнення капчі.

GoLogin

Антидетект-браузер має кілька відмінних особливостей, серед яких наявність веб-версії, що дає змогу запускати і редагувати профілі на хмарному сервері, а також мобільний додаток для Android.

Також у GoLogin є зручна функція "Warpcore", корисна насамперед для командної роботи. Це рішення дає змогу запускати профілі з різними версіями браузера Orbita і відповідною версією браузерного движка. Усі невідповідності ядра браузера під час роботи в команді будуть усунуті, навіть якщо її члени використовують різні версії GoLogin і Orbita, що дає змогу уникати виявлення акаунтів, виникнення капчі через підозрілий фінгерпринт, і блокувань.

AdsPower

Для створення реалістичного фінгерпринта браузера, який не провокуватиме виникнення капчі, в AdsPower передбачено кілька корисних функцій, включно з:

• "Cookie Robot", який в автоматичному режимі відвідує сайти та збирає cookie;
• Можливість імпорту закладок з Google Chrome в окремі браузерні профілі або в усі одразу;
• Функція емуляції ручного введення під час вставки тексту з буфера обміну в поля браузера.

В антидетект-браузері можна виконати детальні налаштування фінгерпринта для окремих профілів, що забезпечує ефективне уникнення капчі.

Incogniton

Incogniton підходить як для командної роботи, так і для самостійного використання. Браузер надає користувачам функцію "Cookie Collector" для збору файлів кукі в автоматичному режимі, а також широкий перелік налаштувань фінгерпринта. Для роботи передбачено два вбудованих браузери: Sun Browser на базі Chromium і Flower Browser на рушії Firefox.

Однією з цікавих опцій браузера є функція OCR, інтегрована в Incogniton. З її допомогою користувачі можуть легко скопіювати текст із зображення, і потім вставити його як текст.

Усі антидетект-браузери пропонують кілька тарифів із різними можливостями для роботи. Розглянемо їх докладніше в порівняльній таблиці.

Використання проксі-серверів

Проксі-сервер може допомогти в обході капчі, оскільки приховує реальну IP-адресу під час надсилання запиту. Це особливо корисно для таких дій, як, наприклад, парсинг даних або викуп товарів в онлайн-магазинах. Для цих цілей використовується спеціальне ПЗ - скрапери і снікерботи, які під час своєї роботи надсилають велику кількість запитів на кінцеві сервери, що і стає причиною появи ReCaptcha.

Інтегрувавши проксі в таке ПЗ, користувач може виключити або знизити частоту появи капчі. Але важливо враховувати, що для ефективної роботи у проксі має бути ротація - процес зміни IP-адреси, або наявність пулу статичних серверів. У такому разі за однією IP-адресою не фіксуватиметься надмірно висока активність, і вона не визначатиметься системою безпеки веб-ресурсу як підозріла. У цьому контексті варто згадати дві основні категорії проксі-серверів: статичні та динамічні, і розглянути їх докладніше.

Статичні проксі для обходу капчі

Статичні проксі - постійні IP-адреси, які не змінюються, поки користувач сам не змінить конфігурацію або не вимкне їх. Також налаштувати ротацію таких проксі можна мануально в спеціальному софті, наприклад, такий функціонал пропонують снікерботи, антидетект-браузери, скрапери. У цьому разі користувачеві необхідно закупити пул IP-адрес, завантажити їх у ПЗ і налаштувати часовий інтервал для зміни.

До цієї категорії належать такі типи проксі:

• датацентр-проксі IPv4/IPv6;
• ISP-проксі.

Слід зазначити, що вони не однаково добре підходять для обходу капчі, що пов'язано з їхньою приналежністю.

Датацентр-проксі IPv4/IPv6 розташовуються в приватних центрах обробки даних. Вони не пов'язані з реальними інтернет-провайдерами, тому не зареєстровані в інтернет-реєстрах IP-адрес. Під час перевірки такої айпі-адреси, система безпеки не визначає реального провайдера і хост, через що вимагає вирішення капчі.

ISP-проксі розташовані на серверах, що належать інтернет-провайдерам, тому під час їх використання капча виникає рідше. Однак під час надсилання великої кількості запитів із такої IP-адреси також можна зіткнутися з появою капчі, оскільки така активність не буде характерною для звичайного користувача.

Динамічні проксі для обходу капчі

Динамічні проксі мають ротацію IP-адреси. Користувач, найчастіше, має можливість обирати, за яким сценарієм айпі-адреси змінюватимуться, наприклад, за часом або під час використання URL-посилання. У такому разі немає необхідності купувати пул IP-адрес. При придбанні одного проксі або тарифного плану трафіку, користувач одразу отримує доступ до пулу, в рамках якого відбуватиметься ротація IP-адрес.

До цієї категорії належать такі типи проксі:

• резидентські;
• мобільні.

Резидентські проксі розташовані на ПК реальних користувачів, які підключені до інтернету. Вони характеризуються високим ступенем довіри з боку систем безпеки веб-ресурсів, оскільки під час перевірки такої IP-адреси визначається реальний провайдер і хост, а також геолокація пристрою. Крім того, їхнє динамічне призначення дає змогу обходити ліміти запитів на одній IP-адресі, які встановлюються на веб-ресурсах, що зводить ризик появи капчі до мінімуму.

Мобільні проксі, зі свого боку, розташовуються на пристроях, що використовують мобільну мережу для виходу в інтернет. Поява капчі під час їхнього використання виключена, як і блокування, що зумовлено такою специфікою роботи мобільних мереж:

1. Користувач із мобільного пристрою відправляє запит в Інтернет.
2. Запит проходить через NAT-пристрій у мережі мобільного оператора.
3. NAT змінює вихідну IP-адресу та порти запиту на загальнодоступні дані, які належать мережі мобільного оператора.
4. Запит надсилається із загальнодоступною публічною IP-адресою та портами.
5. Коли відповідь приходить від сервера, NAT використовує інформацію про порти для направлення відповіді назад до необхідного пристрою в локальній мережі мобільного оператора.

NAT - механізм, який використовується в мобільних мережах для перетворення IP-адреси. Завдяки йому, кілька пристроїв можуть спільно використовувати одну й ту саму публічну IP-адресу мобільної мережі. Цей процес дає змогу економити адресний простір IPv4 і забезпечує ефективніше використання IP-адрес у мережах мобільного зв'язку.

Через такий принцип роботи, велика кількість запитів з однієї мобільної IP-адреси вважається нормальною, і системи безпеки вебсайтів не визначають їх як підозрілі.

Отже, мобільні проксі будуть найефективнішим рішенням для обходу капчі при виконанні автоматизованих дій або при отриманні доступу до ресурсів з просунутими системами безпеки. Їх можна використовувати в антидетект-браузерах, снікерботах, парсерах, без необхідності додаткового застосування сервісів із вирішення капчі.

Як висновок, варто зазначити, що для обходу капчі з метою мультиакаунтингу та виконання автоматизованих дій, таких як, наприклад, веб-скрапінг, знадобиться комбінація кількох методів. Найефективніше поєднання - антидетект-браузер із динамічними проксі, що дає змогу повністю міняти фінгерпринт, імітуючи діяльність різних користувачів на веб-ресурсі, унаслідок чого усуваються підозрілі патерни активності, що викликають ReCaptcha.