Приватные прокси IPv4 и общий пул: в чём разница для работы

Приватный доступ у серверных прокси означает закрытый вход: список адресов отдаётся только клиенту внутри кабинета, а соединение принимается после проверки привязанного адреса либо пары логина и пароля. Общий пул описывает другую сторону той же услуги: примерно 12 000 серверных адресов, между которыми система сама распределяет соединения, и попасть внутрь со стороны нельзя.

Слова «приватный» и «общий» звучат как противоположности, поэтому их постоянно смешивают в одном вопросе. Ниже разбор по частям: что именно закрывает приватность, как собран пул, чем автоматическая ротация отличается от свободного доступа к порту, кто оказывается соседом по адресу, как привязка и логин отсекают посторонних, что происходит с репутацией адреса в каждом режиме и какой режим брать под парсинг, кабинеты и почту.

Приватный доступ: три точки, где стоит проверка

Приватность у серверных прокси держится на контроле входа. Первая точка это выдача списка. Строки с адресами живут в личном кабинете, доступ к разделу выдачи открывается вместе с включённым пакетом, и наружу список не публикуется. Ни поиском, ни по прямой ссылке без учётной записи такой перечень не поднимается.

Вторая точка это сам порт. Мы принимаем соединение только после проверки: либо запрос пришёл с адреса, который клиент вписал в настройках, либо в строке подключения передана верная пара логина и пароля. Всё остальное отбивается на входе. Программа, которая наугад постучалась в порт 8000 на нашем адресе, получает отказ авторизации и никакого трафика через посредник не проводит.

Третья точка это учётная запись. Пакет привязан к аккаунту, лимит потоков считается по аккаунту, активность видна в статистике. Аккаунты с подозрительно высокой активностью ставятся на паузу до выяснения, и это часть той же приватности: пул держится в рабочем состоянии для всех, кто в нём работает.

Отсюда простой вывод: слово «приватный» описывает право на вход, и к тому, сколько адресов лежит за этим входом, оно отношения не имеет. Именно так устроен приватный доступ к серверному пулу адресов, где закрыт периметр, а ширина выхода остаётся общей на всех клиентов сервиса.

Общий пул: около 12 000 адресов и как они распределяются

Пул это рабочий набор адресов, который сервис держит в онлайне. У нас в нём порядка 12 000 активных IPv4 и SOCKS5, суточный онлайн держится примерно на той же отметке, состав обновляется в режиме реального времени. География: микс со всего мира, в списке представлены адреса более чем из 200 стран, выборка по отдельной стране не делается.

Список забирается в двух форматах. Первый подходит тем, кто вписал адрес своей машины в настройках, второй несёт авторизацию прямо в строке.

# формат под привязанный адрес
198.51.100.42:8000
198.51.100.77:8000

# формат с логином и паролем
198.51.100.42:8000:u82140:k3vqz9
198.51.100.77:8000:u82140:k3vqz9

Забрать перечень можно ссылкой или файлом. Ссылку удобно отдать программе, которая умеет подтягивать список сама, файл проще занести руками в антидетект-браузер или в чекер. Поскольку состав пула обновляется постоянно, сохранённый на диск файл со временем расходится с реальностью, и перед крупным прогоном перечень стоит перечитать.

Распределение соединений мы держим на своей стороне. Программе достаточно одной точки входа, дальше очередное соединение уходит через очередной адрес из общего набора, и порядок задаёт сама система. На стороне клиента для этого не пишется ни строки кода. Разнообразие подсетей внутри такого набора даёт то, ради чего пул и берут: частота обращений к целевой площадке размазывается по множеству точек выхода вместо одной.

Ротация внутри пула и открытый доступ к адресу: почему это разные вещи

Здесь сидит главная путаница. Ротация означает, что ваши соединения последовательно уходят через разные адреса набора. Открытый доступ означал бы, что в тот же порт с тем же адресом свободно стучится кто угодно снаружи. Первое мы делаем автоматически, второе закрыто проверкой авторизации.

Разберём на числах. Программа держит 200 потоков и обходит каталог. При ротации эти 200 соединений расходятся по нескольким сотням адресов набора, площадка видит по несколько запросов с каждой точки, счётчики частоты не срабатывают. Ни один посторонний при этом в наш порт не заходит: у него нет ни привязанного адреса, ни пары логина с паролем, и первый же его запрос обрывается на этапе проверки.

Обратная ситуация выглядит так, как выглядят публичные перечни: адрес и порт лежат в открытом виде, авторизации нет, и через одну точку одновременно идёт трафик неизвестного числа людей с неизвестными задачами. Ротация к этому отношения не имеет совсем, режимы стоят на разных осях.

Кто ещё может ходить через тот же адрес

Вопрос задают почти в каждой переписке перед покупкой, и он справедливый. Ответ такой: через тот же адрес в закрытом пуле ходят другие клиенты сервиса, у каждого из которых оплачен пакет и посчитан лимит потоков. Круг замкнутый и обозримый.

Величины тут понятные. Стандартный пакет даёт до 1000 потоков, корпоративный до 3000, пакеты по потокам между собой не складываются. Значит суммарная нагрузка на пул складывается из известных слагаемых, и когда одна учётная запись начинает выбиваться из общей картины, она ставится на паузу до выяснения. Мы смотрим на это как на гигиену набора: адреса остаются работоспособными, потому что нагрузку на них никто не разгоняет бесконтрольно.

В открытом перечне соседей посчитать нельзя вообще. Одну и ту же строку скачивают тысячи раз, дальше через порт идут прогоны, которые ставят площадку в неудобное положение, и адрес уходит в отказы за считанные часы. Сам порт при этом может отвечать, поэтому проверка на доступность показывает зелёный статус, а целевой сайт возвращает заглушку.

Отдельная деталь касается соседства по подсети. Площадка нередко считает частоту сразу по всему блоку, поэтому важно, чем занят диапазон целиком. В закрытом наборе диапазоны обслуживают клиентов сервиса с посчитанными лимитами, и нагрузка на блок остаётся предсказуемой. Подробный разбор того, как площадки смотрят на соседей по блоку, вынесен в материал про подсеть и диапазон адресов.

Ещё один вопрос из той же серии звучит так: сколько клиентов одновременно работают через одну строку списка. Точной цифры на конкретную минуту не назовёт никто, распределение соединений динамическое и зависит от того, кто сейчас в прогоне. Порядок величины задаётся другим. Набор из 12 000 адресов принимает нагрузку клиентов с потолком в 1000 потоков на стандартном пакете, и система разносит соединения по всему набору сразу, поэтому плотность на отдельную строку получается низкой. Именно это отличает работу через набор такого размера от работы через десяток адресов, купленных отдельным списком.

Привязка адреса и пара логина с паролем: как отсекаются чужие

Технически приватность включается одним из двух способов, оба доступны в пакете и переключаются в любой момент.

Первый способ это привязка адреса. В настройках кабинета указывается адрес машины, с которой пойдут запросы, и порт начинает принимать подключения только оттуда. Паролей в конфигурации софта при этом не остаётся совсем: строка подключения короткая, и утечь из неё нечему. В пакет входит одновременная привязка 2 адресов, менять их разрешено свободно прямо в настройках, поэтому переезд на другую машину закрывается правкой одного поля.

Второй способ это логин и пароль в строке. Он удобен там, где адрес рабочего места плавает: ноутбук в дороге, сервер у подрядчика, запуск из контейнера. Программа передаёт пару при каждом соединении, привязка при этом не требуется вовсе.

# доступ по привязанному адресу
curl -x http://198.51.100.42:8000 https://ifconfig.me

# доступ по логину и паролю
curl -x http://u82140:[email protected]:8000 https://ifconfig.me

# то же самое по SOCKS5, имя узла разрешается на стороне посредника
curl --socks5-hostname u82140:[email protected]:1080 https://ifconfig.me

Одна цифра влияет на планирование нагрузки. При двух привязанных адресах общий лимит потоков делится между ними пополам: пакет на 1000 даёт по 500 на каждую машину. Когда основной прогон идёт с одного сервера, вторую привязку разумнее держать свободной до момента, когда она понадобится по делу. Порядок смены привязанного адреса и переезд рабочего места разобраны отдельно, на странице про привязку своего адреса в кабинете.

Открытые перечни из поиска: чем они отличаются от закрытого набора

Сравнение напрашивается само, поэтому разберём его без обиняков. Открытый перечень собирается сканированием сети: программа проходит диапазоны, находит порты, которые отвечают без авторизации, и складывает найденное в таблицу. Никакого владельца у такого набора нет, никто за его состояние не отвечает, обновляется он ровно тогда, когда сканер прошёл в следующий раз.

Практическая картина знакома каждому, кто такой перечень хоть раз запускал в работу. Из тысячи строк отвечает малая часть. Из ответивших половина отдаёт время отклика в секунды. Из оставшихся часть подставляет в запрос служебные поля с исходным адресом, поэтому площадка видит связку и посредника, и клиента. Проверка заголовков, которые уходят через посредник, разобрана в материале про прокси с высоким уровнем анонимности.

Закрытый набор устроен ровно наоборот. Оборудование принадлежит сервису, состав обновляется в реальном времени, вход защищён авторизацией, лимиты посчитаны. Отсюда и разница в поведении под нагрузкой: прогон на 40 000 карточек доходит до конца, потому что точки выхода не отваливаются посреди работы.

Репутация адреса: как она складывается в каждом режиме

Репутация адреса это оценка, которую целевая площадка выставляет источнику запросов. Складывается она из нескольких величин: частота обращений с адреса и с его подсети, доля отказов и подозрительных ответов, поведение сессий, принадлежность блока по базам маршрутов. Величины считаются накопительно, поэтому история имеет вес.

В открытом режиме историю адресу пишет неизвестное число людей. Один прогоняет каталог в тысячу потоков, другой перебирает формы, третий держит постоянную нагрузку сутками. Оценка складывается из суммы всего этого, и повлиять на неё со стороны никак нельзя.

В закрытом режиме картина складывается из нагрузки клиентов сервиса, у каждого из которых потоки ограничены пакетом. Мы держим набор в рабочем состоянии постоянным обновлением состава: строки, которые перестали отвечать или начали получать отказы, уходят из выдачи, на их место приходят рабочие. Обновление в реальном времени работает именно на это.

Что здесь зависит от пользователя, стоит перечислить прямо, потому что половина обращений в поддержку закрывается настройками софта. Частота запросов к одному домену, число потоков, паузы между обращениями, заголовки браузера, работа с сессиями и куками. Ровный прогон на 200 потоков с паузами живёт долго. Тот же прогон на 1000 потоков без пауз получит защитную заглушку на любом наборе адресов. Под нагрузочные сценарии сбора данных мы отдельно описали, как настраивают прокси под задачи парсинга и обхода каталогов.

Как выбрать режим доступа под парсинг, кабинеты и почту

Три типовые задачи требуют разной настройки, при этом набор адресов остаётся общим. Различие сидит в способе авторизации, протоколе и числе потоков.

Парсинг. Здесь важнее всего разброс точек выхода и запас по потокам. Ставим привязку адреса на рабочий сервер, берём формат IP:PORT, включаем автоматическую ротацию внутри набора и планируем потоки от требуемой скорости обхода. Для программ, которые ходят по произвольным портам и умеют разрешать имена на стороне посредника, берём SOCKS5.

Рабочие кабинеты. Тут нужна ровная сессия и отсутствие лишних следов в заголовках. Потоков требуется немного, десятки. Профили разводятся по антидетект-браузеру, каждый профиль ходит через свою точку выхода, куки и отпечатки хранятся отдельно. Формат с логином и паролем удобнее, потому что профили нередко запускаются с разных машин.

Почта. Клиенты SMTP, IMAP и POP3 работают по TCP на портах 465, 587, 993 и 995, и через HTTP-посредник такой трафик не проходит. Берём SOCKS5, вписываем пару логина и пароля в настройках почтового клиента, потоков держим единицы. Про сокетный вариант подробно написано там, где мы разбираем прокси SOCKS5 для программ и почтовых клиентов.

Отдельно про запуск. Перед покупкой доступен бесплатный тест до 2 часов под конкретный запрос: выбирается тип прокси под свой софт, идёт регистрация в кабинете, запрос теста из меню, указание своего адреса в настройках и активация. После оплаты пакет включается примерно за 5 минут. Полный состав пакета с потоками, привязками и безлимитным трафиком описан там, где оформляется доступ к приватному пулу IPv4 и SOCKS5, а список сроков и вариантов входа собран на странице, где можно купить прокси IPv4 под свою задачу.

Частые вопросы

Что входит в прокси-пул и кому открыт доступ?

В пуле около 12 000 активных IPv4 и SOCKS5. Стандартные пакеты дают до 1000 потоков, корпоративный до 3000, пакеты по потокам между собой не складываются. Доступ к выдаче открыт только клиентам сервиса: список живёт в кабинете и появляется там вместе с включённым пакетом.

Сколько адресов можно привязать к пакету?

В стоимость входит одновременная привязка 2 адресов. Менять привязку разрешено без ограничений прямо в настройках кабинета, поэтому провайдер с меняющимся адресом работе не мешает. Помните про распределение нагрузки: при двух привязанных адресах общее число потоков делится пополам.

Прокси каких стран в списке?

Пул собран как микс со всего мира, адреса приходят из множества стран, счёт идёт на две сотни с лишним. Выборка по отдельной стране не делается. Для сбора открытых данных, работы с кабинетами и проверки собственных сайтов такая схема даёт разброс подсетей без ручной настройки.

Как понять, что режим доступа подобран верно?

Заранее предугадать поведение каждой программы и каждой площадки нельзя, поэтому перед покупкой доступен бесплатный тест до 2 часов под ваш запрос. За это время прогоняется реальная задача на своём софте: проверяется авторизация, время отклика, поведение целевого сайта при росте частоты и число потоков, которое софт держит ровно.

Дальше по разделу «Основы» логично разобрать уровни анонимности прокси и понять, что уходит в заголовках, затем посмотреть два способа доступа к пулу с разбором привязки и логина, после чего прикинуть, сколько адресов нужно под задачу при выбранном числе потоков. Когда режим доступа выбран, переходите к выбору поставщика: страница про то, где покупать прокси и на что смотреть, собирает признаки, по которым сравнивают сервисы.