Автоматизация и боты

 Помощь      Поиск      Пользователи
Сайт Кибор     Программируемый кликер Кибор     Видео обучение     Заказать бот

 Страниц (1): [1]   

> Описание: Скрипт Автоматически парсит список бесплатных прокси с сайта, проверяет их и выдает рабочий
Kibor
Отправлено: 07 Июля, 2020 - 21:58:50
Post Id



Администратор
Эксперт


Покинул форум
Сообщений всего: 8094
Дата рег-ции: Март 2013  
Откуда: Одесса
Репутация: 355




Функция получения бесплатного прокси:
Версия 6.10. Прокси Чекер Получение бесплатного прокси -(для просмотра ссылки Вам необходимо авторизоваться)
Ниже не актуально. Для демонстрации.

Простой скрипт, который парсит сайт с списком бесплатных прокси, составляет из них массив и проверяет их на работоспособность.
Позволяет легко автоматически найти рабочий бесплатный прокси не заходя ни на какие сайты вручную и не проверяя список прокси руками.

В случае нахождения рабочего прокси выдает страницу(для просмотра ссылки Вам необходимо авторизоваться) на которую скрипт заходит через это прокси и выдает IP и порт для дальнейшего использования бесплатного прокси по назначению.

Актуальный скрипт тут https://kibor-bot.com/forum/topi...51473#1644951473


CODE:
int pos_size_edit0[1][4];
string text_edit0[1];

pos_size_edit0[0][0]=10; pos_size_edit0[0][1]=9; pos_size_edit0[0][2]=221; pos_size_edit0[0][3]=20;
text_edit0[0]="Парсинг прокси...";

createdialog(0, EDIT, #pos_size_edit0[0][0], #text_edit0[0]);
showdialog(0, "Поиск прокси", 200, 200, 250, 70, 1, 1);
//////////



find_proxi();

loop()sleep(10);

function find_proxi()
{
string P[100];
string R="(?<=input type=^"checkbox^" class=^"ch^" value=^")[\d]+(\.)[\d]+(\.)[\d]+(\.)[\d]+(:)[\d]+(?=^" onclick=^"SelectProxy\(this\)^")";
int pade=1;
string T;
S:;
if (sendgetweb(#T, "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0", "GET", "http:/^/foxtools.ru", "Proxy?page="+format(pade)))
{
text_edit0[0]="Парсинг прокси...";

int k=regexsearch(100, #P[0], T, R);
if (k==0)
{
messagebox ("Прокси нет");
return;
}
for (int n=0; n<k; n++)
{
text_edit0[0]=P[n];

if (sendgetweb(P[n], #T, "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0", "GET", "https:/^/kibor-bot.com", "forum"))
{
if (T!="")
{
if (fopen (tempfolder()+"proxi.txt", "w")!=0)
{//если открылся
fwrite("Рабочий прокси "+P[n]+"^r^n"+T);
fclose();//закрываем файл
}
start(tempfolder()+"proxi.txt");
if (messageboxyn("Прокси найден.^r^nДа - Закончить поиск^r^nНет - Продолжить поиск")==1)return;
}
}
}
}
pade++;
goto S;
}


Видео работы.
 
 Top
Zireael
Отправлено: 09 Июля, 2020 - 13:14:02
Post Id



Пользователь
Эксперт


Покинул форум
Сообщений всего: 4395
Дата рег-ции: Нояб. 2017  
Репутация: 580




Тоже самое используя api и парсер json (Отобразить)
 
 Top
Kibor
Отправлено: 09 Июля, 2020 - 17:41:41
Post Id



Администратор
Эксперт


Покинул форум
Сообщений всего: 8094
Дата рег-ции: Март 2013  
Откуда: Одесса
Репутация: 355




Дополнительно показывает страну:


Получаемый JSON:
CODE:
{"response":{"pageNumber":1,"pageCount":2,"items":[{"ip":"116.66.197.228","port":8080,"type":2,"anonymity":"HighKeepAlive","uptime":2.34,"checked":"2020-07-07T06:55:28","available":"Yes","free":"Yes","country":{"nameEn":"Nepal","nameRu":"Непал","iso3166a2":"NP"}},{"ip":"200.239.64.36","port":80,"type":1,"anonymity":"HighKeepAlive","uptime":0.36,"checked":"2020-07-07T06:38:42","available":"Yes","free":"Yes","country":{"nameEn":"Brazil","nameRu":"Бразилия","iso3166a2":"BR"}},
.....................................


CODE:
IP в Json.response.items[i].ip
Порт в Json.response.items[i].port
Страна в Json.response.items[i].country.nameEn


Скрипт (Отобразить)
 
 Top
Dantes3000
Отправлено: 09 Июля, 2020 - 18:07:26
Post Id



Пользователь
Эксперт


Покинул форум
Сообщений всего: 1464
Дата рег-ции: Июнь 2016  
Репутация: 58




И пинг добавьте
 
 Top
Zireael
Отправлено: 10 Июля, 2020 - 01:36:23
Post Id



Пользователь
Эксперт


Покинул форум
Сообщений всего: 4395
Дата рег-ции: Нояб. 2017  
Репутация: 580




 Цитата:
И пинг добавьте

CODE:
Json.response.items[i].uptime
 
 Top
Kibor
Отправлено: 15 Февраля, 2022 - 20:57:53
Post Id



Администратор
Эксперт


Покинул форум
Сообщений всего: 8094
Дата рег-ции: Март 2013  
Откуда: Одесса
Репутация: 355




Доработка скрипта по поиску и проверке рабочего прокси.
Добавлен еще один сайт и ускорена работа по проверке.

Первый круг проверяет первые страницы (самые свежие) сайтов. Потом крутит бесконечно проходясь по всем доступным бесконечно. Пока не найдет или не остановишь.

Скрипт перенесен в тему
Версия 6.10. Прокси Чекер Получение бесплатного прокси
Находится под спойлером Скрипт для Поиска и пополнение базы прокси
 
 Top
Kibor
Отправлено: 16 Февраля, 2022 - 10:14:50
Post Id



Администратор
Эксперт


Покинул форум
Сообщений всего: 8094
Дата рег-ции: Март 2013  
Откуда: Одесса
Репутация: 355




Обновил. Добавил сайты доноры. https://kibor-bot.com/forum/topi...51473#1644951473
Какие то полезные, какие то пока не видел что бы там нашел прокси.
Сайты можно отключать. В коде прокомментировано.
Используется 2 метода получения информации:
1 - JSON JSON парсер
2 - Прямой парсинг страницы с помощью parser- Осуществляет поиск данных
 
 Top
Kibor
Отправлено: 19 Февраля, 2022 - 14:10:16
Post Id



Администратор
Эксперт


Покинул форум
Сообщений всего: 8094
Дата рег-ции: Март 2013  
Откуда: Одесса
Репутация: 355




Добавил сайты. Добавил настройки.
Проверенные прокси записываются в файл C:\ALL_proxi.txt
Не все они нормально рабочие, но попадаются вполне живые.
Так же можно перепроверять прокси с файла на живучесть. Если прокси не прошел перепроверку - это не означает что он не будет работать позже и наоборот.
Однако эти прокси при управление с силениума как правило в гугле нарываются на капчу. В яндекса тоже после нескольких запросов.
Тут скрипт
 
 Top
Kibor
Отправлено: 27 Февраля, 2022 - 13:51:56
Post Id



Администратор
Эксперт


Покинул форум
Сообщений всего: 8094
Дата рег-ции: Март 2013  
Откуда: Одесса
Репутация: 355




Скрипт перенесен в тему
Версия 6.10. Прокси Чекер Получение бесплатного прокси
Находится под спойлером Скрипт для Поиска и пополнение базы прокси
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 1 (гостей: 1, зарегистрированных: 0)
« Готовые скрипты »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 




Powered by