Автоматизация на сайтах в фовом режиме. Возможные проблемы и их решение.

//Включаем вывод Python (Не обязательно. Для отладки)
enableconsolepython(1, 1, 10, 200, 1300, 400);

//Запускаем Python
if (runpython()==0){messagebox ("Не удалось запустить Python"); goto er;}//Запускаем интерпретатор Python

//Выполняем скрипт Python
__python_sync
#Импорт
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

#Запускаем консольный браузер PhantomJS и указываем параметры окна
web = webdriver.PhantomJS(r'C:/Program Files (x86)/Kibor/phantomjs/bin/phantomjs.exe')
web.set_window_size(1024, 768)

#Максимальное время на загрузку страницы
web.set_page_load_timeout(12)

#Переходим на Гугл
web.get('https://www.google.com')

#Получаем код страницы
main_page = web.page_source

#Делаем скрин страницы
web.save_screenshot('C:/Program Files (x86)/Kibor/test/screen1.png')

#Находим поле для ввода запроса
element = web.find_element_by_name('q')

#Вводим в него 'Программируемый кликер Кибор'
element.send_keys('Программируемый кликер Кибор')

#Нажимаем ENTER
element.send_keys(Keys.ENTER)
__end_python

//Эти действия для управления не обязательны
//Получаем код сраницы в переменную Кибор
string main_page=sendgetpython("print(main_page)");


//Сохраняем код в файл
if (fopen ("C:/Program Files (x86)/Kibor/test/Page.txt", "w")!=0)
{
fwrite(main_page);
fclose();
}

//Выполняем скрипт Python
__python_sync
#Делаем скрин с выдачей поиска
web.save_screenshot('C:/Program Files (x86)/Kibor/test/screen2.png')

#Находим на странице ссылку на kibor-bot.com и кликаем на нее
web.find_element_by_partial_link_text('kibor-bot.com').click()

#Делаем скрин с kibor-bot.com
web.save_screenshot('C:/Program Files (x86)/Kibor/test/screen3.png')

#Завершаем работу с браузером
web.quit()
__end_python

//Завершаем работу с Python
closepython();

messagebox ("Готово");
//Выключаем вывод Python
er: disableconsolepython();

//Включаем вывод Python (Не обязательно. Для отладки)
enableconsolepython(1, 1, 10, 200, 1300, 400);

//Запускаем Python
if (runpython()==0){messagebox ("Не удалось запустить Python"); goto er;}//Запускаем интерпретатор Python

//Выполняем скрипт Python
__python_sync
#Импорт
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

#Запускаем браузер Firefox
web = webdriver.Firefox(executable_path='C:\Program Files (x86)\Kibor\python\webdriver\geckodriver.exe', firefox_binary='C:\Program Files (x86)\Mozilla Firefox\Firefox.exe')

#Максимальное время на загрузку страницы
web.set_page_load_timeout(12)

#Переходим на betcityru.com
web.get('https://betcityru.com/ru/live/table-tennis')

#Получаем код страницы и кодируем в utf-8
main_page = web.page_source.encode('utf-8')
#main_page = web.page_source

#Делаем скрин страницы
web.save_screenshot('C:/Program Files (x86)/Kibor/test/screen1.png')
__end_python



//Эти действия для управления не обязательны
//Получаем код сраницы в переменную Кибор
string main_page=sendgetpython("print(main_page)");

if (fopen ("C:/Program Files (x86)/Kibor/test/Page hex.txt", "w")!=0)
{
fwrite(main_page);
fclose();
}


//Коныертируем ее
string Page;
strhextodec(CONVERT_T, main_page, "\x", #Page);

if (fopen ("C:/Program Files (x86)/Kibor/test/Page utf-8.txt", "w")!=0)
{
fwrite(Page);
fclose();
}

Page=utf8toansi(Page);

//Сохраняем код в файл
if (fopen ("C:/Program Files (x86)/Kibor/test/Page.txt", "w")!=0)
{
fwrite(Page);
fclose();
}




//Завершаем работу с Python
closepython();

messagebox ("Готово");
//Выключаем вывод Python
er: disableconsolepython();

int P=getcontrol(CHECK_0);
if (P==0)
{
+HIDE0>
//Включаем вывод Python (Не обязательно. Для отладки)
enableconsolepython(1, 1, 10, 200, 1300, 400);

//Запускаем Python
if (runpython(0)==0){messagebox ("Не удалось запустить Python"); goto er;}//Запускаем интерпретатор Python

//Выполняем скрипт Python
__python_sync
#Импорт
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

#Запускаем консольный браузер PhantomJS и указываем параметры окна
web = webdriver.PhantomJS(r'C:/Program Files (x86)/Kibor/phantomjs/bin/phantomjs.exe')
web.set_window_size(1024, 768)

#Максимальное время на загрузку страницы
web.set_page_load_timeout(20)

#Переходим на rozetka.com.ua
web.get('https://bt.rozetka.com.ua/bigbt/c80080/')

#Получаем код страницы и кодируем в utf-8
main_page = web.page_source.encode('utf-8')
__end_python
}
else
{
__python_sync
#Получаем код страницы и кодируем в utf-8
main_page = web.page_source.encode('utf-8')
__end_python
}

//Эти действия для управления не обязательны
//Получаем код сраницы в переменную Кибор
string main_page=sendgetpython("print(main_page)");
/*
if (fopen ("C:/Program Files (x86)/Kibor/test/Page hex.txt", "w")!=0)
{
fwrite(main_page);
fclose();
}
*/

//Коныертируем ее
string Page;
strhextodec(CONVERT_T, main_page, "\x", #Page);
/*
if (fopen ("C:/Program Files (x86)/Kibor/test/Page utf-8.txt", "w")!=0)
{
fwrite(Page);
fclose();
}
*/
Page=utf8toansi(Page);
regexreplace(-1, #Page, Page, " ", " ");
//Сохраняем код в файл
if (fopen ("C:/Program Files (x86)/Kibor/test/Page.txt", "w")!=0)
{
fwrite(Page);
fclose();
}
/HIDE0>

new char byte_Page[size(Page)+1];
strcpy(#byte_Page[0], Page);
byte_Page[size(Page)]=0;
int N=0;

int kml=0;
string picture[10000], link[10000], description_link[10000], description[10000], price[10000];
string R_picture[2], R_link[2], R_description_link[2], R_description[2], R_price[2];
loop()
{
if (kml==10000) break;

//description
//<a apprzroute="" class="goods-tile__picture" href="https://rozetka.com.ua/lenovo_81ut00hkra/p232347067/">
R_description_link[0]="<a apprzroute=\^"\^" class=\^"goods-tile__picture\^" href=^"";
R_description_link[1]="^">";
if (regexsearch(1, #description_link[kml], #byte_Page[N], "(?<="+R_description_link[0]+")(.+?)(?="+R_description_link[1]+")")==0) break;
N=N+regexend(0);

//picture
//<img class="lazy_img_hover display-none" data-url="https://i2.rozetka.ua/goods/19089514/copy_lenovo_81ut00hdra_5f08b5ee27110_images_19089514669.jpg" alt="Ноутбук Lenovo IdeaPad S145-15API (81UT00HKRA) Granite Black" title="Ноутбук Lenovo IdeaPad S145-15API (81UT00HKRA) Granite Black">
R_picture[0]="<img class=^"lazy_img_hover display-none^" data-url=^"";
R_picture[1]="^" alt";
regexsearch(1, #picture[kml], #byte_Page[N], "(?<="+R_picture[0]+")(.+?)(?="+R_picture[1]+")");
N=N+regexend(0);

//description
//title="Ноутбук Lenovo IdeaPad S145-15API (81UT00HKRA) Granite Black">
R_description[0]="title=^"";
R_description[1]="^">";
regexsearch(1, #description[kml], #byte_Page[N], "(?<="+R_description[0]+")(.+?)(?="+R_description[1]+")");
N=N+regexend(0);

//price
//<span class="goods-tile__price-value"> 23 499 </span>
R_price[0]="<span class=^"goods-tile__price-value^"> ";
R_price[1]=" </span>";
regexsearch(1, #price[kml], #byte_Page[N], "(?<="+R_price[0]+")(.+?)(?="+R_price[1]+")");
N=N+regexend(0);

kml++;
}

if (fopen ("C:/Program Files (x86)/Kibor/test/list.txt", "w")!=0)
{
for (int n=0; n<kml; n++)
{
fwrite(description[n]); fwrite (ENDL);
fwrite(picture[n]); fwrite (ENDL);
fwrite(description_link[n]); fwrite (ENDL);
fwrite(price[n]); fwrite (ENDL);
fwrite (ENDL);
}
fclose();
}

//Завершаем работу с браузером
//if (P==0)sendgetpython("web.quit()");


messagebox ("Готово");
//Выключаем вывод Python
er: disableconsolepython();



CREATE_INTERFACE
{
DIALOG "Название окна" 237 180 //РазмерX РазмерY
BUTTONSCRIPT "Запустить" 125 121 100 25 //ПозицияX ПозицияY РазмерX РазмерY
//Добавление контролов управления ......
CHECK_0 1 /*Выключена*/ "Подключаться" 10 130 105 18 //ПозицияX ПозицияY РазмерX РазмерY

}

int P=getcontrol(CHECK_0);

int Image[3000][10000];
int Z_N[14][13];
int Z_N1[14][13];
int X_image, Y_image;
int X1, Y1, X2, Y2;
int r=10, p=100;
string Text;
loadsymbolbase ("C:\Program Files (x86)\Kibor\test\res\base.sib");
loadimage (#Z_N[0][0], "C:\Program Files (x86)\Kibor\test\res\Z_N.bmp");//Угол большой таблички с номером
loadimage (#Z_N1[0][0], "C:\Program Files (x86)\Kibor\test\res\Z_N1.bmp");//Угол поля с номером на странице



if (P==0)
{
-HIDE0>
//Включаем вывод Python (Не обязательно. Для отладки)
enableconsolepython(1, 1, 10, 200, 1300, 400);

//Запускаем Python
if (runpython(0)==0){messagebox ("Не удалось запустить Python"); goto er;}//Запускаем интерпретатор Python

//Выполняем скрипт Python
__python_sync
#Импорт
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

#Запускаем консольный браузер PhantomJS и указываем параметры окна
web = webdriver.PhantomJS(r'C:/Program Files (x86)/Kibor/phantomjs/bin/phantomjs.exe')
web.set_window_size(1024, 768)

#Максимальное время на загрузку страницы
web.set_page_load_timeout(10)

#Переходим на avito.ru
web.get('https://www.avito.ru/XXXXXXXXXXXXXXXXXXXXXX')#Ссылка на страницу
time.sleep(1);

#Делаем скрин страницы
web.save_screenshot('C:/Program Files (x86)/Kibor/test/screen1.png')

xpath='/html/body/div[3]/div[1]/div[3]/div[3]/div[2]/div[1]/div/div[2]/div/div[2]/div/div/a'
element = web.find_element_by_xpath(xpath).click()
xpath='/html/body/div[3]/div[1]/div[3]/div[4]/div[2]/div[1]/div[1]/div[2]/div/div[2]/div/div/a/span'
element = web.find_element_by_xpath(xpath).click()

time.sleep(1);

#Делаем скрин страницы
web.save_screenshot('C:/Program Files (x86)/Kibor/test/screen2.png')

#Получаем код страницы и кодируем в utf-8
main_page = web.page_source.encode('utf-8')
__end_python
}
else
{
__python_sync
#Получаем код страницы и кодируем в utf-8
main_page = web.page_source.encode('utf-8')
__end_python
}
string main_page=sendgetpython("print(main_page)");

//Коныертируем ее
string Page;
strhextodec(CONVERT_T, main_page, "\x", #Page);

Page=utf8toansi(Page);
regexreplace(-1, #Page, Page, "&nbsp;", " ");
//Сохраняем код в файл
if (fopen ("C:/Program Files (x86)/Kibor/test/Page.txt", "w")!=0)
{
fwrite(Page);
fclose();
}
/HIDE0>

if (fopen ("C:/Program Files (x86)/Kibor/test/number.txt", "w")!=0)
{
fwrite(Recognize_number());
fclose();
}

//Завершаем работу с браузером
//if (P==0)sendgetpython("web.quit()");


messagebox ("Готово");
//Выключаем вывод Python
er: disableconsolepython();

function Recognize_number()
{
loadimage (PNG, #Image[0][0], "C:\Program Files (x86)\Kibor\test\screen2.png");
X_image=imagewidth(#Image[0][0]);
Y_image=imageheight(#Image[0][0]);
if (findimage(1, #Z_N1[0][0], -1, #X1, #Y1, 0, 0, X_image, Y_image, r, r, r, r, r, r, p, 1, #Image[0][0]))
{
readtext (NUM | MARK, #Text, 8, 1, -1, -1, -1, -1, -1, 0, -1, X1+50, Y1+10, X1+280, Y1+45, #Image[0][0]);
regexreplace(-1, #Text, Text, " ", "");
regexreplace(-1, #Text, Text, "-", "");
return Text;
}
if (findimage(1, #Z_N[0][0], -1, #X1, #Y1, 0, 0, X_image, Y_image, r, r, r, r, r, r, p, 1, #Image[0][0]))
{
readtext (NUM | MARK, #Text, 8, 1, -1, -1, -1, -1, -1, 0, -1, X1+5, Y1+5, X1+390, Y1+60, #Image[0][0]);
regexreplace(-1, #Text, Text, " ", "");
regexreplace(-1, #Text, Text, "-", "");
return Text;
}
return "";
}


CREATE_INTERFACE
{
DIALOG "Название окна" 237 180 //РазмерX РазмерY
BUTTONSCRIPT "Запустить" 125 121 100 25 //ПозицияX ПозицияY РазмерX РазмерY
//Добавление контролов управления ......
CHECK_0 1 /*Выключена*/ "Подключаться" 10 130 105 18 //ПозицияX ПозицияY РазмерX РазмерY

}