Чтение/запись текстового файла в unicode

external(INT, "MultiByteToWideChar", "MultiByteToWideChar", "Kernel32.dll");
external(INT, "WideCharToMultiByte", "WideCharToMultiByte", "Kernel32.dll");

string path="C:\11111.txt"; // куда сохранить файл
string encoding="utf-16"; // в какой кодировке сохранить файл

string rn=formatic(13)+formatic(10); // перенос строки
string s="Hello!!!"+rn; // строка
string ss="Привет!!!"+rn; // строка

// записать в текстовый файл в кодировке utf-16
write_u(s, path, "wb", encoding); // записать в файл строку s
write_u(ss, path, "ab", encoding); // дописать в файл строку ss
write_u("Текст, text."+rn, path, "ab", encoding); // дописать в файл 'Текст, text.'

sleep(1000);
start(path); // открыть файл
string sss=read_u(path); // прочитать содержимое файла в строку
messagebox("Содержимое файла: "+rn+sss);

string P[100];
int x=regexsearch(sizearray(P), #P[0], sss, ".*\r\n"); // разделить текст на строки
if(x>0)
{
for(int i=0; i<x; i++)messagebox(P[i]); // показать каждую строку в сообщении
}


function write_u(string S, string path, string mode, string encoding)
{
new char c[size(S)+1]; // массив для строки ascii
new char c2[sizearray(c)*2]; // массив для строки utf-16
new char c3[sizearray(c)*2]; // массив для строки utf-8
strcpy(#c[0], S);

int x=MultiByteToWideChar(1251, 0, address(#c[0]), sizearray(c), address(#c2[0]), sizearray(c2));
if(x>0)
{
if(fopen(path, mode)>0) // если файл открылся
{
if(encoding=="utf-16") // если utf-16
{
if(mode=="wb"){fwriteb(formatic(255));fwriteb(formatic(254));} // пишем маркер байтов
fwriteb(#c2[0], (x-1)*2); fclose(); // пишем всё что в массиве
}
else
{
if(encoding=="utf-8") // если utf-8
{
x=WideCharToMultiByte(65001, 0, address(#c2[0]), sizearray(c2)/2, address(#c3[0]), sizearray(c3), 0, 0);
if(x>0)
{
if(mode=="wb"){fwriteb(formatic(239));fwriteb(formatic(187));fwriteb(formatic(191));} // пишем маркер байтов юникода
fwriteb(#c3[0], x-1); fclose(); // пишем всё что в массиве
}
}
else messagebox("Недопустимый формат");
}
}
}
delete c;
delete c2;
delete c3;
}

function read_u(string path)
{
char c[999999];
int count_symbol, start_pos, x;
string S="";
if (fopen (path, "rb")!=0)
{
count_symbol=freadb(#c[0], sizearray(c)); fclose();

// Определение кодировки по маркеру последовательности байтов
if(codhexi(#c[0], 2)==65279)start_pos=2; // UTF-16 (обратный порядок байт)
else
{
if(codhexi(#c[0], 3)==12565487)start_pos=3; // UTF-8
else start_pos=0; // без маркера
}
///////

if(start_pos==2) // если UTF-16
{
count_symbol=(count_symbol-1-start_pos)/2; // количество символов в файле
new char c2[count_symbol+1];
x=WideCharToMultiByte(1251, 0, address(#c[start_pos]), count_symbol, address(#c2[0]), sizearray(c2), 0, 0);
if(x>0){S=format(#c2[0], count_symbol); delete c2;}
}
else // если UTF-8
{
count_symbol=count_symbol-4; // количество символов в файле
new char c3[count_symbol*2+1];

x=MultiByteToWideChar(65001, 0, address(#c[start_pos]), count_symbol, address(#c3[0]), sizearray(c3)); // из utf-8 в utf-16
if(x>0)
{
new char c2[x+1];
x=WideCharToMultiByte(1251, 0, address(#c3[0]), x, address(#c2[0]), sizearray(c2), 0, 0); // из utf-16 в 1251
if(x>0){S=format(#c2[0], x); delete c2;}
}
delete c3;
}
}
else messagebox("Файл не открылся");

return S;
}

external(INT, "MultiByteToWideChar", "MultiByteToWideChar", "Kernel32.dll");
external(INT, "WideCharToMultiByte", "WideCharToMultiByte", "Kernel32.dll");

string path="C:\11111.txt"; // путь к файлу в unicode
string path2="C:\22222.txt"; // куда сохранить в ansi

string s=read_u(path); // прочитать содержимое файла в строку
if(fopen(path2, "w")>0) // если файл открылся
{
fwrite(s); fwrite(ENDL); // записать строку в файл
fclose();
}
else messagebox("Файл не открылся");

function read_u(string path)
{
char c[999999];
int count_symbol, start_pos, x;
string S="";
if (fopen (path, "rb")!=0)
{
count_symbol=freadb(#c[0], sizearray(c)); fclose();
if(codhexi(#c[0], 2)==65279)start_pos=2;
else
{
if(codhexi(#c[0], 3)==12565487)start_pos=3;
else start_pos=0;
}
if(start_pos==2)
{
count_symbol=(count_symbol-1-start_pos)/2;
new char c2[count_symbol+1];
x=WideCharToMultiByte(1251, 0, address(#c[start_pos]), count_symbol, address(#c2[0]), sizearray(c2), 0, 0);
if(x>0){S=format(#c2[0], count_symbol); delete c2;}
}
else // если UTF-8
{
count_symbol=count_symbol-4;
new char c3[count_symbol*2+1];

x=MultiByteToWideChar(65001, 0, address(#c[start_pos]), count_symbol, address(#c3[0]), sizearray(c3));
if(x>0)
{
new char c2[x+1];
x=WideCharToMultiByte(1251, 0, address(#c3[0]), x, address(#c2[0]), sizearray(c2), 0, 0);
if(x>0){S=format(#c2[0], x); delete c2;}
}
delete c3;
}
}
else messagebox("Файл не открылся");
return S;
}

#define CP_UTF8 65001
#define CP_ACP 0
external(INT, "MultiByteToWideChar", "MultiByteToWideChar", "Kernel32.dll");
external(INT, "WideCharToMultiByte", "WideCharToMultiByte", "Kernel32.dll");


string path="C:\123.txt"; // путь к файлу в utf8
char text[999999]; // сюда запишется текст из файла

int result=read_utf8(path, #text[0], sizearray(text)); // вызов функции
if(result > 0)
{
messagebox(format(#text[0], result));
}


// принимает путь к файлу, указатель на массив char и размер массива
function read_utf8(string path_to_file, char #tchar, int size_tchar)
{
int BOM=0, count=0;
if(fopen(path_to_file, "rb")) // открыть файл для чтения
{
int count_symbol=freadb(#tchar[0], size_tchar); // прочитать файл
fclose();
if(formatci(tchar[0])==239 && formatci(tchar[1])==187 && formatci(tchar[2])==191)BOM=3; // если utf8 с bom

new char wchar[count_symbol*2];
int count2=MultiByteToWideChar(CP_UTF8, 0, address(#tchar[BOM]), count_symbol-BOM, address(#wchar[0]), sizearray(wchar)); // из utf-8 в utf-16
if(count2)count=WideCharToMultiByte(CP_ACP, 0, address(#wchar[0]), count2, address(#tchar[0]), size_tchar, 0, 0); // из utf-16 в ansi
delete wchar;

return count; // вернёт сколько записано символов в массив
}
return -1; // если файл не найден
}