День добрый.

Если переменной ORhm присвоить кол-во найденных элементов функцией regexsearch. То меняется содержание строки ANDword
Если строку ORhm= ... комментирую, то строка ANDword не меняется.
Причем, если в строке поиска меньше чем 70 символов, все работает корректно.

messagebox (ANDword);
ORhm=regexsearch(-1, #pt, stemp, "(\|)";
messagebox (ANDword);

Сомнительное утверждение. Нужен код, который можно запустить, чтобы это проверить. Кусок кода ни о чём не говорит.

-1 лучше не использовать.
Если pt это не массив, то при нахождении более 1 совпадения это приведёт к ошибке, т. к. записать данные некуда. Если pt это массив, но он недостаточного размера, то это тоже приведёт к ошибке.

короче при -1, наверное pt должен быть массивом, чтобы записывать все найденные значения

Если ищется более одного совпадения, то да.