Есть такая задача, написанная для себя на fpc которая качает сайты, обрабатывает их, складывает результаты обработки в БД.
Таким образом я:
1. в переменную получаю до 2 гб, тут же обнуляю переменные, начинаю цикл сначала;
2. в переменную получаю до 100 мб, начинаю обрабатывать и результаты обработки иногда до нескольких сотен мб (не считал, так как нет нужды);
3. могу получить ноль в переменную или кодировку отличную от utf 8 (азиаты, исламисты).
В паскале я не мучался с многозадачностью, просто запускаю 30 программ. В день обрабатываю 100+ тысяч сайтов. В java вроде очень рекламируют многозадачность, хочу разделить по потокам.
Как работать с такой обработкой строк (более 100 тысяч, разный размер, куча дополнительных переменных и массивов)? Что учесть заранее? Как работать с кодировками не утф 8?