Написал универсальный crawler, обрабатывает куки, представляется браузером, исключает зацикливание. Но столкнулся с проблемой.
Человечные сервера обрабатывают Юрл как encoded path query, сервера типа amazon,
пример
http://www.amazon.com/s/ref=sr_nr_n_3/104-5666774-2922360?ie=UTF8&rh=n%3A1036592%2Cn%3A1040660%2Cn%3A14168361%2Cn%3A1048184%2Cp%5F5%3AMaternity%2Cn%3A1048188
видят что есть значок % и с радостью считают, что ? тоже должен иметь вид %3F,
те обрабатывают ни как encoded path query, а как encoded path, что подрывает универсальность
моей схемы, хотя браузеры как то формируют правильно этот запрос.
Пробывал двумя путями
url = URIUtil.encodePathQuery(url);
так данная ссылка не пашет, но другие нормальные сайты работают.
url = URIUtil.encodePath(url);
она работает, соответственно так же не работают многие другие.
URI uri = new URI(url, false);
doGet.setURI(uri);
в этой ситуации та же хрень.
может кто встречался с проблемой?

виновен, ступил, юзайте схему
url = URIUtil.decode(url);
GetMethod doGet = new GetMethod(URIUtil.encodePathQuery(url));