БезонНужно наиболее эффективно решить следующую задачу:
Имеются таблицы:
sites (id, domain); pages(id, site_id, path); anchors (source_page_id, target_page_id, text). Они описывают сайты, страницы на них и ссылки между страницами соответственно. Краулер ходит по инету и индексируют известные страницы, вытаскивая с них ссылки. После парсинга страницы краулеру приходится вставлять в базу некоторое количество (40-50) новых страниц (pages) сайтов ну и понятное дело ссылок. Страница (и сайт) должны вставляться только если больше нет страниц с таким же site_id, path (для сайта domain). В таблицах есть unique индекс по этим полям.
Краулеров больше 10 и все они работают с одной базой. Возникает вопрос как наиболее эффективно организовать вставку новых страниц (и сайтов).
Такое ощущение, что вы ставите ТЗ участникам форума :). Предлагаю вам сообщить подробно где конкретно возникают трудности. Или изложить ваши мысли и варианты решения для обсуждения и совета наиболее эффективного решения.

А вы это делаете с клиента или хранимкой?
Приведите часть кода, если можно.

LeXa NalBatВ хранимке можно управлять транзакциями?
А может здесь и не надо управлять транзакциями?