Добрый день.

Каким образом можно организовать очередь задач, не используя SQL базу?

Есть вполне конкретная задача, учет показов, т.е. надо сложить показ куда-то в легкое временное хранилище на первом сервере, а потом постфактум по крону перенести и посчитать в MySQL на втором сервере.

Сейчас сервер 1 кладет показ в сервер 2 в MySQL в таблицу типа MEMORY, но этот вариант нас не устраивает, необходимо полностью изолировать первый и второй сервер.

Пробовали Memcached приспособить для этих целей, но во-первых есть лимит по размеру одного ключа, а если хранить по схеме 1 ключ = 1 показ, то надо где-то хранить карту индексов, а эта карта может разрастаться в пиковые часы и опять же не влезть в key-value БД по лимиту, плюс карта из-за мгновенно доступа может вымываться.

В общем, интересует какое-нибудь легкое хранилище или модуль к мемкэшу, в общем простое решение без экзотики.

Кто что посоветует?

Потестили сегодня RabbitMQ и как-то не очень обнадежило:

1. Громоздко.
2. Медленно.
3. Кушает CPU и память.
4. При вставке от 1 млн строк начинаются проблемы.

Может быть есть какие-то решения полегче?

Нужен вариант проще. Неужели это настолько уникальный вопрос, чтобы начать изобретать велосипед?
По сути нужна быстрая легкая база, куда можно быстро вставлять/извлекать большое количество мелких данных.

Сегодня протестировали редис:

100k строк с данными:

редис:

Вставка = 22.3 s
Чтение = 7.3 s
Чтение + удаление = 47.5 s
мускул:

Вставка = 67.439 s.
Чтение = 8s
Чтение + удаление = 43s

У редиса очень быстрая вставка, но все остальное такое как у MySQL. Этот момент очень огорчил.

Порекомендуйте как поступить.

Если ставить тип MEMORY у таблицы MySQL, то рекурсивное удаление выполняется за 37с.
Получается, что у редиса, кроме как быстрой вставки больше плюсов нет?

Заменили клиент для редиса с редиски на phpredis и ужаснулись, запись и чтение выросло в 7-8 раз!
Теперь понятно, почему были такие ужасные показатели.
Но с удалением скорость не изменилась. Как можно ускорить его процесс?

Интересный вариант, а копировать с помощью чего?