Есть довольно тривиальная задача — обеспечить таргетинг объявлений по ряду критериев. Есть объявление. Допустим, такое:




Чтобы было вообще круто, решено сделать каждый критерий в виде one-to-many. То есть у объявления может быть несколько стран, несколько возрастов, несколько интересов. И вот у нас приходит клиент:




Нужно сложный запрос many-to-many, чтобы найти объявления, попадающие под все критерии этого запроса. При чём есть вариант, когда у объявления критерий не задан вообще — это значит, что он учитывает любой вариант (к примеру, если не задать страну, то будут подходить все страны)

На чём такое лучше реализовать? Подойдёт под это реляционная база? Скажем, запихать все рекламные объявления в память и сделать везде где только можно индексы? Или может рассмотреть какой-нибудь поисковый движок типа Сфинска? Думал, как это сделать на key-value движке типа Redis, но чуть не сломал голову. Как делают другие? Проектов в Интернете миллион, но нигде не нашел их архитектур.

Разумеется, всё должно летать под большими нагрузками, то есть запрос должен отрабатывать за доли секунды. Объемы где-то такие: 100к рекламных объявлений и 100млн обращений пользователей в сутки. Будет просто замечательно, если всё будет упираться только в производственные мощности, которые можно нарастить.

miksoft, одна вода от вас. 100млн обращений в сутки — это, по вашему, много? Я вас знаю? А вы меня? Я работаю именно с такими объёмами трафика на сторонних биржах. Только у них общая статистика идёт уже на миллиарды.

Совет "сделайте хоть как-нибудь" мне тоже не подходит. Сделайте что-нибудь сикась-накась, а потом при более-менее нормальном трафике всё это упадёт, если вообще заведётся. Проходили.

То что делают по-всякому — я знаю не хуже вас. Но меня интересуют детели. Не надо расписывать мне полностью реализацию. Достаточно сказать, что вот так-то и так-то можно делать быструю выборку по нескольким критериям many-to-many, и всё. Не сложно же понять, зачем флеймить, не понимаю.

miksoft,

авторЭто весьма много. Это больше чем суточная аудитория всего Яндекса.
ни в коем случае не путайте уникальные и неуникальные заходы. Представьте, сколько у яндекса на Директе неуникальных просмотров объявлений — не один миллиард в сутки. Ну да ладно, это всё оффтоп.

У меня, к сожалению, нет квалификации хайлоад-девелопера подобных систем, хотя я работаю в хайлоаде. Я писал систему аналитики (статистика заходов, кликов и кучи других параметров по датам, странам, браузерам и другим группам), которая прекрасно себя чувствовала на 3-5млн запросах в сутки. Но это довольно простая задача — логировать flat-данные и не забывать денормализовывать по разным группам. Вся нагрузка в такой системе приходится только на запись, которая идёт в память.

Здесь же совершенно другая задача. Здесь именно выборки, при чём монструозные, с большим количеством джойнов. Я могу конечно всё это дело спроектировать кое-как и даже провести синтетические тесты, но не проще ли узнать чужой опыт, чтобы не совершать глубпых ошибок...

Про денормализацию в плоскую таблицу я вас не понял. Денормализация, в моём понимании, это когда сырые данные (как раз таки их совокупность можно назвать плоской таблицой) мы группируем по полям, интересным нам для выборок, и распихиваем это в отдельные таблицы. Так по крайней мере работает моя система статистики. Но как вы хотите применить эту практику к моей задаче?

guest_20040621,

Нет чтобы подсказать, а вы всё о чужих деньгах печётесь. Я думаю, из тех здесь, кто реально разбирается в вопросах проектирования подобных проектов, так или иначе и зарабатывают хорошо и участвуют. Не вижу ничего зазорного сообщить, какая предполагаемая нагрузка ожидается. А проект я делаю самостоятельно, попутно обучаясь всем ньюансам. По поводу платной консультации — всё это может быть. Вот только я сомневаюсь, что мне прямо так всё расскажут покажут, вне зависимости от ясности изложенной мной задачи (кстати, не понимаю, что я такого спросил криво по-вашему) Поэтому я решил для начала спросить на форуме, где для людей общение и обмен знаниями это хобби, а не средство монетизации. Вы вопрос то мой читали? Я попросил не реализовать всё за меня, а сказать, как примерно такое реализовано, верна ли моя мысль насчёт составных запросов или может есть уже какие готовые движки.

miksoftНапример, нет ни слова о том, как предполагается обновлять желаемую структуру данных. Как часто, как много, какие допустимые задержки и т.п. Он же не будет вечная один раз и навсегда?

Разумеется таблицы таргетинга будут обновляться во время добавления/редактирования/удаления рекламных компаний. Насколько часто — думаю, не более 50-100к действий в сутки.

Поскольку юзеркейсы по моему вопросу гуглятся довольно туго, я до сих пор не нашёл простых решений вопроса и решил попробовать использовать в задаче движок поисковика. Продумывать многосоставные запросы и оптимизировать индексы в РСУБД — дело неблагодарное и требующее высокой квалификации, которой у меня, к сожалению, пока нет. А вот взять движок фасетного поиска и сделать из него систему таргетинга объявлений — почему бы и нет? — Чем поиск товаров по характеристикам в Яндекс.Маркете отличается от поиска объявлений? — Ровно ничем. Идеально подходит Elasticsearch с его агрегаторами, которые умеют искать по различным комбинациям характеристик, диапазонам и т.д. и т.п. Так что скоро сделаю нагрузочные тесты поисковика и ради интереса сравню с MySQL.