ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Нужна консультация по очень большой нагрузке
25 сообщений из 74, страница 2 из 3
  2  все
Нужна консультация по очень большой нагрузке
    #37721592
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SERG1257
Участник
авторЯ плохо выразился. А сколько разных IP в сутки и сколько, например, в секунду в пике.
Именно "разных" (по которым аггрегацию и нужно проводить).
И инфа нужна именно оперативная? С точностью до последнего запроса последней секунды?
...
Рейтинг: 0 / 0
24.03.2012, 22:46
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37721667
Берешь любую СУБД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Берешь любую СУБД
Гость
Сколько разговоров о элементарной задаче :)
...
Рейтинг: 0 / 0
25.03.2012, 01:31
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37721685
Stinger03
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Stinger03
Гость
DPH3В среднем около 150кк в среднем и до 360кк в пиках в сутки. в сукунду до 10к в пиках, но это редко. среднее что то около 2-3к в секунду.

Я плохо выразился. А сколько разных IP в сутки и сколько, например, в секунду в пике.
Именно "разных" (по которым аггрегацию и нужно проводить).
Они все разные. повторения достаточно редки. редко когда будет больше 10 повторений в сутки. поэтому в таблице будет около 150-300кк записей
...
Рейтинг: 0 / 0
25.03.2012, 03:28
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37721686
Stinger03
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Stinger03
Гость
SERG1257авторЯ плохо выразился. А сколько разных IP в сутки и сколько, например, в секунду в пике.
Именно "разных" (по которым аггрегацию и нужно проводить).
И инфа нужна именно оперативная? С точностью до последнего запроса последней секунды?
инфа нужна крайне оперативно. от нее зависит по какому алгоритму обрабатывать запрос. ответ должен быть в доли секунды - был ли такой ип и сколько раз
...
Рейтинг: 0 / 0
25.03.2012, 03:31
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37721837
sphinx_mv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sphinx_mv
Участник
Stinger03SERG1257пропущено...

И инфа нужна именно оперативная? С точностью до последнего запроса последней секунды?
инфа нужна крайне оперативно. от нее зависит по какому алгоритму обрабатывать запрос. ответ должен быть в доли секунды - был ли такой ип и сколько раз
Если смысл анализа статистики количества запросов с какого-то отдельно взятого IP-адреса за определенный период времени еще как-то просматривается (сам сталкивался), то изменение алгоритма обработки запроса в зависимости от количества ранее сделанных запросов (ака, номера текущего запроса с конкретного IP-адреса) для СУБД - как-то не очень...
...
Рейтинг: 0 / 0
25.03.2012, 13:13
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37721843
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Stinger03Они все разные. повторения достаточно редки. редко когда будет больше 10 повторений в
сутки. поэтому в таблице будет около 150-300кк записей

Обращения с двухсот миллионов уникальных IP-адресов в сутки... Гугль? Скайп? Аська?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.03.2012, 13:17
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37722271
Stinger03
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Stinger03
Гость
Dimitry Sibiryakov,

Нет, реклама и трафик.
Просто я правда говорю, что задача достаточно нетривиальная и нагрузка идет высокая.
Иногда упираемся даже в физические ограничения протоколов и железа.
...
Рейтинг: 0 / 0
25.03.2012, 22:03
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37722318
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Stinger03Нет, реклама и трафик.
Просто я правда говорю, что задача достаточно нетривиальная и нагрузка идет высокая.

300 миллионов адресов IPv4 это массив размером в гигабайт. Всё пространство адресов у IPv4
- четыре гигабайта. Оно целиком влезает в память. Что нетривиального в том, чтобы
построить в памяти дерево и повесить ему на листья счётчики? Или даже простейший массив.
16 гигабайт ОЗУ хватит чтобы посчитать по четыре миллиарда подключений в сутки с каждого
из возможных и невозможных адресов. А у тебя, как ты говоришь, количество повторных
подключений не превышает десятка.

В какие ограничения вы там упираетесь?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.03.2012, 22:46
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37782940
Bazist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bazist
Участник
Стебелек бери.
Вставляет 20 млн в секунду
на Икор7. В 20 раз быстрее
чем стд::мап
...
Рейтинг: 0 / 0
04.05.2012, 23:15
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37782943
Bazist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bazist
Участник
сегодня был тест
80 миллионов вставок за 4 секунды.
...
Рейтинг: 0 / 0
04.05.2012, 23:16
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37782979
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ДохтаР
Участник
sphinx_mvStinger03пропущено...

инфа нужна крайне оперативно. от нее зависит по какому алгоритму обрабатывать запрос. ответ должен быть в доли секунды - был ли такой ип и сколько раз
Если смысл анализа статистики количества запросов с какого-то отдельно взятого IP-адреса за определенный период времени еще как-то просматривается (сам сталкивался), то изменение алгоритма обработки запроса в зависимости от количества ранее сделанных запросов (ака, номера текущего запроса с конкретного IP-адреса) для СУБД - как-то не очень...

Нормальная и правильная постановка задачи для автоматического контроля ДДОС .
Отсуюда и разный алгоритм , что бы ненапрягаясь отдавать дедосящим факоФФ или редирект наюх
ничего другого не делая.

Stinger03, угадал ?
...
Рейтинг: 0 / 0
05.05.2012, 00:21
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37783299
sphinx_mv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sphinx_mv
Участник
ДохтаРsphinx_mvпропущено...

Нормальная и правильная постановка задачи для автоматического контроля ДДОС .
Отсуюда и разный алгоритм , что бы ненапрягаясь отдавать дедосящим факоФФ или редирект наюх
ничего другого не делая.

Ни к нормальной, ни, тем более, к правильной постановке задачи ЭТО никакого отношения не имеет.
По простой причине - решение задачи защиты сетевых ресурсов к задачам СУБД не относится...
...
Рейтинг: 0 / 0
05.05.2012, 11:15
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37786829
neoddd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
neoddd
Участник
Redis - самое то
...
Рейтинг: 0 / 0
09.05.2012, 14:13
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37786964
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SergSuper
Участник
вот думаю: может банить тех кто пишет "ХХХ - самое то" ? если человек ничего умного больше не в состоянии написать - стоит ли ему писать?
...
Рейтинг: 0 / 0
09.05.2012, 18:02
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787682
neoddd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
neoddd
Участник
Stinger03Попытаюсь обьяснить суть задачи.
Около 150-200кк запросов к серверу в сутки
Это около 1700-2300 запросов в секунду.
Задача - определить было ли уже в течении 24 часов обращение с одного и того же ИП и желательно сколько раз.
Хранить данные более 24 часов ненужно.
Что потянет подобную задачу и потянет ли вообще?

авторвот думаю: может банить тех кто пишет "ХХХ - самое то" ? если человек ничего умного больше не в состоянии написать - стоит ли ему писать?


Уважаемый модератор, по-моему я точно и полно ответил на вопрос топикстартера. Разбираю по частям:
авторЧто потянет подобную задачу
Redis

автори потянет ли вообще

- самое то.

Или нужно мануал сюда вставить? Краткость - сестра таланта!
...
Рейтинг: 0 / 0
10.05.2012, 12:58
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787687
Bazist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bazist
Участник
Такую задачу потянет обычная хештаблица.
Зачем Редис то ?
...
Рейтинг: 0 / 0
10.05.2012, 13:02
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787714
neoddd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
neoddd
Участник
BazistТакую задачу потянет обычная хештаблица.
Зачем Редис то ?

Вы собираетесь одним вебсервером обойтись? По-моему, там без фермы никак, так что будете делать хештаблицу в отдельном процессе и соответственно заново откроете Редис :)
...
Рейтинг: 0 / 0
10.05.2012, 13:08
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787855
Bazist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bazist
Участник
neoddd,

Гдеже вы такие беретесь. Какая ферма, что за бред.
Обычная хештаблица тянет 5-10 млн вставок / секунда.
Какой нибудь 286й или 386й, 90х годов завалявшийя на чердаке потянет с головой 2 тысчи вставок в секунду.
Можно взять Стебельковые алгоритмы, те 80 млн айпи адресов вставляют/апдейтят/ищут за 4,5 секунды на Икор7
в инмемори режиме. Но ТСу такая мощность просто не нужна ...
...
Рейтинг: 0 / 0
10.05.2012, 14:16
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787874
neoddd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
neoddd
Участник
BazistГдеже вы такие беретесь. Какая ферма, что за бред.

Вежливо отвечаю: ферма для обработки веб-запросов. То есть несколько веб-серверов должны иметь доступ к общей хеш-таблице, которая, получается, должна находиться в отдельном процессе. К тому же это обеспечит сохранность данных на случай падения какого-то вебсервера в ферме. Основы основ, а вы все своими алгоритмами хвалитесь.
...
Рейтинг: 0 / 0
10.05.2012, 14:24
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787877
Bazist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bazist
Участник
neoddd,

С чего вы взяли что у ТСа несколько вебсерверов и все не крутится на одной тачке ?
...
Рейтинг: 0 / 0
10.05.2012, 14:27
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787882
Bazist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bazist
Участник
Stinger03Около 150-200кк запросов к серверу в сутки


Вижу единственое число.
Видимо один сервер, одна хештаблица, зачем ферма я так и не понял.
...
Рейтинг: 0 / 0
10.05.2012, 14:28
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787896
neoddd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
neoddd
Участник
Bazist
Вижу единственое число.
Видимо один сервер, одна хештаблица, зачем ферма я так и не понял.

Это просто надо знать, что при такой нагруженности всегда несколько серверов в ферме стоит, даже если один справляется, есть fail-over.
...
Рейтинг: 0 / 0
10.05.2012, 14:34
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787910
Bazist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bazist
Участник
neoddd,

2000 запросов это вообще порожняковая нагрузка.
На этот форум думаю поболее приходит в пик и не думаю что прямо у Джуджа ферма серверов стоит.
При нормальном посоле обычный веб сервер может до полумиллиона запросов держать.
Но конечно если там не такие "разработчики" которые вместо каждой хештаблицы в коде редис лепят
...
Рейтинг: 0 / 0
10.05.2012, 14:42
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787916
neoddd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
neoddd
Участник
Stinger03SERG1257пропущено...
http://en.wikipedia.org/wiki/Server_farm
это само-собой и так сейчас работает, ибо на каждый полученный запрос формируется 3-4 от нас, обрабатывается с них инфа и выдается наружу. Но вот с некоторыми вопросами статистики выходят затыки. поэтому решил у олла проконсультироватся. коллективный разум оно сподручнее :)

Bazist, обьясните, вы предлагаете компании терять деньги и клиентов, если единственный сервер упадет или ваши сервера никогда не падают и в датацентрах электричество не пропадает?
...
Рейтинг: 0 / 0
10.05.2012, 14:45
| Ответить | Цитировать | Написать  
Нужна консультация по очень большой нагрузке
    #37787936
Bazist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bazist
Участник
neodddBazist, обьясните, вы предлагаете компании терять деньги и клиентов, если единственный сервер упадет или ваши сервера никогда не падают и в датацентрах электричество не пропадает?

Я не понимаю, вам что ТС подошел и начал плакатся в жилетку что у него падают сервера ?
У ТСа элементарная как 5 копеек задача. Откуда взялись фермы, откуда взялось решение тысячи непонятных проблем.
Все сервера падают конечно, и этот сайт раз другой лежит в дауне в месяц и ничего, живет както развивается.
...
Рейтинг: 0 / 0
10.05.2012, 14:51
| Ответить | Цитировать | Написать  
25 сообщений из 74, страница 2 из 3
  2  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Нужна консультация по очень большой нагрузке
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=37787714&tid=1552527]:
 0ms
get settings:
 9ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 36ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 66ms
get tp. blocked users:
 1ms
others: 239ms
total:  389ms
созд. / загр.: 389ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]