ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / подскажите по архитектуре высоконагруженной системы
25 сообщений из 63, страница 2 из 3
  2  все
подскажите по архитектуре высоконагруженной системы
    #38130383
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
niXmankolobok0,

т.е. 24 миллиона инсертов в час, это не много? оО
допустим. но вопрос в другом.

пусть, к примеру, миллиард. ну или сколько-то там, чтоб точно БД не успевала.

вопрос все тот же.
Ты еще поди найди этот миллиард...
...
Рейтинг: 0 / 0
30.01.2013, 12:29
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130390
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Автор, забудь по пакетный режим загрузки.
Пакетный режим в данном случае неприменим.
...
Рейтинг: 0 / 0
30.01.2013, 12:32
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130407
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alibek B
Участник
niXmanт.е. 24 миллиона инсертов в час, это не много? оО
допустим. но вопрос в другом.
В школе каникулы?

Вопрос в другом. Как эти данные попадают в БД?
...
Рейтинг: 0 / 0
30.01.2013, 12:42
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130419
niXman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
niXman
Гость
MasterZivшардинг, партицирование бд по, скажем, ветке форума.
вот! этого-то я и не знал.
нагуглил это . вроде то что нужно.
шардинг, я так понимаю, это мой случай.
...
Рейтинг: 0 / 0
30.01.2013, 12:48
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130423
niXman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
niXman
Гость
MasterZivзабудь по пакетный режим загрузки.
поясни те плиз, почему?
...
Рейтинг: 0 / 0
30.01.2013, 12:49
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130426
niXman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
niXman
Гость
Alibek B.В школе каникулы?
тебе виднее.
...
Рейтинг: 0 / 0
30.01.2013, 12:50
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130566
Фотография ЕвгенийВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ЕвгенийВ
Участник
niXmanпредставьте ситуацию, будто бы у вас онлайн-чат. в чате, у вас, ~200000 юзеров онлайн. каждый юзер, в минуту, пишет 2 сообщения.
и того, в минуту, получаем 400000 инсертов. в час получается - 24000000. ясно, что любая БД не осилит такое кол-во инсертов.

Зачем вообще хранить сообщения из чата? Нужно получать от одного и рассылать заинтересованным или всем в зависимости от ситуации. СУБД не нужна, Node.js в руки и будет счастье.
...
Рейтинг: 0 / 0
30.01.2013, 13:55
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130577
niXman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
niXman
Гость
ЕвгенийВЗачем вообще хранить сообщения из чата?
ситуация гипотетическая, жо)

по сабжу есть что сказать?
...
Рейтинг: 0 / 0
30.01.2013, 13:59
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130785
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
niXmanMasterZivзабудь по пакетный режим загрузки.
поясни те плиз, почему?

Объяснять долго, в кратце -- ты же не хочешь, чтобы
из 100 постов, попавших в буфер, все 99 постов не попали бы в БД изза ошибки в одном ?
Ты же хочешь, наверное, чтобы как только пользователь запостил что-то в форум, оно сразу же
попадало в БД (или хотябы гарантированно попадало в БД, пусть может быть и не сразу, но независимо от других постов других пользователей).
...
Рейтинг: 0 / 0
30.01.2013, 15:21
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130788
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
niXmanMasterZivшардинг, партицирование бд по, скажем, ветке форума.
вот! этого-то я и не знал.
нагуглил это . вроде то что нужно.
шардинг, я так понимаю, это мой случай.

Да, вроде бы похожая на хорошую статься.
...
Рейтинг: 0 / 0
30.01.2013, 15:23
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130789
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
..статья..
...
Рейтинг: 0 / 0
30.01.2013, 15:23
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130790
Фотография ЕвгенийВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ЕвгенийВ
Участник
niXmanподскажите, где можно почитать про "пакетный режим" для MySQL/Postgre ?

https://www.google.ru/#hl=ru&newwindow=1&safe=off&tbo=d&output=search&sclient=psy-ab&q=bulk+insert+mysql&oq=bulk+insert+mysql&gs_l=hp.12...0.0.1.3505.0.0.0.0.0.0.0.0..0.0...0.0...1c.vuUQ7uT0U7E&pbx=1&bav=on.2,or.r_gc.r_pw.r_cp.r_qf.&bvm=bv.41642243,d.bGE&fp=ead1c6aa53b2b8cb&biw=1280&bih=963
...
Рейтинг: 0 / 0
30.01.2013, 15:24
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130793
niXman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
niXman
Гость
MasterZivОбъяснять долго, в кратце -- ты же не хочешь, чтобы
из 100 постов, попавших в буфер, все 99 постов не попали бы в БД изза ошибки в одном ?
Ты же хочешь, наверное, чтобы как только пользователь запостил что-то в форум, оно сразу же
попадало в БД (или хотябы гарантированно попадало в БД, пусть может быть и не сразу, но независимо от других постов других пользователей).
это понятно.
думал, есть еще какие-то аргументы.
...
Рейтинг: 0 / 0
30.01.2013, 15:25
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38130801
niXman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
niXman
Гость
ЕвгенийВ, спасибо.
...
Рейтинг: 0 / 0
30.01.2013, 15:27
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38131008
_мод
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_мод
Гость
niXmanчто такое "Трехзвенка" ?
и вообще, про высоконагруженные системы только в книжках фантазируют? в реале никто с этим не сталкивался?
Рассуждать про высоконагруженные системы и не знать их азбуки ?
"Трехзвенка": клиент - сервер(ы) приложений - сервер БД.
Ваши 200000 клиентов общаются только с серверами приложений, которых м.б. сколько угодно
...
Рейтинг: 0 / 0
30.01.2013, 16:55
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38131012
niXman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
niXman
Гость
_модРассуждать про высоконагруженные системы и не знать их азбуки ?
я же только учусь)

понял, спасибо.
...
Рейтинг: 0 / 0
30.01.2013, 16:56
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38131098
17-77
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
17-77
Участник
niXmanпредставьте ситуацию, будто бы у вас онлайн-чат. в чате, у вас, ~200000 юзеров онлайн.
NoSql, если дело касается БД, а тут есть блог (правда в архиве, настоящий сайт удален, почему-то)
http://abrdev.com/?cat=126 " target="_blank"> http://web.archive.org/web/20120126032612/http://abrdev.com/?cat=126
...
Рейтинг: 0 / 0
30.01.2013, 17:35
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38131147
_мод
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_мод
Гость
niXmanя же только учусь)
Ни один сервер БД не поддержит 200000 одновременных коннектов. Поэтому коннектятся к БД сервера приложений в количестве ~ 10**3. А сервера приложений обслуживают в очередь всех клиентов. Масшабируется за счет увеличения этих серверов. Ессно бизнес логика тоже на серверах приложений, в БД нельзя. Все довольно сложно.
...
Рейтинг: 0 / 0
30.01.2013, 17:49
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38131166
niXman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
niXman
Гость
_мод, понятно, что клиенты не к БД коннектятся)
...
Рейтинг: 0 / 0
30.01.2013, 18:00
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38131182
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
если про инсерты, то наверно внутренние системы пиарятся :)
...
Рейтинг: 0 / 0
30.01.2013, 18:11
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38131343
zeon11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zeon11
Участник
niXman,

в журнале ][акер начиная с №7за 2012г серия из 6 статей "Учебник по высоким нагрузкам",
где реальные парни конкретно рассматривают тему.
...
Рейтинг: 0 / 0
30.01.2013, 20:01
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38131371
Фотография PL99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PL99
Участник
MasterZivniXmanпропущено...

поясни те плиз, почему?

Объяснять долго, в кратце -- ты же не хочешь, чтобы
из 100 постов, попавших в буфер, все 99 постов не попали бы в БД изза ошибки в одном ?
Ты же хочешь, наверное, чтобы как только пользователь запостил что-то в форум, оно сразу же
попадало в БД (или хотябы гарантированно попадало в БД, пусть может быть и не сразу, но независимо от других постов других пользователей).Должен заметить, что аргумент не выдерживает критики. Утилиты-загрузчики обычно понимают параметр типа -m maxerrors или ERRORS (errors to allow)
...
Рейтинг: 0 / 0
30.01.2013, 20:31
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38131373
Фотография PL99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PL99
Участник
zeon11в журнале ][акер ...<sarcasm>Очень авторитетный источник</sarcasm>
...
Рейтинг: 0 / 0
30.01.2013, 20:33
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38131742
_мод
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_мод
Гость
niXman_мод, понятно, что клиенты не к БД коннектятся)
Основная проблема - сохранить транзакцию клиента
...
Рейтинг: 0 / 0
31.01.2013, 09:31
| Ответить | Цитировать | Написать  
подскажите по архитектуре высоконагруженной системы
    #38132164
tumblerrr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tumblerrr
Участник
niXmanи того, в минуту, получаем 400000 инсертов. в час получается - 24000000. ясно, что любая БД не осилит такое кол-во инсертов.

На днях гоняли PostgreSQL. Была задача как можно быстрее залить данне для дальнейшей обработки.

Тестовая табличка из 135 полей. Файл текстовый. Индексы по 10 полям.

На ноуте CoreDuo 9400 2 ядра, ноутбучный винт 5400, Win7Pro 64.
Дефолтная установка postgre 9.2, т.е. тупо запустили инсталятор и ничего не тюнили.

Тестовых записей 1 000 000. Загрузка из файла чуть больше минуты.

Так что на нормальном железе, 400 000 инсертов это не так уж и много.
...
Рейтинг: 0 / 0
31.01.2013, 13:01
| Ответить | Цитировать | Написать  
25 сообщений из 63, страница 2 из 3
  2  все
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / подскажите по архитектуре высоконагруженной системы
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=33&msg=38130419&tid=1547727]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 47ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 58ms
get tp. blocked users:
 1ms
others: 345ms
total:  492ms
созд. / загр.: 492ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]