ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / JPA vs JDBC для высоконагруженного приложения.
18 сообщений из 68, страница 3 из 3
  3  все
JPA vs JDBC для высоконагруженного приложения.
    #37863427
Фотография Penkov Vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Penkov Vladimir
Участник
BlazkowiczТак что это вопрос к Penkov Vladimir, почему он считает SQL несовместимым с highload.

потому что 200к сложений в секунду + 40GB данных в сутки SQL не потянули
...
Рейтинг: 0 / 0
02.07.2012, 18:04:37
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863428
Фотография Penkov Vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Penkov Vladimir
Участник
Penkov VladimirBlazkowiczТак что это вопрос к Penkov Vladimir, почему он считает SQL несовместимым с highload.

потому что 200к сложений в секунду + 40GB данных в сутки SQL не потянули

+ от 100кк уникальных ключей
...
Рейтинг: 0 / 0
02.07.2012, 18:05:51
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863548
Йуный джавистЪ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Йуный джавистЪ
Участник
потому что 200к сложений в секунду + 40GB данных в сутки SQL не потянули

О каких сложениях идет речь?
...
Рейтинг: 0 / 0
02.07.2012, 20:06:30
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863571
Йуный джавистЪ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Йуный джавистЪ
Участник
А если запустить похожий бенчмарк но с выборкой какой нибудь сущности размазанной по нескольким таблицам и допустим документ из NoSQL?

Документы (то есть блобы) можно напихать в традиционную СУБД. Можно при желании индексировать по отдельным полям в блобах (postgres hstore, oracle index-by tables). В оракле есть cluster - данные физически хранятся в prejoined виде, но логически выглядят как обычные таблички.
По скорости NoSQL проиграет. Например, в MongoDb есть один глобальный лок на всю базу ( http://stackoverflow.com/questions/7506124/is-it-true-that-mongodb-has-one-global-read-write-lock).
Также предлагаю сравнить документацию по бэкапу в Postgres:
http://www.postgresql.org/docs/9.1/static/continuous-archiving.html
и в MongoDb:
http://www.mongodb.org/display/DOCS/Backups
...
Рейтинг: 0 / 0
02.07.2012, 20:31:32
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863613
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Kachalov
Участник
- не совсем понял о чем дискуссия? очередное сравнение слона и кита? Когда говорят о производительности NoSQL речь идет о производительности на больших объемах данных, о таких объемах на которых применение РСУБД либо экономически не выгодно, либо технологически проблематично. Т. е. NoSQL - это нишевое решение, которое не конкурирует с РСУБД.
...
Рейтинг: 0 / 0
02.07.2012, 21:25:28
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863643
Фотография Penkov Vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Penkov Vladimir
Участник
Йуный джавистЪпотому что 200к сложений в секунду + 40GB данных в сутки SQL не потянули

О каких сложениях идет речь?
взять число по ключу, прибавить 1, записать обратно. если ключа нет - создать.
...
Рейтинг: 0 / 0
02.07.2012, 22:10:08
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863644
Фотография Penkov Vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Penkov Vladimir
Участник
Йуный джавистЪНапример, в MongoDb есть один глобальный лок на всю базу ( http://stackoverflow.com/questions/7506124/is-it-true-that-mongodb-has-one-global-read-write-lock).
Также предлагаю сравнить документацию по бэкапу в Postgres:
http://www.postgresql.org/docs/9.1/static/continuous-archiving.html
и в MongoDb:
http://www.mongodb.org/display/DOCS/Backups


из всех noSQL решений вы выбрали худшее и сравнили с лидерами )))
сравните с hbase тогда уж
...
Рейтинг: 0 / 0
02.07.2012, 22:11:18
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863674
Кореец
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кореец
Участник
Penkov Vladimirвзять число по ключу, прибавить 1, записать обратно. если ключа нет - создать.

хитрый апдейт на 200 000 записей в секунду?
а кроме этого в табличке какие еще поля?
запись на диск или все таки только в память?

на какой машине это все делалось?
какая именно NoSQL? случайно не редис?
...
Рейтинг: 0 / 0
02.07.2012, 22:57:14
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863694
Йуный джавистЪ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Йуный джавистЪ
Участник
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
postgres=# drop sequence if exists test;
NOTICE:  sequence "test" does not exist, skipping
DROP SEQUENCE
postgres=# create sequence test;
CREATE SEQUENCE
postgres=#
postgres=#
postgres=# create or replace function seqtest() returns void as $$
postgres$# begin
postgres$# for i in 1..2000000 loop
postgres$# perform nextval('test');
postgres$# end loop;
postgres$# end;
postgres$# $$ language plpgsql;
CREATE FUNCTION
postgres=# \timing on
Timing is on.
postgres=# select seqtest();
 seqtest
---------

(1 row)


Time: 13072,983 ms
postgres=#


Это в один поток.
...
Рейтинг: 0 / 0
02.07.2012, 23:24:49
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863822
JavaPhpLover
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JavaPhpLover
Участник
1024ТимоНпропущено...

Складывается ощущение что вы ошибаетесь. Вы серьезно думаете что это просто дань моде?



это не дань моде. Это очередные грабли. SQL слишком сложен для большинства, в результате модными стали простейшие структуры данных а вся мощь SQL отброшена. Типа десяток сджойненных таблиц в запросе который сам соптимизирует и выполнит мгновенно это хуже чем самому городить сбор данных по убогим наборам ключ-значение и пытаться добиться производительности над которой в Oracle работали десятки лет.

плюсую, но это верно только для случая, когда sql может работать с террабайтами данных - а таких решений два, может три на всю планету
...
Рейтинг: 0 / 0
03.07.2012, 02:38:53
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863873
Фотография Penkov Vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Penkov Vladimir
Участник
Йуный джавистЪ
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
postgres=# drop sequence if exists test;
NOTICE:  sequence "test" does not exist, skipping
DROP SEQUENCE
postgres=# create sequence test;
CREATE SEQUENCE
postgres=#
postgres=#
postgres=# create or replace function seqtest() returns void as $$
postgres$# begin
postgres$# for i in 1..2000000 loop
postgres$# perform nextval('test');
postgres$# end loop;
postgres$# end;
postgres$# $$ language plpgsql;
CREATE FUNCTION
postgres=# \timing on
Timing is on.
postgres=# select seqtest();
 seqtest
---------

(1 row)


Time: 13072,983 ms
postgres=#



Это в один поток.


я нифига в этом не понял, что тут происходит?

суть наших изысканий. есть 1кк пользователей, по каждому много параметров (до 100, у нас избыточная запись для быстрого чтения потом). нужно при совершении некого события от пользователя посчитать это событие. событий - по 100-200к в сек.


у нас hbase был, с таким объемом он слег.
написали свою memory based БД, она вроде работает
...
Рейтинг: 0 / 0
03.07.2012, 08:23:17
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863874
Фотография Penkov Vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Penkov Vladimir
Участник
Кореец
на какой машине это все делалось?
какая именно NoSQL? случайно не редис?

там hbase в кластере
...
Рейтинг: 0 / 0
03.07.2012, 08:24:16
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863887
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Garrick
Участник
ShSergeЗа последний десяток лет, не написал ни одного селекта с меньше, чем тремя приджойненными таблицами. Исключая, ясен перец, справочник полов - Мужской(М), Женский(Ж), Неопределённый(Н). Кстати, последний иногда тоже имеет место быть.
привильно писать "оно ещё не определилось "
...
Рейтинг: 0 / 0
03.07.2012, 08:37:22
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37863894
GKS_Samara
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GKS_Samara
Участник
Добрый день, Blazkowicz!

>> Кстати, NoSQL - отличный кэш для SQL.
> Да, ну? А мы думали EhCache в Hibernate как-то по другому работает.

Ну так можно рассматривать EhCache как NoSQL БД :)

--
Алексей
JID: alxt@ya.ru
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
03.07.2012, 08:49:10
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37864166
chpasha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chpasha
Участник
Penkov Vladimirя нифига в этом не понял, что тут происходит?
он 2 миллиона раз увеличил sequence на 1
...
Рейтинг: 0 / 0
03.07.2012, 11:56:43
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37864271
Фотография Penkov Vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Penkov Vladimir
Участник
chpashaPenkov Vladimirя нифига в этом не понял, что тут происходит?
он 2 миллиона раз увеличил sequence на 1

а sequence всего 1? нужно много их
...
Рейтинг: 0 / 0
03.07.2012, 12:55:23
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37864470
chpasha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chpasha
Участник
Penkov Vladimirchpashaпропущено...

он 2 миллиона раз увеличил sequence на 1

а sequence всего 1? нужно много их
х.з. что хотел сказать автор
...
Рейтинг: 0 / 0
03.07.2012, 14:26:46
| Ответить | Цитировать | Написать  
JPA vs JDBC для высоконагруженного приложения.
    #37864790
Йуный джавистЪ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Йуный джавистЪ
Участник
а sequence всего 1? нужно много их

Создайте много сиквенсов, по одному на каждого пользователя.
х.з. что хотел сказать автор

Я хотел сказать, что для такой задачи надо использовать сиквенсы, а не столбцы таблиц.
...
Рейтинг: 0 / 0
03.07.2012, 16:20:32
| Ответить | Цитировать | Написать  
18 сообщений из 68, страница 3 из 3
  3  все
Форумы / Java [игнор отключен] [закрыт для гостей] / JPA vs JDBC для высоконагруженного приложения.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=37863822&tid=2131428]:
 0ms
get settings:
 15ms
get forum list:
 30ms
check forum access:
 7ms
check topic access:
 7ms
track hit:
 57ms
get topic data:
 22ms
get forum data:
 4ms
get page messages:
 111ms
get tp. blocked users:
 2ms
others: 352ms
total:  607ms
созд. / загр.: 607ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]