ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Сравнение производительность обработки Oracle & Java
25 сообщений из 55, страница 1 из 3
  1  все
Сравнение производительность обработки Oracle & Java
    #35357531
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
Anton Demidov DPHПросто моя текущая система (одна из), так сложилось, в качестве БД использует Oracle - и я постоянно слышу от DBA (с ссылками на документацию и Кейта), что бизнес-логику эффективнее реализовать внутри БД. Правда, пояснить, почему так лучше, DBA так и не смог.
Потестируем? Только в новой ветке, а то здесь уже тесно стало.

Предлагаю создать пару таблиц по миллиону записей и сделать с ними что-нибудь (на ваш вкус) из Явы. Я, в свою очередь, напишу аналог на PL/SQL. У вас же Оракл есть - запустите пару раз и результаты тайминга сюда в форум потом на обсуждение.
В общем начал ветку. И просоединяюсь к тестированию.
...
Рейтинг: 0 / 0
05.06.2008, 17:41
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357553
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anton Demidov
Участник
Что будем обрабатывать?
...
Рейтинг: 0 / 0
05.06.2008, 17:46
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357559
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
Anton DemidovЧто будем обрабатывать?А есть какой либо простой алгоритм, который вы у себя используете?

Сами данные тоже можно сгенерить алгоритмом.
...
Рейтинг: 0 / 0
05.06.2008, 17:48
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357572
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anton Demidov
Участник
Может что-нибудь типа подсчёта остатков?
Код: plaintext
1.
--
Per rectum ad astrum
...
Рейтинг: 0 / 0
05.06.2008, 17:52
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357624
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
кул, как я люблю мерятся
нужен такой алгоритм, какой заставит процедурно колбасить данные, иначе все сведется к меренью SQL диалектов (если DPH присоединится). подсчет остатков не сведется к одному-двум SQL ?
...
Рейтинг: 0 / 0
05.06.2008, 18:15
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357654
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anton Demidov
Участник
Именно это я и хотел показать: три тайминга для
реализации на чистом SQL

реализации на PL/SQL

реализации на Java

Помнишь, тут кто-то засомневался в истинности заявлений Тома Кайта, что именно этот порядок отражает скорость обработки данных?
Я сейчас готовлю скрипты для теста.
Код: plaintext
1.
--
Per rectum ad astrum
...
Рейтинг: 0 / 0
05.06.2008, 18:27
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357684
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anton Demidov
Участник
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
-- Create tables
create table TESTBIG
(
  CLIENT       NUMBER not null,
  ORDER_ID     NUMBER not null,
  ORDER_AMOUNT NUMBER not null
);

alter table TESTBIG add constraint TESTBIG_PK primary key (CLIENT, ORDER_ID) using index;

create table TESTTOTALS
(
  CLIENT       NUMBER not null,
  CLIENT_TOTAL NUMBER
);

alter table TESTTOTALS add constraint TESTTOTALS_PK primary key (CLIENT) using index;

-- Populate with data - inserts 1 million rows. Создаёт 128 клиентов
INSERT /*+ APPEND */ INTO testbig
  (client, order_id, order_amount)
SELECT ORA_HASH(id, 127 ) client, id order_id, MOD(id, 1000 ) amt
  FROM (SELECT LEVEL id FROM dual CONNECT BY LEVEL<= 1000000 );
COMMIT;
Задача программистам на Яве - заполнить TESTTOTALS суммой ORDER_AMOUNT из TESTBIG.

P.S.
Я тут особо не заморачивался - если есть желание что-то усложнить - предложения в студию.
...
Рейтинг: 0 / 0
05.06.2008, 18:41
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357697
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
Anton DemidovИменно это я и хотел показать: три тайминга для
реализации на чистом SQL

реализации на PL/SQL

реализации на Java

Помнишь, тут кто-то засомневался в истинности заявлений Тома Кайта, что именно этот порядок отражает скорость обработки данных?
Я сейчас готовлю скрипты для теста.
Код: plaintext
1.
--
Per rectum ad astrum



зачем ? такой тест есть в книге Кайта со всеми пояснениями за счет каких архитектурных особеностей оракла получаются такие результаты. тут все ясно, сомневающихся отправим читать Кайта, а не "одна бабка сказала".

имхо было бы гораздо интересней взять реальную задачу и реализовать средствами pl/sql и апп-сервером/java и замерить, кол-во кода, скорость и т.п. просто меня волнует, чтоб задачка не сведась к одному SQL и апп-сервер просто бы не распечатал результат выданый субд.
...
Рейтинг: 0 / 0
05.06.2008, 18:46
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357719
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anton Demidov
Участник
Yo.!зачем ? такой тест есть в книге Кайта со всеми пояснениямиАх если бы это было возможно в обязательном порядке заставлять всех читать Кайта перед началом работы с Ораклом. К сожалению, это совершенно нереально. А так я им предлагаю шанс самим попробовать. Собственный опыт - он ценнее.
...
Рейтинг: 0 / 0
05.06.2008, 18:54
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357740
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anton Demidov
Участник
Извините, забыл команды сбора статистики во избежание недоразумений
Код: plaintext
1.
2.
3.
4.
BEGIN
  DBMS_STATS.gather_table_stats(user,'TESTBIG',method_opt => 'for all indexed columns size auto' ,cascade => true);
  DBMS_STATS.gather_table_stats(user,'TESTTOTALS',method_opt => 'for all indexed columns size auto' ,cascade => true);
END;
/

Теперь я жду от VoDA код на Яве.
...
Рейтинг: 0 / 0
05.06.2008, 19:02
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357748
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
у меня такое предложение. сгенерить побольше табличку, чтоб она гарантирована сильно не влезла бы в память, миллионов на 500 записей, там одно поле телефона. задача распарсить тучу вариантов написания номера телефона и разложить код страны и очищеный номер по разным полям. не знаю умеет ли db2 regexp в SQL, но можно 2 варианта проверить - с regexp в SQL и с запретом на использования regexp. вот тут на апп-сервер и замерим, как ему понравится тягать гигобайты в свою память.
...
Рейтинг: 0 / 0
05.06.2008, 19:03
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357857
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
Anton DemidovАх если бы это было возможно в обязательном порядке заставлять всех читать Кайта перед началом работы с Ораклом.
Читать - недостаточно, надо еще понять.
...
Рейтинг: 0 / 0
05.06.2008, 20:08
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35357994
DPH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH
Гость
Не, давайте лучше скользящее среднее посчитаем. Еще и c парой десятков дополнительных правил расчета, зависящих от фазы луны ;) А лучше даже не одно, а штук десять разных средних.

И, например, в таблицу добавляются значения со скоростью 100 в секунду (поштучно, в транзакциях), а запросы на, например, среднее отклонение скользящих средних за последние пять секунд приходят со скоростью 200 в секунду ;)

А еще могу вспомнить бизнес-логику со старого проекта и вытащить правила расчета ставок в английском букмекерском бизнесе. И некоторые правила risk-managmentа там же.

И реализовать нужно все на чистом SQL, разумеется.
...
Рейтинг: 0 / 0
05.06.2008, 22:05
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358060
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anton Demidov
Участник
Вы отвлекаетесь от основной задачи этого тестирования - сравнить скорость PL/SQL и Java.
Решение на чистом SQL будет дано здесь, но только вне конкурса. Мы все (я надеюсь) прекрасно понимаем, что оно будет быстрее всех.

Очевидно, что чем дальше мы отходим от реляционных задач (это к вашей "фазе луны"), тем выгоднее использовать универсальные ЯП типа С или Явы. С другой стороны, чем больше данных вам надо перебрать (это я по поводу таблицы на пол милиарда записей, предложенной Yo.! ), тем "ближе" надо находится к БД для уменьшения издержек на пересылку данных.
Код: plaintext
1.
--
Per rectum ad astrum
...
Рейтинг: 0 / 0
05.06.2008, 22:59
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358140
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
2Anton Demidov

несогласная я, если мы чуток усложним задачу, не только последние 5 секунд, но и в сравнении с 30-60-200 минут - так чтоб необходимо было тащить данные из субд, а не из кеша апп-сервера, то готовые алгоритмы не компенсируют оверхед доступа к данным. только это на порядок сложней тест и скорее всего уткнется в тюнинг субд, а не языков.
...
Рейтинг: 0 / 0
06.06.2008, 00:26
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358151
DPH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH
Гость
Увы, а у меня именно такого типа бизнес-логика, уже который проект. И нужны данные, не поверите, именно за последние несколько секунд, а не за месяц/год. И данные легко помещаются в оперативную память одного сервера. Впрочем, если добавить всю бизнес-логику, то, думаю, все равно Java будет быстрее (когда появляются динамические фильтры, сложные зависимости между элементами, введенные пользователем формулы, пара десятков настроек и т.п.).

Зачем мне результаты искуственных тестов, к тому же изначально заточенных на SQL? Меня реальные задачи интересуют.

Давай уж вернемся к исходной задаче - есть большой внешний поток данных, которые нужно привести к удобному виду, собрать статистику и эту статистику куда-нибудь выложить. Антон сообщит пяток статистик, которые занимают наибольшее время в его системе и пяток - с наименьшим. И посмотрим.
С парой сотен крупных файлов.
...
Рейтинг: 0 / 0
06.06.2008, 00:49
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358152
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anton Demidov
Участник
Давайте идти от простого к сложному. Сначала разберёмся с этим примером, посмотрим на цифры. А потом начнём с обеих сторон предлагать усложнения ТЗ, призванные подчеркнуть преимущества одной либо другой технологии.
Да, по поводу кода. Там мы просто откроем курсор на TESTBIG и внутри сохраняем сумму в TESTTOTALS. Как VoDA проснётся (а у него уже ночь наступила наверняка), он запостит свой код. Потом я свой. От этого и начнём плясать.
Код: plaintext
1.
--
Per rectum ad astrum
...
Рейтинг: 0 / 0
06.06.2008, 00:50
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358183
DPH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH
Гость
Anton DemidovВы отвлекаетесь от основной задачи этого тестирования - сравнить скорость PL/SQL и Java.

Тогда задача должна быть другая. Например, матрицы перемножить 100*100 - это если арифметику измерять. Или какой-нибудь парсинг - для сравнения скорости обработки строк. По мне - лучше всего интерпретатор выражений (например, паскалевского - оно проще). С парой десятков собственных функций. И какую-нибудь сложную функцию посчитать по сотне тысяч значений (это ближе всего к скорости обработки бизнес-логики).


Решение на чистом SQL будет дано здесь, но только вне конкурса. Мы все (я надеюсь) прекрасно понимаем, что оно будет быстрее всех.

Конечно. Это именно та задача, на которую и рассчитаны SQL сервера. Другое дело, что в реальной жизни подобных запросов - меньшинство, увы. А обычно, если все делать в SQL, получаются десятки и сотни запросов по несколько страниц, сотни таблиц и т.д.


Очевидно, что чем дальше мы отходим от реляционных задач (это к вашей "фазе луны"), тем выгоднее использовать универсальные ЯП типа С или Явы. С другой стороны, чем больше данных вам надо перебрать (это я по поводу таблицы на пол милиарда записей, предложенной Yo.! ), тем "ближе" надо находится к БД для уменьшения издержек на пересылку данных.

Кто бы спорил ;)
Поэтому и приходится каждый раз решать задачу, как разделить задачу между БД, сервером приложений, Web-сервером и прочими компонентами.
...
Рейтинг: 0 / 0
06.06.2008, 01:36
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358399
The_ShadoW
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
The_ShadoW
Участник
Вы, имхо, вообще уже давно не спорите, а каждый на свой манер соглашаетесь :)
Anton Demidov уже подытожил в каком случае что и к чему склоняется. Если вы собрались тестами выявлять эти тенденции количественно - имхо, за годик разнообразного тестирования и будут какие-то показательные результаты, но не раньше.
...
Рейтинг: 0 / 0
06.06.2008, 09:40
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358577
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
Anton DemidovИзвините, забыл команды сбора статистики во избежание недоразумений
Код: plaintext
1.
2.
3.
4.
BEGIN
  DBMS_STATS.gather_table_stats(user,'TESTBIG',method_opt => 'for all indexed columns size auto' ,cascade => true);
  DBMS_STATS.gather_table_stats(user,'TESTTOTALS',method_opt => 'for all indexed columns size auto' ,cascade => true);
END;
/
Привет! что-то это у меня не запускается. На какой версии Oracle gather_table_stats работает? какой смысл применения этой команды?

У меня: Oracle XE 10.2.0
...
Рейтинг: 0 / 0
06.06.2008, 10:39
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358619
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
VoDAПривет! что-то это у меня не запускается. На какой версии Oracle gather_table_stats работает? какой смысл применения этой команды?

У меня: Oracle XE 10.2.0

статистику обновляет (на всякий случай в данном случае), в XE точно есть, пользователя в кавычках попробуй указать.
...
Рейтинг: 0 / 0
06.06.2008, 10:53
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358636
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
Anton DemidovИменно это я и хотел показать: три тайминга для
реализации на чистом SQL

реализации на PL/SQL

реализации на Java

Помнишь, тут кто-то засомневался в истинности заявлений Тома Кайта, что именно этот порядок отражает скорость обработки данных?
Я сейчас готовлю скрипты для теста.
Код: plaintext
1.
--
Per rectum ad astrum

После прочтения Кайта я понял, что эти тайминги написаны для скорости работы всего ВНУТРИ Oracle.

Говоря же про Java я имею в виду использование Java для обработки данных И JavaСУБД стартует внутри АппСервера. Таких таймингов у Кайта нет, хотя с его описанием и объяснениями я согласен.
...
Рейтинг: 0 / 0
06.06.2008, 10:59
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358649
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
Anton Demidov
Задача программистам на Яве - заполнить TESTTOTALS суммой ORDER_AMOUNT из TESTBIG.

P.S.
Я тут особо не заморачивался - если есть желание что-то усложнить - предложения в студию.

Предложение: заменить NUMBER на int для большей совместимости типов.

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
-- Create tables
create table TESTBIG
(
  CLIENT       int not null,
  ORDER_ID     int not null,
  ORDER_AMOUNT int not null
);

alter table TESTBIG add constraint TESTBIG_PK primary key (CLIENT, ORDER_ID) using index;

create table TESTTOTALS
(
  CLIENT       int not null,
  CLIENT_TOTAL int 
);

alter table TESTTOTALS add constraint TESTTOTALS_PK primary key (CLIENT) using index;
Плюс сам алгоритм генерации данных реализовать на простейших циклах - для переносимости.
...
Рейтинг: 0 / 0
06.06.2008, 11:02
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358852
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
Anton DemidovВы отвлекаетесь от основной задачи этого тестирования - сравнить скорость PL/SQL и Java.
Решение на чистом SQL будет дано здесь, но только вне конкурса. Мы все (я надеюсь) прекрасно понимаем, что оно будет быстрее всех.

Очевидно, что чем дальше мы отходим от реляционных задач (это к вашей "фазе луны"), тем выгоднее использовать универсальные ЯП типа С или Явы. С другой стороны, чем больше данных вам надо перебрать (это я по поводу таблицы на пол милиарда записей, предложенной Yo.! ), тем "ближе" надо находится к БД для уменьшения издержек на пересылку данных.
Код: plaintext
1.
--
Per rectum ad astrum
Давайте тогда уточним задачу
В то, что Oracle через SQL обработает данные быстрее чем Апп Сервер тягающий данные из этой СУБД никто не сомневается.

Изначальное описание здесь Задача обработать входящие данные.

Для упрощения задачи:
1. данные - это нечто вида CLIENT int not null, ORDER_ID int not null, ORDER_AMOUNT int not null (кстати а ORDER_AMOUNT может быть отрицательным). Внутренний формат задан жестко.
2. Входные данные поступают в виде CSV файла разделенного \',\' с переводом строки. Важно, что формат не подходит для bulk-insert операции. Сам формат может меняться, потому данные перед употребление нужно парсить.
3. Файл сжат ZIP алгоритмом. Важно, что алгоритм сжатия может меняться, потому система должна иметь возможность изменить его.
4. Строк в файле ~ 1 000 000.

Нужно получить три клиента с самой большой суммой ORDER_AMOUNT, три клиента с самам большим количеством изменений ORDER_AMOUNT (больше всего записей в файле) и три клиента имеющие самый большой средний по ORDER_AMOUNT.

Результат тупо выводится на экран.
...
Рейтинг: 0 / 0
06.06.2008, 11:57
| Ответить | Цитировать | Написать  
Сравнение производительность обработки Oracle & Java
    #35358884
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
Anton Demidov
Да, по поводу кода. Там мы просто откроем курсор на TESTBIG и внутри сохраняем сумму в TESTTOTALS. Как VoDA проснётся (а у него уже ночь наступила наверняка), он запостит свой код. Потом я свой. От этого и начнём плясать.Проснулся

Код:
Код: plaintext
1.
2.
3.
INSERT INTO testtotals 
SELECT client, SUM(order_amount) 
FROM testbig
GROUP BY client

СУБД - Apache Derby. Все работает внутри моего приложения и исключительно на Java
...
Рейтинг: 0 / 0
06.06.2008, 12:08
| Ответить | Цитировать | Написать  
25 сообщений из 55, страница 1 из 3
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Сравнение производительность обработки Oracle & Java
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=35358649&tid=1553089]:
 0ms
get settings:
 10ms
get forum list:
 11ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 45ms
get topic data:
 12ms
get forum data:
 2ms
get page messages:
 68ms
get tp. blocked users:
 2ms
others: 258ms
total:  416ms
созд. / загр.: 416ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]