powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / ANN: видео о мифе эффективности параллельной вставки
25 сообщений из 91, страница 3 из 4
ANN: видео о мифе эффективности параллельной вставки
    #39422008
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
чччДАдминистратор, посмотрев твои видео, потребует от разработчика мигрировать программный комплекс на новую версию???
госпидя. как будто видео (или статья) прямо толкает админа на какие-то действия. Все эти тесты расчитаны на тех, кто знает, что существуют разные версии ФБ, ИБ, и так далее. И на тех, кто может делать выбор. На КОНЕЧНЫХ ПОЛЬЗОВАТЕЛЕЙ ВСЯ ЭТА ХЕРНЯ НЕ РАСЧИТАНА!
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422009
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ёп, я просто поражаюсь. конечные пользователи читают тесты о сравнении версий ИБ и ФБ? Они смотрят видео про сравнение параллельной вставки на разных архитектурах?
Ядрена мать, я был такого низкого мнения о конечных пользователях софта на ФБ! Они, оказывается, вовсю меняют конфиг ФБ, железо, и даже код их приложений (про управление транзакциями и оптимальный SQL)! ОНИ ЧИТАЮТ IBASE.RU!
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422010
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvчччДАдминистратор, посмотрев твои видео, потребует от разработчика мигрировать программный комплекс на новую версию???
госпидя. как будто видео (или статья) прямо толкает админа на какие-то действия. Все эти тесты расчитаны на тех, кто знает, что существуют разные версии ФБ, ИБ, и так далее. И на тех, кто может делать выбор. На КОНЕЧНЫХ ПОЛЬЗОВАТЕЛЕЙ ВСЯ ЭТА ХЕРНЯ НЕ РАСЧИТАНА!

И так, ни "конечным пользователям", ни разработчикам этот тест не нужен. Нужен админам:
kdvПо крайней мере он может
- оценить 2.0 vs 2.1 2.5 если сидит на 2.0

Но на мнение админов разработчикам обычно перепендикулярно.


С другой стороны - ну не зря же ты эти тесты делал. Десятки часов. Наверное, кому-то нужно. Кому?

PS: извините, если что.
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422012
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

сайт ibase.ru наполнен полезнейшей информацией. Я всех туда отправляю и сам периодически читаю-перечитываю.

Вопрос - о конкретном тесте. Ну, оценили время рестора.
И что? Кто конкретно должен учесть результаты тестирования в своей работе?
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422013
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
чччДНаверное, кому-то нужно. Кому?
ну, немцы любят такие штуки - всякие сравнения и т.п.
разработчикам тоже надо понять, что быстрее и как.

и, если бы вот это мое видео было неинтересно, не было бы топика на три страницы. Люди хотят понять, имеет смысл параллельная вставка или нет, и в каких случаях.
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422015
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvразработчикам
я имею в виду в первую очередь разработчиков систем на ФБ. Впрочем, разработчикам Firebird такие тесты тоже полезны. Обычно, если есть непонятные результаты тестов, мы их не публикуем, а спрашиваем разработчиков ФБ, "почему так".
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422016
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

твое видео интересно безотносительно цели тестирования.

Но ведь нельзя все время выезжать на талантливой игре актеров, нужно какой-то сюжет в сценарий включить, чтобы интрига была. :)
Вон, например, как когда ты терабайтную базу гонял.
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422017
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv...разработчикам Firebird такие тесты тоже полезны. Обычно, если есть непонятные результаты тестов, мы их не публикуем, а спрашиваем разработчиков ФБ, "почему так".

ОК, этот ответ полностью удовлетворил.
Спасибо, и еще раз извиняюсь за нудёж.
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422101
Коваленко Дмитрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladSS тоже интересно.
Чтобы два раза не вставать, протестировал все.



Логи, базы, XLSX, исходный код теста
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422144
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коваленко Дмитрий> Чтобы два раза не вставать, протестировал все.

О, большое спасибо. Хай живе 2.5 CS!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422147
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv> каких зависимостей?
> что значат "зависимости" в твоем понимании? FK? Триггеры?

Да, другие таблицы с FK, триггеры с чеками и ХПами.

> нет, постоянно заливка работает

Она монопольно работает что ли?

> лично у меня была цель сравнить IB и FB. Ну и остальное.

ИМХО, на IB всем начхать. Ну может кроме ДЕ и Ко
ради потешить самолюбие, и-то сильно сомневаюсь.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422154
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов РустамИМХО, на IB всем начхать.

ну почему же, интересно знать как там конкуренты ФБ поживают.

Коваленко Дмитрий,

результаты Firebird 3 могли бы быть чуть лучше (где-то 1-3%), если бы было выключено шифрование подключения.
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422158
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денисрезультаты Firebird 3 могли бы быть чуть лучше (где-то 1-3%), если бы было выключено шифрование подключения.Ну вот что ты сравнивашь ?
1-20 шт. затрат на коннект с шифрованием - и вставка 1-10 млн записей с клиента (т.е. соотв. кол-во вызовов АПИ).
Ещё раз подумай...
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422166
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис> результаты Firebird 3 могли бы быть чуть лучше (где-то 1-3%)

Я не знаю, насколько справедливо твоё замечание,
особенно с учетом слов Влада, но даже если так, то
1-3% - это в любом случае в пределах погрешности,
мало заслуживающей внимания.

Скорее уж тут надо сравнивать на более широких
таблицах + (без индексов | c 2-3 индексами).
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422199
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коваленко Дмитрий,

я уже говорил, что результаты твоего теста - фигня какая-то. Проверил 1млн вставку СКРИПТОМ, в isql, Firebird 3.0 SS, 1 столбец bigint+пк, 16к страница.
Диск sata.
FW=ON - 70 секунд, FW=OFF - 65 секунд.
А у тебя на RAM-диске - 128 секунд.
Ну да, триггера before insert у меня нет. Тем не менее.
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422212
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Почему фигня-то? Просто тест снижает влияние IO из-за HDD vs RAM.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422247
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvПроверил 1млн вставку СКРИПТОМ, в isql
То есть к собственно вставке ты примешал ещё борьбу за кэш метаданных, ACL и парсер.
Теперь осталось угадать какая из этих частей плохо распараллеливается.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422274
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvвставку СКРИПТОМ
вот это вообще не вижу смысла бенчмаркать, кого волнует производительность вставки так делать никогда не будут
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422319
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не будут - не так важно. Куда важнее сравнить
isql-скрипт c обычным вариантом через preapre.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422346
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovТо есть к собственно вставке ты примешал ещё борьбу за кэш метаданных, ACL и парсер.
ну что за....

я просто сделал скрипт с 1млн инсертов, и запустил его в isql. ОДИН раз, один isql, просто для сравнения с результатами Коваленко.
И сравнил полученные 65 секунд с его 128 секунд на RAM диске.
Какая еще борьба за кэш, и прочее?
dimitrвот это вообще не вижу смысла бенчмаркать, кого волнует производительность вставки так делать никогда не будут
да ё-мое. У Коваленко в одном коннекте 128 секунд, препарированные вставки, на РАМ диске. У меня - 65 секунд на одном коннекте, текстовые инсерты, на SATA.
Гаджимурадов Рустамisql-скрипт c обычным вариантом через preapre.
именно! Почему у меня скриптом в 2 раза быстрее чем prepare?

p.s. до кучи - размер кэша ФБ на рестор не влияет, соответственно на тест инсертов он тоже влиять не будет. Поэтому никакого смысла задирать кэш суперсерверу в этом тесте не было.
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422358
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv> я просто сделал скрипт с 1млн инсертов

Даже EB/SP было бы лучше, наверное.

> Почему у меня скриптом в 2 раза быстрее чем prepare?

Ежа с ужом. У вас компы разные, всё разное.
Размер кеша на простые инсерты и не должен
влиять, за какими-то необычными случаями.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422377
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов РустамЕжа с ужом. У вас компы разные, всё разное.

то есть, Intel I7-6950X хуже AMD FX8350 ?
http://cpuboss.com/cpus/Intel-6950X-vs-AMD-FX-8350

база в RAM хуже SATA? Когда разница в 2 раза ! в голове должно возникнуть подозрение, что "что-то тут не так". Я считаю, что если C# в 2 раза медленнее скрипта, значит проблема в C#.
Придется написать тест с prepare, с gen_id в скрипте, и gen_id в триггере. И сравнить между собой уже эти вещи, как минимум однопоточно.

p.s. битва! :-)
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422378
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

для начала добавь триггер :)
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422379
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvто есть, Intel I7-6950X хуже AMD FX8350 ?
http://cpuboss.com/cpus/Intel-6950X-vs-AMD-FX-8350
cpubossReasons to consider the
AMD FX 8350
Significantly higher clock speed 4 GHz vs 3 GHz Around 35% higher clock speed
Higher turbo clock speed 4.2 GHz vs 3.5 GHz More than 20% higher turbo clock speed
...
Рейтинг: 0 / 0
ANN: видео о мифе эффективности параллельной вставки
    #39422384
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladдля начала добавь триггер :)
я бы добавил, но ты меня этим советом ввел в ступор. В таблице Коваленко ведь 1 столбец. А что тогда в insert писать, если есть триггер?
insert into test values (ШТО?!?!)
:-)
hvladReasons to consider the
там же написано, что в одноядерном режиме они почти эквивалентны. А вот 128 секунд и 65 секунд - не эквивалентны.
...
Рейтинг: 0 / 0
25 сообщений из 91, страница 3 из 4
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / ANN: видео о мифе эффективности параллельной вставки
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]