|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
В связи с сами знаете какими событиями потребовалось настроить полность автономное локальное рабочее место на ноуте. Нужна СУБД, попробовал поставить MySQL. Первоначальное наполнение базы - вставка 30-50 тыс. записей может длится по времени до нескольких часов. Это ужас. В качестве эксперемента попробовал Derby и HQSLDB - тот же объём записей вставляется за несколько минут. Никто не знает как этот MySQL лечить? Или может быть вместо него Oracle XE поставить? Допустимые варианты - PostgreSQL, Oracle, MySQL, MS SQL (нежелательно, но можно). На ноуте 8Гб ОЗУ. Надо ещё IDE запустить, Tomcat и ещё немного разной ерунды по-мелочам. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2020, 20:11 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Не понятно, при чем тут Java По опыту, самая частая ошибка из-за которой СУБД встает колом - Auto Commit. MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях IMHO & AFAIK ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2020, 22:46 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick, "...Ты просто не умеешь их готовить..." как ты вставляешь эти крохи данных? ну и есть отдельная ветка по mysql... ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2020, 23:11 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick, версия mysql? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2020, 23:39 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Да какая версия. Я в 1999-2000 г. вполне на Pentium с 512 Mb памяти на MySQL пару миллионы строк обрабатывал с откликом меньше десятой секунды. Правда таблица была простейшая из 3-4 целочисленный полей p.s. Первая версия вот этой БД http://iss.rybmuseum.ru/ в то время было примерно 90 тыс. предметов, 45 тыс. изображений. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2020, 23:56 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Да какая версия. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 00:16 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
вадя Garrick, версия mysql? Последняя 8-я. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 08:13 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
вадя Garrick, "...Ты просто не умеешь их готовить..." как ты вставляешь эти крохи данных? ну и есть отдельная ветка по mysql... Конечно не умею. Вот я и спрашиваю рецеп. Может чего настроить надо, а у меня всё по дефолту. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 08:15 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях Сам в шоке. Такая разница... Что-то тут не так. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 08:16 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick, как вставляешь? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 10:32 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick Leonid Kudryavtsev MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях Сам в шоке. Такая разница... Что-то тут не так. По моему опыту сталкивания с MySQL там всегда "что-то не так". Но его почему то все еще пытаются использовать в проектах чуть сложнее выборки из одной таблицы. Этот пост еще раз меня убедил, что если можно не использовать MySQL, то нужно не использовать MySQL. :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 11:48 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mad_nazgul По моему опыту сталкивания с MySQL там всегда "что-то не так". Но его почему то все еще пытаются использовать в проектах чуть сложнее выборки из одной таблицы. Этот пост еще раз меня убедил, что если можно не использовать MySQL, то нужно не использовать MySQL. :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 11:57 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
вадя Garrick, версия mysql? Ты мастер флуда? 30тыр записей вставляет 5 часов. А ты спросил про версию? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 12:15 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Как вставляем copy paste 100МБ запрос и в рамках одной транзакции все инсерты? На днях вставлял 10млн mysql8 в докере причем сразу с генерацией 12 полей UUID на все про все около 25сек. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 12:27 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick В связи с сами знаете какими событиями потребовалось настроить полность автономное локальное рабочее место на ноуте. Нужна СУБД, попробовал поставить MySQL. Первоначальное наполнение базы - вставка 30-50 тыс. записей может длится по времени до нескольких часов. Это ужас. В качестве эксперемента попробовал Derby и HQSLDB - тот же объём записей вставляется за несколько минут. Стоп-стоп. Это так не делается. Это не фиксится сразу сменой СУБД. Тыж не блондинка? Идешь в этот форум https://www.sql.ru/forum/mysql Описываешь проблему. Тебя попросят привести INSERT, DDL-таблички данные по времени (сколько транзакций в секунду). Примерные сведенья о железке (HDD/CPU/Memory) Из поинтов что посмотреть. - отключить авто-коммит (как уже сказаали) - отключить индексы на время загрузки - отключить триггеры - поиграть с двигателем (MYiSAM/InnoDb) обычно перформанс меняется сильно от смены. - посмотреть какие типы данных можно заменить на экономные BLOB/XML/JSON просто на VARCHAR - выключить Windows-активности (антивирус и индексатор документов) - разнести конкурирующие разделы (сегмент данных БД и исходный файл) на разные физические диски. Или исходный файл в быструю сеть (1Гигабит). И правильно выбрать утилиту загрузки. Обычно все (!) реально все современные DBMS имеют тулзы для быстрой загрузки CSV/SQL сырых данных из внешнего файла. Есть рекомендации по форматированию самого скрипта. В PG/MySQL есть много-строчное форматирование (1 insert + много values). Это уже в спецфорум. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 12:42 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Там не нужна разработка. Там нужен 1 девопс или админ. И 1 командная строка типа Код: java 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 20:08 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 ну ты от жизни то отстал брат) ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 20:22 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 PetroNotC Sharp, типо того)щас все так построено в приложухах консул ваулт ,тимсити и комунда по дефолту уже Если выглянуть в окно, то там вполне всё по другому. Утилиты, десктопы и ...моя хата с краю.. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 20:40 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 mayton Там не нужна разработка. Там нужен 1 девопс или админ. И 1 командная строка типа Код: java 1.
ну ты от жизни то отстал брат) какой такой mysql import)) Хочешь побольше бабла срубить? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 20:42 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Пфф... тоже мне оргазм. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 21:01 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 mayton пропущено... Хочешь побольше бабла срубить? кто ж мне его даст) Любой дурак на SpringBatch напишет. Тоже мне архитектура. А ты попробуй сложный код упростить. Это - высшее кун-фу. Знаешь как в Гонконгских боевиках. Самый лютый мастер рукопашного боя - скромненький старичок с посохом... ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 21:02 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton Я обратился именно сюда, потому как думал, что очень популярная СУБД и наверняка многие из вас уже ставили и использовали её локально на своём ноутбуке или PC, думал получить какие-то лёгкие и правильные рекомендации для чайника где-что настроить чтобы заработало. На специальном форуме сразу начнётся - покажи дамп памяти, конфиг сервера, поправь такую-то настройку в конфигурации, а я даже не представляю где эта конфигурация и как исакать эти настройки. В мои планы сейчас никак не входит изучение многотомных изданий для администраторов баз данных. Для настройки боевых серверов у нас есть специально обученные люди, которые за это деньги получают. Мне надо просто инсталлировать, запустить и использовать. Комфортоно использовать! А не этот тормоз. Я не хочу и не могу потратить кучу времени на изучение тонкостей юстировки зазора в пять сотых миллиметра с помощью кувалды. В общем, победить не удалось. Снёс нафиг, поставил вместо него OracleXE. Всё сразу взлетело, без всякого шаманства. К тому же есть уже привычные инструменты чем в саму базу заглянуть. Может быть потом, когда будет много свободного времени я попробую разобраться с этим MySQL и поставлю его ещё раз. Работают же как-то с ним люди. И очень много людей. Даже представить не могу, чтобы оно у всех так тормозило и они продолжали бы им пользоватья. Сегодня не сложилось, видно, не судьба. P.S. Если у кого-то нет реальных рекомендаций по решению проблемы, предлагаю не флудить по поводу разных фреймворков и прочих гадостей. P.S.S Данные загружал обычно скриптом из SQL файла (INSERT INTO...). Помимо очень медленной загрузки обнаружилось, что TRUNCATE TABLE тоже выполняется неимоверно долго. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 11:00 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick В общем, победить не удалось. Снёс нафиг, поставил вместо него OracleXE. Всё сразу взлетело, без всякого шаманства. К тому же есть уже привычные инструменты чем в саму базу заглянуть. Ну и зря. Есть мысль что ты просто вместо одной проблемы получишь в будущем еще несколько. Oracle - более сложен в тонком тюнинге запросов и в сборе статистики. Там просто надо понимать причинно следственную связь между ETL и вышеперечисленным. Очень конешно плохо что ты ленишся и думаешь что тебе сразу без диагностики дадут совет поставить опцию fast=true и все у тебя залетает. Ну будем посмотреть. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 11:08 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick Снёс нафиг, поставил вместо если есть такая возможность, то это прекрасно. Относись к СУБД как к машинам. Кому то подошла бэха, кому то мэрс. Если тюнить нет желания, то это тоже вариант. Удачи! ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 11:21 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick В общем, победить не удалось. Снёс нафиг, поставил вместо него OracleXE. Всё сразу взлетело, без всякого шаманства. К тому же есть уже привычные инструменты чем в саму базу заглянуть. Ну зачем так радикально, можно было в начале попробовать PostgreSQL :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 12:52 |
|
|
start [/forum/topic.php?fid=59&msg=39945195&tid=2120836]: |
0ms |
get settings: |
8ms |
get forum list: |
6ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
60ms |
get topic data: |
3ms |
get forum data: |
1ms |
get page messages: |
424ms |
get tp. blocked users: |
1ms |
others: | 293ms |
total: | 798ms |
0 / 0 |