powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / MySQL очень медленный
25 сообщений из 92, страница 1 из 4
MySQL очень медленный
    #39944653
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В связи с сами знаете какими событиями потребовалось настроить полность автономное локальное рабочее место на ноуте. Нужна СУБД, попробовал поставить MySQL. Первоначальное наполнение базы - вставка 30-50 тыс. записей может длится по времени до нескольких часов. Это ужас. В качестве эксперемента попробовал Derby и HQSLDB - тот же объём записей вставляется за несколько минут. Никто не знает как этот MySQL лечить? Или может быть вместо него Oracle XE поставить? Допустимые варианты - PostgreSQL, Oracle, MySQL, MS SQL (нежелательно, но можно). На ноуте 8Гб ОЗУ. Надо ещё IDE запустить, Tomcat и ещё немного разной ерунды по-мелочам.
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944668
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не понятно, при чем тут Java

По опыту, самая частая ошибка из-за которой СУБД встает колом - Auto Commit.

MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях

IMHO & AFAIK
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944672
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Garrick,

"...Ты просто не умеешь их готовить..."
как ты вставляешь эти крохи данных?
ну и есть отдельная ветка по mysql...
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944677
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Garrick,

версия mysql?
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944682
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да какая версия. Я в 1999-2000 г. вполне на Pentium с 512 Mb памяти на MySQL пару миллионы строк обрабатывал с откликом меньше десятой секунды.

Правда таблица была простейшая из 3-4 целочисленный полей

p.s. Первая версия вот этой БД http://iss.rybmuseum.ru/
в то время было примерно 90 тыс. предметов, 45 тыс. изображений.
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944684
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev
Да какая версия.
тут дело в том, 5.7 и 8.хх имеют огромную разницу в производительности
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944713
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя
Garrick,

версия mysql?


Последняя 8-я.
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944714
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя
Garrick,

"...Ты просто не умеешь их готовить..."
как ты вставляешь эти крохи данных?
ну и есть отдельная ветка по mysql...

Конечно не умею. Вот я и спрашиваю рецеп. Может чего настроить надо, а у меня всё по дефолту.
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944715
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev

MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях

Сам в шоке. Такая разница... Что-то тут не так.
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944742
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Garrick,

как вставляешь?
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944784
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Garrick
Leonid Kudryavtsev

MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях

Сам в шоке. Такая разница... Что-то тут не так.


По моему опыту сталкивания с MySQL там всегда "что-то не так".
Но его почему то все еще пытаются использовать в проектах чуть сложнее выборки из одной таблицы.
Этот пост еще раз меня убедил, что если можно не использовать MySQL, то нужно не использовать MySQL. :-)
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944790
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mad_nazgul
По моему опыту сталкивания с MySQL там всегда "что-то не так".
Но его почему то все еще пытаются использовать в проектах чуть сложнее выборки из одной таблицы.
Этот пост еще раз меня убедил, что если можно не использовать MySQL, то нужно не использовать MySQL. :-)
надо просто уметь работать с базами. никаких проблем не возникает. работаю с mysql что под линуксом , что под окнами
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944802
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя
Garrick,

версия mysql?

Ты мастер флуда?
30тыр записей вставляет 5 часов.
А ты спросил про версию?
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944809
lleming
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Как вставляем copy paste 100МБ запрос и в рамках одной транзакции все инсерты?


На днях вставлял 10млн mysql8 в докере причем сразу с генерацией 12 полей UUID на все про все около 25сек.
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39944817
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Garrick
В связи с сами знаете какими событиями потребовалось настроить полность автономное локальное рабочее место на ноуте. Нужна СУБД, попробовал поставить MySQL. Первоначальное наполнение базы - вставка 30-50 тыс. записей может длится по времени до нескольких часов. Это ужас. В качестве эксперемента попробовал Derby и HQSLDB - тот же объём записей вставляется за несколько минут.


Стоп-стоп. Это так не делается. Это не фиксится сразу сменой СУБД. Тыж не блондинка?

Идешь в этот форум https://www.sql.ru/forum/mysql

Описываешь проблему. Тебя попросят привести INSERT, DDL-таблички
данные по времени (сколько транзакций в секунду). Примерные сведенья
о железке (HDD/CPU/Memory)

Из поинтов что посмотреть.
- отключить авто-коммит (как уже сказаали)
- отключить индексы на время загрузки
- отключить триггеры
- поиграть с двигателем (MYiSAM/InnoDb) обычно перформанс меняется сильно от смены.
- посмотреть какие типы данных можно заменить на экономные BLOB/XML/JSON просто на VARCHAR
- выключить Windows-активности (антивирус и индексатор документов)
- разнести конкурирующие разделы (сегмент данных БД и исходный файл) на разные физические диски. Или исходный файл в быструю сеть (1Гигабит).

И правильно выбрать утилиту загрузки. Обычно все (!) реально все современные DBMS имеют тулзы
для быстрой загрузки CSV/SQL сырых данных из внешнего файла. Есть рекомендации по форматированию
самого скрипта. В PG/MySQL есть много-строчное форматирование (1 insert + много values).

Это уже в спецфорум.
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39945026
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Там не нужна разработка. Там нужен 1 девопс или админ. И 1 командная строка типа

Код: java
1.
$ mysqlimport .....
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39945030
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zzz79
ну ты от жизни то отстал брат)
а ты всё в облаках...cloud foundry)))
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39945043
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zzz79
PetroNotC Sharp,
типо того)щас все так построено в приложухах консул ваулт ,тимсити и комунда по дефолту уже
ну это у тебя конкретно.
Если выглянуть в окно, то там вполне всё по другому.
Утилиты, десктопы и ...моя хата с краю..
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39945045
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zzz79
mayton
Там не нужна разработка. Там нужен 1 девопс или админ. И 1 командная строка типа

Код: java
1.
$ mysqlimport .....


ну ты от жизни то отстал брат)
какой такой mysql import))

Хочешь побольше бабла срубить?
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39945057
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пфф... тоже мне оргазм.
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39945058
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zzz79
mayton
пропущено...

Хочешь побольше бабла срубить?

кто ж мне его даст)

Любой дурак на SpringBatch напишет. Тоже мне архитектура. А ты попробуй сложный код упростить.

Это - высшее кун-фу. Знаешь как в Гонконгских боевиках. Самый лютый мастер рукопашного боя - скромненький
старичок с посохом...
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39945195
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton

Идешь в этот форум https://www.sql.ru/forum/mysql

Я обратился именно сюда, потому как думал, что очень популярная СУБД и наверняка многие из вас уже ставили и использовали её локально на своём ноутбуке или PC, думал получить какие-то лёгкие и правильные рекомендации для чайника где-что настроить чтобы заработало. На специальном форуме сразу начнётся - покажи дамп памяти, конфиг сервера, поправь такую-то настройку в конфигурации, а я даже не представляю где эта конфигурация и как исакать эти настройки. В мои планы сейчас никак не входит изучение многотомных изданий для администраторов баз данных. Для настройки боевых серверов у нас есть специально обученные люди, которые за это деньги получают. Мне надо просто инсталлировать, запустить и использовать. Комфортоно использовать! А не этот тормоз. Я не хочу и не могу потратить кучу времени на изучение тонкостей юстировки зазора в пять сотых миллиметра с помощью кувалды.

В общем, победить не удалось. Снёс нафиг, поставил вместо него OracleXE. Всё сразу взлетело, без всякого шаманства. К тому же есть уже привычные инструменты чем в саму базу заглянуть.

Может быть потом, когда будет много свободного времени я попробую разобраться с этим MySQL и поставлю его ещё раз. Работают же как-то с ним люди. И очень много людей. Даже представить не могу, чтобы оно у всех так тормозило и они продолжали бы им пользоватья. Сегодня не сложилось, видно, не судьба.

P.S. Если у кого-то нет реальных рекомендаций по решению проблемы, предлагаю не флудить по поводу разных фреймворков и прочих гадостей.

P.S.S Данные загружал обычно скриптом из SQL файла (INSERT INTO...). Помимо очень медленной загрузки обнаружилось, что TRUNCATE TABLE тоже выполняется неимоверно долго.
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39945196
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Garrick

В общем, победить не удалось. Снёс нафиг, поставил вместо него OracleXE. Всё сразу взлетело, без всякого шаманства. К тому же есть уже привычные инструменты чем в саму базу заглянуть.

Ну и зря.

Есть мысль что ты просто вместо одной проблемы получишь в будущем еще несколько. Oracle - более сложен
в тонком тюнинге запросов и в сборе статистики. Там просто надо понимать причинно следственную связь
между ETL и вышеперечисленным.

Очень конешно плохо что ты ленишся и думаешь что тебе сразу без диагностики дадут совет поставить
опцию fast=true и все у тебя залетает.

Ну будем посмотреть.
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39945204
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Garrick
Снёс нафиг, поставил вместо

если есть такая возможность, то это прекрасно.
Относись к СУБД как к машинам. Кому то подошла бэха, кому то мэрс.
Если тюнить нет желания, то это тоже вариант.
Удачи!
...
Рейтинг: 0 / 0
MySQL очень медленный
    #39945252
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Garrick

В общем, победить не удалось. Снёс нафиг, поставил вместо него OracleXE. Всё сразу взлетело, без всякого шаманства. К тому же есть уже привычные инструменты чем в саму базу заглянуть.


Ну зачем так радикально, можно было в начале попробовать PostgreSQL :-)
...
Рейтинг: 0 / 0
25 сообщений из 92, страница 1 из 4
Форумы / Java [игнор отключен] [закрыт для гостей] / MySQL очень медленный
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]