|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
В связи с сами знаете какими событиями потребовалось настроить полность автономное локальное рабочее место на ноуте. Нужна СУБД, попробовал поставить MySQL. Первоначальное наполнение базы - вставка 30-50 тыс. записей может длится по времени до нескольких часов. Это ужас. В качестве эксперемента попробовал Derby и HQSLDB - тот же объём записей вставляется за несколько минут. Никто не знает как этот MySQL лечить? Или может быть вместо него Oracle XE поставить? Допустимые варианты - PostgreSQL, Oracle, MySQL, MS SQL (нежелательно, но можно). На ноуте 8Гб ОЗУ. Надо ещё IDE запустить, Tomcat и ещё немного разной ерунды по-мелочам. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2020, 20:11 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Не понятно, при чем тут Java По опыту, самая частая ошибка из-за которой СУБД встает колом - Auto Commit. MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях IMHO & AFAIK ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2020, 22:46 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick, "...Ты просто не умеешь их готовить..." как ты вставляешь эти крохи данных? ну и есть отдельная ветка по mysql... ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2020, 23:11 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick, версия mysql? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2020, 23:39 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Да какая версия. Я в 1999-2000 г. вполне на Pentium с 512 Mb памяти на MySQL пару миллионы строк обрабатывал с откликом меньше десятой секунды. Правда таблица была простейшая из 3-4 целочисленный полей p.s. Первая версия вот этой БД http://iss.rybmuseum.ru/ в то время было примерно 90 тыс. предметов, 45 тыс. изображений. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2020, 23:56 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Да какая версия. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 00:16 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
вадя Garrick, версия mysql? Последняя 8-я. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 08:13 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
вадя Garrick, "...Ты просто не умеешь их готовить..." как ты вставляешь эти крохи данных? ну и есть отдельная ветка по mysql... Конечно не умею. Вот я и спрашиваю рецеп. Может чего настроить надо, а у меня всё по дефолту. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 08:15 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях Сам в шоке. Такая разница... Что-то тут не так. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 08:16 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick, как вставляешь? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 10:32 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick Leonid Kudryavtsev MySQL не должен быть значительно быстрее/медленнее других СУБД своего класса на простейших операциях Сам в шоке. Такая разница... Что-то тут не так. По моему опыту сталкивания с MySQL там всегда "что-то не так". Но его почему то все еще пытаются использовать в проектах чуть сложнее выборки из одной таблицы. Этот пост еще раз меня убедил, что если можно не использовать MySQL, то нужно не использовать MySQL. :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 11:48 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mad_nazgul По моему опыту сталкивания с MySQL там всегда "что-то не так". Но его почему то все еще пытаются использовать в проектах чуть сложнее выборки из одной таблицы. Этот пост еще раз меня убедил, что если можно не использовать MySQL, то нужно не использовать MySQL. :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 11:57 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
вадя Garrick, версия mysql? Ты мастер флуда? 30тыр записей вставляет 5 часов. А ты спросил про версию? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 12:15 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Как вставляем copy paste 100МБ запрос и в рамках одной транзакции все инсерты? На днях вставлял 10млн mysql8 в докере причем сразу с генерацией 12 полей UUID на все про все около 25сек. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 12:27 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick В связи с сами знаете какими событиями потребовалось настроить полность автономное локальное рабочее место на ноуте. Нужна СУБД, попробовал поставить MySQL. Первоначальное наполнение базы - вставка 30-50 тыс. записей может длится по времени до нескольких часов. Это ужас. В качестве эксперемента попробовал Derby и HQSLDB - тот же объём записей вставляется за несколько минут. Стоп-стоп. Это так не делается. Это не фиксится сразу сменой СУБД. Тыж не блондинка? Идешь в этот форум https://www.sql.ru/forum/mysql Описываешь проблему. Тебя попросят привести INSERT, DDL-таблички данные по времени (сколько транзакций в секунду). Примерные сведенья о железке (HDD/CPU/Memory) Из поинтов что посмотреть. - отключить авто-коммит (как уже сказаали) - отключить индексы на время загрузки - отключить триггеры - поиграть с двигателем (MYiSAM/InnoDb) обычно перформанс меняется сильно от смены. - посмотреть какие типы данных можно заменить на экономные BLOB/XML/JSON просто на VARCHAR - выключить Windows-активности (антивирус и индексатор документов) - разнести конкурирующие разделы (сегмент данных БД и исходный файл) на разные физические диски. Или исходный файл в быструю сеть (1Гигабит). И правильно выбрать утилиту загрузки. Обычно все (!) реально все современные DBMS имеют тулзы для быстрой загрузки CSV/SQL сырых данных из внешнего файла. Есть рекомендации по форматированию самого скрипта. В PG/MySQL есть много-строчное форматирование (1 insert + много values). Это уже в спецфорум. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 12:42 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Там не нужна разработка. Там нужен 1 девопс или админ. И 1 командная строка типа Код: java 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 20:08 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 ну ты от жизни то отстал брат) ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 20:22 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 PetroNotC Sharp, типо того)щас все так построено в приложухах консул ваулт ,тимсити и комунда по дефолту уже Если выглянуть в окно, то там вполне всё по другому. Утилиты, десктопы и ...моя хата с краю.. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 20:40 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 mayton Там не нужна разработка. Там нужен 1 девопс или админ. И 1 командная строка типа Код: java 1.
ну ты от жизни то отстал брат) какой такой mysql import)) Хочешь побольше бабла срубить? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 20:42 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Пфф... тоже мне оргазм. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 21:01 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 mayton пропущено... Хочешь побольше бабла срубить? кто ж мне его даст) Любой дурак на SpringBatch напишет. Тоже мне архитектура. А ты попробуй сложный код упростить. Это - высшее кун-фу. Знаешь как в Гонконгских боевиках. Самый лютый мастер рукопашного боя - скромненький старичок с посохом... ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2020, 21:02 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton Я обратился именно сюда, потому как думал, что очень популярная СУБД и наверняка многие из вас уже ставили и использовали её локально на своём ноутбуке или PC, думал получить какие-то лёгкие и правильные рекомендации для чайника где-что настроить чтобы заработало. На специальном форуме сразу начнётся - покажи дамп памяти, конфиг сервера, поправь такую-то настройку в конфигурации, а я даже не представляю где эта конфигурация и как исакать эти настройки. В мои планы сейчас никак не входит изучение многотомных изданий для администраторов баз данных. Для настройки боевых серверов у нас есть специально обученные люди, которые за это деньги получают. Мне надо просто инсталлировать, запустить и использовать. Комфортоно использовать! А не этот тормоз. Я не хочу и не могу потратить кучу времени на изучение тонкостей юстировки зазора в пять сотых миллиметра с помощью кувалды. В общем, победить не удалось. Снёс нафиг, поставил вместо него OracleXE. Всё сразу взлетело, без всякого шаманства. К тому же есть уже привычные инструменты чем в саму базу заглянуть. Может быть потом, когда будет много свободного времени я попробую разобраться с этим MySQL и поставлю его ещё раз. Работают же как-то с ним люди. И очень много людей. Даже представить не могу, чтобы оно у всех так тормозило и они продолжали бы им пользоватья. Сегодня не сложилось, видно, не судьба. P.S. Если у кого-то нет реальных рекомендаций по решению проблемы, предлагаю не флудить по поводу разных фреймворков и прочих гадостей. P.S.S Данные загружал обычно скриптом из SQL файла (INSERT INTO...). Помимо очень медленной загрузки обнаружилось, что TRUNCATE TABLE тоже выполняется неимоверно долго. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 11:00 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick В общем, победить не удалось. Снёс нафиг, поставил вместо него OracleXE. Всё сразу взлетело, без всякого шаманства. К тому же есть уже привычные инструменты чем в саму базу заглянуть. Ну и зря. Есть мысль что ты просто вместо одной проблемы получишь в будущем еще несколько. Oracle - более сложен в тонком тюнинге запросов и в сборе статистики. Там просто надо понимать причинно следственную связь между ETL и вышеперечисленным. Очень конешно плохо что ты ленишся и думаешь что тебе сразу без диагностики дадут совет поставить опцию fast=true и все у тебя залетает. Ну будем посмотреть. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 11:08 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick Снёс нафиг, поставил вместо если есть такая возможность, то это прекрасно. Относись к СУБД как к машинам. Кому то подошла бэха, кому то мэрс. Если тюнить нет желания, то это тоже вариант. Удачи! ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 11:21 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick В общем, победить не удалось. Снёс нафиг, поставил вместо него OracleXE. Всё сразу взлетело, без всякого шаманства. К тому же есть уже привычные инструменты чем в саму базу заглянуть. Ну зачем так радикально, можно было в начале попробовать PostgreSQL :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 12:52 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mad_nazgul, зачем вы сели на мерс, попробуйте сначала опель))) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 13:26 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
PetroNotC Sharp mad_nazgul, зачем вы сели на мерс, попробуйте сначала опель))) Аналогия не верна. Есть бесплатный полнофункциональный продукт - PostgreSQL. Возможно подойдет он. Чем пытаться использовать обрубок продукта - Oracle XE. Который действует по принципу "первая доза бесплатно". :-) P.S. Для меня Oracle гораздо менее удобная в работе, чем PostgreSQL. Но как надежное, масштабируемое хранилище данных Oracle вполне себе. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 15:33 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mad_nazgul, Бесплатный/полнофунциональный/обрубок..... А факты то где? Вы топите один продукт за счет другого... Без фактов. Я нет. Подошел к машине, сел, посидел. Понравилось? Бери. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 15:59 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
PetroNotC Sharp А факты то где? Потом - да, пробуем, чтобы понять вещи, неочевидные из описаний и документации. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 16:11 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Basil A. Sidorov, Да. Автор так и сделал. Сел в авто (оракле) - ему понравилось. Тут мимо проходил сосед и говорит что Г машина. Он в ней сидел и ему не понравилась. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.04.2020, 17:16 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
PetroNotC Sharp mad_nazgul, Бесплатный/полнофунциональный/обрубок..... А факты то где? Вы топите один продукт за счет другого... Без фактов. Я нет. Подошел к машине, сел, посидел. Понравилось? Бери. Опять же аналогия не верна. Но если её продолжать. PostgreSQL - бесплатная машина. Есть СТО от дяди Васи, до супер-пупер дорогого. Да хоть сам чини, никто слово не скажет. OracleXE - бесплатная машина, но вы можете ездить в день не более 10 км и 3ч. Обслуживание в сертифицированном СТО. Хотите больше - покупаете Oracle Oracle - платная машина, обслуживается только в специализированном и специализированном СТО. Это если проводить машинные аналогии. <:o) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 07:04 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mad_nazgul, >OracleXE - бесплатная машина, но вы можете ездить в день не более 10 км и 3ч. Напишите вместо 10км 250км и будет похоже на правду. Не надо людей пугать решениями оракле. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 09:33 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
PetroNotC Sharp mad_nazgul, >OracleXE - бесплатная машина, но вы можете ездить в день не более 10 км и 3ч. Напишите вместо 10км 250км и будет похоже на правду. Не надо людей пугать решениями оракле. Вообще ни разу не испугали. У нас на бою 90% баз работают на Oracle. За ТО, ремонт, КАСКО, ОСАГО - всё уже проплачено и в бюджет заложено на годы вперёд. :) Есть большая доля вероятности, что тот проект, прототип которого я сейчас разрабатываю, тоже будет работать на Oracle. Хотя в свете последних решений нет 100% уверенности. А вдруг PstgresSQL. По поводу XE - кто-то может упустил или не заметил, я говорил, что устанавляваю на ноутбуке (8 GB ОЗУ, Intel Core i3) автономное рабочее место. Поставить туда Oracle Enterprise или PostgreSQL... потом что-то ещё кроме сервера СУБД на этом ноутбуке запускть можно будет? У XE объем потребляемой оперативы ограничен 2 GB - Oracle сам постарался. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 10:25 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Уж сколько я не люблю MySQL. Но такой спонтанный выбор Oracle - это необдуманный шаг. Вобщем это просто обмен одного технического дебта на другой. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 10:27 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton Уж сколько я не люблю MySQL. Но такой спонтанный выбор Oracle - это необдуманный шаг. Вобщем это просто обмен одного технического дебта на другой. Вот уже уже вторая страница заканчивается, а никто так и не дал конкретного совета, хотя бы и не работающего, как заставить работать эту хрень. Только флуд олин. А мне, как всегда, нужно было ещё вчера. Когда на презентации нового продукта я вместо демострации прототипа начну рассказывать как я победил или не победил MySQL и поэтому у меня не хватило времени на основную работу, меня не только никто не похвалит, но и наоборот... не взирая на всякий карантин, пренебрегая всеми санитарными нормами... сами знаете что сделают. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 10:35 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick, Все верно. У нас тоже оракле постгри. По сабжевой бд в ветку этой бд Удачи. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 10:38 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick mayton Уж сколько я не люблю MySQL. Но такой спонтанный выбор Oracle - это необдуманный шаг. Вобщем это просто обмен одного технического дебта на другой. Вот уже уже вторая страница заканчивается, а никто так и не дал конкретного совета, хотя бы и не работающего, как заставить работать эту хрень. Только флуд олин. А мне, как всегда, нужно было ещё вчера. Когда на презентации нового продукта я вместо демострации прототипа начну рассказывать как я победил или не победил MySQL и поэтому у меня не хватило времени на основную работу, меня не только никто не похвалит, но и наоборот... не взирая на всякий карантин, пренебрегая всеми санитарными нормами... сами знаете что сделают. Тебе писали что надо было идти в профильную ветку по MySQL. Ты запостил в форум Java. И кто кому вредитель? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 10:53 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick По поводу XE - кто-то может упустил или не заметил, я говорил, что устанавляваю на ноутбуке (8 GB ОЗУ, Intel Core i3) автономное рабочее место. Поставить туда Oracle Enterprise или PostgreSQL... потом что-то ещё кроме сервера СУБД на этом ноутбуке запускть можно будет? У XE объем потребляемой оперативы ограничен 2 GB - Oracle сам постарался. Ну основной проблемой PostgreSQL было, то что настройки по умолчанию были рассчитаны на запуск чуть ли на кофеварке (утрированно). Как минимум я читал как установить PostgreSQL на DLink DIR-300. Так что PostgreSQL вполне себе работает на слабом железе. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 12:32 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Как говорил Арнолд Шварцнегер - при работе с Постгрес есть два правила. 1) Делай вакуум. 2) Не забывай первое правило. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 12:48 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
PetroNotC Sharp mad_nazgul, Бесплатный/полнофунциональный/обрубок..... А факты то где? Патчи не выходят от слова совсем. Даже релизы на XE не переносятся. (11.2.0.2, 11.2.0.3, 11.2.0.4 и так далее) Бесплатная версия сделанная "на отъе#$%#" для галочки IMHO mayton 1) Делай вакуум. 2) Не забывай первое правило. +100500 ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 13:11 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick По поводу XE - кто-то может упустил или не заметил, я говорил, что устанавляваю на ноутбуке (8 GB ОЗУ, Intel Core i3) автономное рабочее место. Поставить туда Oracle Enterprise или PostgreSQL... потом что-то ещё кроме сервера СУБД на этом ноутбуке запускть можно будет? У XE объем потребляемой оперативы ограничен 2 GB - Oracle сам постарался. Жесть какая. У Oracle бинарники вообще не отличаются. Что XE,что Personal Edition, или Standart Edition, или Enterprise Edition - они одни и те же. Там где работает XE, никаких проблем запустить SE ил EE нет. А упомянуть в таком контексте PostgreSQL мог только человек, даже инсталятор PostgreSQL не запускавший. Garrick У XE объем потребляемой оперативы ограничен 2 GB - Oracle сам постарался. Жесть какая. Кол-во потребляемой памяти спокойно указывается при установке (как минимум у версий >=11g). Насколько помню или в процентах от RAM (по умолчанию вроде 75%) или просто мегабайты. Если ставить программы в режиме Next, Next, Next - то в общем результатам работы удивляться не приходится. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 13:25 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
XE отличается по возможностям. Недоступен partitioning, OLAP и многое другое. Есть ограничения на количество сессий (user-sessions) и кажется процессоров. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 13:28 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton XE отличается по возможностям. Недоступен partitioning, OLAP и многое другое. Есть ограничения на количество сессий (user-sessions) и кажется процессоров. это понятно. По возможностям да, а по бинарникам (требованиям к железу) - сильно сомневаюсь (практически уверен в обратном). ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 13:32 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev mayton XE отличается по возможностям. Недоступен partitioning, OLAP и многое другое. Есть ограничения на количество сессий (user-sessions) и кажется процессоров. это понятно. По возможностям да, а по бинарникам (требованиям к железу) - сильно сомневаюсь (практически уверен в обратном). Вот тут ограничения описаны https://www.oracle.com/database/technologies/appdev/xe/faq.html#limits ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 13:37 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev А упомянуть в таком контексте PostgreSQL мог только человек, даже инсталятор PostgreSQL не запускавший. И не отказываюсь. Не запускал ни разу. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 14:00 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Патчи не выходят от слова совсем. Даже релизы на XE не переносятся. (11.2.0.2, 11.2.0.3, 11.2.0.4 и так далее) Бесплатная версия сделанная "на отъе#$%#" для галочки можно было бы поговорить и обсудить. Только ТСу это совсем не требуется. Ну а нам зачем здесь про плюсы и минусы СУБД? Я так думаю. Задачу ТСа все субд решают. Он сам сказал. А с MySQL ему нужно немного потрудится. НЕ нам потрудится а ему. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 14:05 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
И еще упавшая по 600-й ошибке XE не лечится. Всмысле на нее нет техподдержки. И хорошо если вы сделали холодный бэкап. Но по опыту наблюдения. На XE либо никто его не делает никогда. Либо он был сделан так давно что не актуален. Тоесть растущая база под XE - это не тех-дебт а это просто мина замедленного действия. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 14:08 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton, Несправедливо когда на маленьких нападают. Давай тогда минусы постгри. Они ведь тоже есть. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 14:26 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Боюсь что это ближе к топику Сравнение СУБД Но напишу пару сентенций. (Субъективно). Я мало работал с PG чтоб иметь какое-то покрытие по всем фичам. Но вот из последнего. Понадобился partition-by-hash. Его внедрили в одной из последних релизов PG. Но он взаимоисключает индекс по ПК. Это такой-себе архитектурный нежданчик. Хотя вроде партишининг есть. Но какой-то ограниченный и скудный. Из преимуществ. Коробочная поддержка ГИС-типов данных. И хорошо индексируется JSON поле. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 14:32 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick И не отказываюсь Вы когда на MySQL запускали "Вставка производится из файла SQL с инструкциями (INSERT INTO...)" AutoCommit хоть отключали? Хотя, судя по "MySQL 8-й версии, все настройки по-умолчанию, т.е. "скорее всего нет" При включенном AutoCommit говорить о "медленно вставке" просто не прилично (в определенных кругах). В крайнем случае, можно говорить только под видом юмора, анекдота. IMHO & AFAIK https://dev.mysql.com/doc/refman/8.0/en/commit.html By default, MySQL runs with autocommit mode enabled ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 14:33 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton Боюсь что это ближе к топику Сравнение СУБД ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 15:00 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Я чуть позже сам в Сравнении подниму топик наподобие сравнений бесплатных версий коммерческих dbms. Планирую включить OracleXE, IBM DB2 Express-C. И пожалуй MS. Но сначала хочу узнать у знатоков MS. Что есть что. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 17:13 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton IBM DB2 Express-C. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 18:29 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Basil A. Sidorov, неужели IBM накрылся? Нет ну подприсели конечно их индексы. Особенно после пандемий. Но не настолько-же? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 18:32 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton, Ну если экзотика, что делать ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 18:59 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Посмотрел на db-engines. Мда. Наблюдается с 2015 года методичный спад. Но не так чтоб уж ужас-ужас... ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 19:10 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton Basil A. Sidorov, неужели IBM накрылся? Есть редакция для разработчиков, но такое деление чётко предполагает, что конечный продукт будет работать c одним из коммерческих вариантов DB2. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.04.2020, 22:06 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79, У тебя бардак когда нибудь прекратится? Зачем влез в чужую тему? Поговорить не с кем? ... |
|||
:
Нравится:
Не нравится:
|
|||
11.04.2020, 21:05 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 по шедулеру два раза в день чекаю дериректорию - если есть парсю csv валидирую и пишу в бд и вот в чем прикол( оно ни на что не влияет - просто интерес) у меня на стенде этот сервис работает ок- тоесть шедулер спринговый запускаетсся и запускает джобы Народ с этим Спрингом реально помешался, суют его во все щели. На Java API уже никто программировать не умеет? https://docs.oracle.com/javase/tutorial/essential/io/notification.html Ну или хотя бы Apache Commons-IO https://commons.apache.org/proper/commons-io/javadocs/api-release/org/apache/commons/io/monitor/FileAlterationObserver.html ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2020, 10:38 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev, Ну, да. И, кстати, погуглил я тут - это оказывается весьма распространённая проблема и тянется ещё с Бог знает каких лохматых годов. Так что не у меня одного руки кривые в этом плане. Просто повезло, наверное какое-то волшебное сочетание звёзд на небе и фазы луны. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2020, 12:16 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 mayton пропущено... Любой дурак на SpringBatch напишет. Тоже мне архитектура. А ты попробуй сложный код упростить. Это - высшее кун-фу. Знаешь как в Гонконгских боевиках. Самый лютый мастер рукопашного боя - скромненький старичок с посохом... Spring Batch очень обширен ) он дает шансы и новичкам( много фич из коробки) но также много фич и для проф проектов я вот смотрю наш батч код и тупо не выкупаю что там и где) вот у меня щас простая проблема я делаю сервис по загрузке справочников мне по http прилетает csv я его забираю по шедулеру два раза в день чекаю дериректорию - если есть парсю csv валидирую и пишу в бд и вот в чем прикол( оно ни на что не влияет - просто интерес) у меня на стенде этот сервис работает ок- тоесть шедулер спринговый запускаетсся и запускает джобы а вот локально ничего не происходит- тоесть подходит время и ничего ставишь над application @EnableSheduling - все работает локально но как без анотации этой на стендах работает я не врублюсь какая то магия спринг актуатора судя по всему Если ты знаешь как упростить сложное приложение - это хорошо. Это уже синьорный подход. С спринг-батч для тебя непонятен потому-что юзкейс очень простой. Давай другой пример. Ты парсишь csv. Очень большой. Порядка 1 Терабайта. Это длинная транзакция. Длинтся 12 часов. И 12 часов inserts идут в БД и в конце идет commit. Это риски. БД может лопнуть. Или от сетевых инцедентов отключиться и откатиться назад. Значит надо предусмотреть разбивку длинной задачи на порции. И делать коммиты чаще. Например по 100_000 строк. Пачка. Поэтому этот длинный джоб разбивается на шаги (steps) и каждый шаг фиксирует своё состоянии в репозитарии. (Поищи есть в SpringBatch поддержка этого). Такая архитектура - более живучая и позволяет загружать твой толстый csv файл с повторами (retries). В случае сбоя (даже если перегрузить сервер по питанию) состояние job сохраняется и джоб помнит сколько шагов он уже отработал. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2020, 12:23 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick И, кстати, погуглил я тут - это оказывается весьма распространённая проблема и тянется ещё с Бог знает каких лохматых годов. Так что не у меня одного руки кривые в этом плане..... В чем проблема? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2020, 14:23 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev, помогло включение параметра 22114104 innodb_flush_log_at_trx_commit MySQL по дефолту автоматически каждую секунду сохраняет лог транзакции на диск, увеличение тайм-аута до двух секунд, сильно повышает скорость записи в таблицу, но в случае аварии эти не сброшенные в лог на диске записи будут потеряны. Это конкретная глюко-фича InnoDB, при использовании ISAM таблиц такого не наблюдается. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2020, 16:55 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Это про это. mayton - поиграть с двигателем (MYiSAM/InnoDb) обычно перформанс меняется сильно от смены. - разнести конкурирующие разделы (сегмент данных БД и исходный файл) на разные физические диски. Или исходный файл в быструю сеть (1Гигабит). ... |
|||
:
Нравится:
Не нравится:
|
|||
12.04.2020, 16:59 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick Народ с этим Спрингом реально помешался, суют его во все щели. На Java API уже никто программировать не умеет? https://docs.oracle.com/javase/tutorial/essential/io/notification.html Ну или хотя бы Apache Commons-IO https://commons.apache.org/proper/commons-io/javadocs/api-release/org/apache/commons/io/monitor/FileAlterationObserver.html Ну дык куча синтаксического сахара, плюс куча уже готовых решений, которые работают просто прописав одну зависимость, и пары строк в файле настроек. Т.е. думать не надо. Так что не удивительна популярность Spring. Правда расплачиваться приходится тем, что если нужно "то же самое, но с перламутровыми пуговицами", то начинаются проблемы. Ну и само приложение распухает как на дрожжах. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 05:57 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton Это про это. mayton - поиграть с двигателем (MYiSAM/InnoDb) обычно перформанс меняется сильно от смены. - разнести конкурирующие разделы (сегмент данных БД и исходный файл) на разные физические диски. Или исходный файл в быструю сеть (1Гигабит). 1. Я знаю, что MySQL поддерживает два разных формата файлов/хранилища данных, но как ими "поиграться", как переключится с оного на другое вообще не представляю, никаких инструкций на этот счёт не нашел. 2. Как этот совет можно применить на ноутбуке, на локально установленном MySQL? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 09:46 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick mayton Это про это. пропущено... 1. Я знаю, что MySQL поддерживает два разных формата файлов/хранилища данных, но как ими "поиграться", как переключится с оного на другое вообще не представляю, никаких инструкций на этот счёт не нашел. 2. Как этот совет можно применить на ноутбуке, на локально установленном MySQL? В java серьезные люди чтобы играться фсякой фигней. Поставил бд. Не завелась за 10 минут - в тему базы или меняй базу. За субд нам не платят. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 10:06 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Garrick mayton Это про это. пропущено... 1. Я знаю, что MySQL поддерживает два разных формата файлов/хранилища данных, но как ими "поиграться", как переключится с оного на другое вообще не представляю, никаких инструкций на этот счёт не нашел. 2. Как этот совет можно применить на ноутбуке, на локально установленном MySQL? Вообще не понимаю при чем тут ноутбук. Код: sql 1. 2. 3.
Создал 2 таблички с одинаковой шапкой и с разными двигателями хранения. Загрузил в первую. Замерял время. Загрузил во вторую. Замерял. Элементарный эксперимент. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 10:16 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
+ Еще все тоже самое только в каждой сессии (или транзакции не знаю как там) сделай Код: java 1.
и Код: java 1.
Тоесть всего 4 эксперимента. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 10:19 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton, conn = getConnection() conn.setAutoCommit(false ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 10:33 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Да это как вариант. Если он будет грузить внешними утилитами из sql скрипта то будут разные способы. JDBC - это будет не самый быстрый метод. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 10:36 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
mayton JDBC - это будет не самый быстрый метод. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 10:46 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 mayton пропущено... Если ты знаешь как упростить сложное приложение - это хорошо. Это уже синьорный подход. С спринг-батч для тебя непонятен потому-что юзкейс очень простой. Давай другой пример. Ты парсишь csv. Очень большой. Порядка 1 Терабайта. Это длинная транзакция. Длинтся 12 часов. И 12 часов inserts идут в БД и в конце идет commit. Это риски. БД может лопнуть. Или от сетевых инцедентов отключиться и откатиться назад. Значит надо предусмотреть разбивку длинной задачи на порции. И делать коммиты чаще. Например по 100_000 строк. Пачка. Поэтому этот длинный джоб разбивается на шаги (steps) и каждый шаг фиксирует своё состоянии в репозитарии. (Поищи есть в SpringBatch поддержка этого). Такая архитектура - более живучая и позволяет загружать твой толстый csv файл с повторами (retries). В случае сбоя (даже если перегрузить сервер по питанию) состояние job сохраняется и джоб помнит сколько шагов он уже отработал. сsv у меня мальнький- порядка 20 мб суть то в чем у меня над процессами стоят @Sheduled (cron=${.......}) когда я сборку заливаю на стенд - щедулер отрабатывает локально же задачи не запускается- тоесть анотация не отрабатывает но если над Application.class поставить @EnableSheduling - будет работать локально и вот теперь вопрос - что за магия врубает на стенде шедулеры без анотации @EnableSheduling используется spring-boot-starter-actuator На стенде Windows или Linux? Твоё приложение standalone? Или деплоится в контейнер JBoss/WebSphere/GlassFish ? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 11:06 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Не знаю честно. У тебя есть в гитхабе макет этого? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 11:17 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
для загрузки csv есть специальные инструменты, позволяющие напрямую загрузить в базу. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 11:51 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 mayton Не знаю честно. У тебя есть в гитхабе макет этого? нет,это банк,у нас свой закрытый репозиторий Сделай в 5 строчек макет чтоб компилировался. Без ваших бизнесовых названий. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 12:06 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Когда твой скедюлер бин поднимается он должен что-то записать в логи. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 17:24 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79, так добавь. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 19:38 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 а кто то во владике в это время тоже записал 11 и чтобы в базу тоже легло 11 а не 3) А когда кто-то во Владивостоке в 11:00 что-то внёс в базу, а в Москве кто-то в 10:00 как узнать кто из них был первый? А если вам просто цифры хранить, то используйте цифровое поле, а не TIME. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 21:28 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 Garrick пропущено... А когда кто-то во Владивостоке в 11:00 что-то внёс в базу, а в Москве кто-то в 10:00 как узнать кто из них был первый? А если вам просто цифры хранить, то используйте цифровое поле, а не TIME. вообще нам не нужно знать кто был первым) нужно в печатках потом правильно отображать время я столкнулся с тем что мы в вводим 11 +3 в джесон - в базу пишет 8 на печатке выходит естественно 8 рукалицо. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 22:01 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 mayton,да это понятно) я хочу разобраться в причние пс.майтон скажи у нас база постгрес - мы пишем даты согласно тайм зоне в бд они пишутся по гринвичу тоесть я сижу в мск ввел 11 в базе 8 мне интересно есть ли способ чтобы все записи писались как положено чтобы их не надо было конвертировать тоесть я сижу в мск записал в мск 11 и в базу тоже легло 11 а не 8 и потом чтобы можно было это 11 достать а не 8) а кто то во владике в это время тоже записал 11 и чтобы в базу тоже легло 11 а не 3) 1) Надо смотреть какой тип данных времени у вас в таблице. https://www.postgresql.org/docs/12/datatype-datetime.html 2) Надо смотреть как приложение настраивает свою локаль (язык страна часовой пояс) Для java это тоже касается. И какой тип данных JDBC вы выбрали чтобы представлять дату. Разумеется приложение должно фиксировать дату с учотом поясов чтобы правильно сделать comparison. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.04.2020, 22:43 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79, Детский вопрос. В аппСервер с клиента приходит 2013-02-25 18:25:10 +03 Хочешь обрезай, хочешь не обрезай. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2020, 07:36 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 mayton Разумеется приложение должно фиксировать дату с учотом поясов чтобы правильно сделать comparison. зачем? Эта дата используется лишь для распечатки документов на кредит) типо дата подписи или что то в этом роде) тоесть если клиент запросил кредит во владике -зачем мне в базу писать гринвич+ зона =чтобы потом обратно все жто дело преобразовывать,вместо того,чтобы записать время фактическое? Не совсем правильный вопрос зачем. Вопрос как правильно. Если твоя задача работает в системе без учота часовых поясов - то ты выбираешь ТИПЫ данных для БД и JDBC которые не хранят часовой пояс. Если твоя задача работает в нескольких часовых поясах и для нее важно ФИКСИРОВАТЬ время события (чтобы в будущем принимать решения о причинно-следственной связи между событиями) то надо соотв. брать SQL/JDBC типы с зоной. Зональны типы можно конвертить и форматировать красиво чтоб публиковать +1,+2,+3 e.t.c. Есть еще третий (гибридный вариант). Твоя систма фиксирует время зонированное но в базе или в системе время сводится к времени UTC. Так мы делаем. С UTC проще делать арифметику т.к. это просто целое число. Правда мы теряем сведения о зоне. Но нам пофиг. Если время например паблишится по Нью-Йорку всегда независимо от того из какой зоны пришло событие. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2020, 11:13 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 и вот я хочу чтобы другой сервис ,который например находится во владике при распечатке документов выводил время обращение клиента 11.40 Я не могу рассказать это тебе оперируя гуманитарным текстом. Очевидно что надо что-то во что-то конвертить. Я уже жду исходников и DDL таблицы. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2020, 11:21 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79, Это спринг на тебя так влияет? Или облака?) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2020, 11:36 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79мы должны убрать тайм зону из базыбазу держи в одной нулевой зоне, на клиенте конвертируй ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2020, 12:13 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 Alex_Ustinov пропущено... базу держи в одной нулевой зоне, на клиенте конвертируй да у нас так и реализовано-я просто не пойму зачем туда сюда конвертировать дату эту? ведь потребителю важно локальное время подписанта - поэтому получается я сначала дату кладу с тайм зоной потом обратно эту дату переконвертирую Что важно потребителю - это business requirements ТВОЕГО приложения. И мы их не знаем ясен пень. В некоторых системах трекается два времени. Время фиксации события в системе. И время юридическое. Например договор был составлен вчерашним числом но заведен в систему сегодня. Две даты. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2020, 12:50 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Я могу ответить на вопрос - "как сделать чтобы". Но я не отвечу тебе на вопрос "почему". Это - к твоим архитекторам и бизнесам. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2020, 13:10 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79 Эта дата используется лишь для распечатки документов на кредит) типо дата подписи или что то в этом роде) О! Это вообще тема. Задачка для первого класса: Условие: Клиент 10-го числа в 7 утра во Владивостоке подписал кредитный договор. В Москве в это время ещё 9-е число. В конце месяца по кредиту начисляются проценты и, как правило, это делается в центральном офисе в Москве. Вопрос: За какое количество дней будут начислены проценты? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2020, 13:11 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Я-же говорю. Comparison двух дат. Или вот еще вариант - календарная арифметика интервалов. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2020, 13:13 |
|
MySQL очень медленный
|
|||
---|---|---|---|
#18+
Zzz79то есть ты пришел во владике взял кредит- поставил подпись в 11 00 ,значит это время должно вылезти и в мск при распечатке доков поэтому я не пойму сакрального смысла конвертить 11 .00 сначала в 3.00 ,а заем обратно)ничего непонятно... но вроде все об одном. В доке должно стоять 11:00 (GMT+10) г.Владивосток (т.е. в базе будет 01-00). А то он прилетит в МСК и возьмет еще один кредит в 9-00 по МСК, ведь в МСК еще не будет 11-00..)) Так работают все сайты..... ... |
|||
:
Нравится:
Не нравится:
|
|||
14.04.2020, 17:48 |
|
|
start [/forum/topic.php?all=1&fid=59&tid=2120836]: |
0ms |
get settings: |
26ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
59ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
1433ms |
get tp. blocked users: |
2ms |
others: | 298ms |
total: | 1853ms |
0 / 0 |