|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
stenford, И почему замена хранимки по определению не оттестирована?! ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 08:25 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
Wizandr jbond81 пропущено... Стоимость внесения изменений стремится к бесконечности. открыл хранимку внес изменения даже деплоить ничего не нужно :) Этот человек допустил ошибку в коде (missing feature support) и никто из участников проекта не смог доработать в указанном объеме код хранимки из-за ее сложности и плохой документирование ( отсутствие инфраструктуры для тестирования и отладки). Сейчас этот человек ушел из проекта, мы пользуемся врапперами над сторонним Ява коде, использующие ORM, эту ХП никто не использует ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 08:36 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
jbond81 Wizandr пропущено... дык наоборот же открыл хранимку внес изменения даже деплоить ничего не нужно :) Этот человек допустил ошибку в коде (missing feature support) и никто из участников проекта не смог доработать в указанном объеме код хранимки из-за ее сложности и плохой документирование ( отсутствие инфраструктуры для тестирования и отладки). Сейчас этот человек ушел из проекта, мы пользуемся врапперами над сторонним Ява коде, использующие ORM, эту ХП никто не использует ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 09:15 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
OoCc Это всего лишь говорит о бар**ке в вашей конторе. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 09:25 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
Вообще с развитием новых стильных, молодежных технологий сейчас принято выгрузить 100500 млн строк и в бэкекнде это отсортировать модным методом быстрой сортировки. Мне так недавно и заявили, что это теперь так делается не надо никаких БД и индексов для этого, есть паттерны специальные. я аж прифигел немного. Жаль что команду не я себе выбирал. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 09:32 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
yabs В кто говорил про аппсервер? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 09:33 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
Stan2000 +100500 и дебиле ПМ и жадности и нежелании платить SQL Dev. Взяли бы на несколько часов фрилансера, кто пофиксит. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 09:41 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
stenford Stan2000 +100500 и дебиле ПМ и жадности и нежелании платить SQL Dev. Взяли бы на несколько часов фрилансера, кто пофиксит. поэтому, пока у вас приложение имеет миллион строк в БД и 20 клиентов с некритическими данными, вам не нуден ДБА, а вот когда буде тысяча-10 тысяч таблиц по 100500 миллионов записей с критическими данными, тогда подумаете. а вообще все это до первого раза, когда потеряете критические данные, пока это не критично, этим занимаются девелоперы и ОРМ. такое тоже 100 раз видел, в том числе на этом форуме. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 10:52 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
в одной большой нефте-газовой компании потеряли данные за пару месяцев работы одного из департаментов научного центра. стоимость работы и потерянных данных и сорванных сроков по проекту стоили охулиард денег. после этого при слове бэкап, шеф подписывал любые бумаги на покупку оборудования и софта. ну и я тогда туда попал как ДБА :) ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 10:56 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
stenford Megabyte Когда клиентов в таблице 100-1000, то да, код ОРМ будет немного проще. Я согласен, что можно и ОРМ заюзать. А если разобрать другую ситуацию: таблица, например, 100млн транзакций. Будешь ли ты обращаться к ней по какому угодно фильтру то, на выбор: 1) будешь жрать ресурсы на скан таблицы и мешать другим пользователям, если не положишь систему в целом. 2) натыкаешь индексов на все возможные поля и поимеешь производительность на вставку\апдейт\удаление записи. И вот какой-то программист, который вдруг захочет по этой таблице отфильтровать по какому-то второстепенному полю, запустит внезапно скан всей таблицы, будет веселуха. С хп такой финт ушами не пройдет, надо будет сначала произвести доработку процы, внедрить параметр, или сделать новую процу. Но на сервере можно же и разграничить доступ в том числе и для программистов, чтоб не делали всякую хрень без проверки ДБА. :) Просто так навесить еще один индекс по хотелке какого-то разрабочика - это тоже не совсем правильно. 2) Хорошему ДБА для поиска и мониторинга проблемных запросов не надо проверять все хранимки, достаточно выполнить несколько запросов по системным данным. Код ревью всех хранимок - это не совсем правильное использование времени ДБА. У меня на фирме все разрабы пишут запросы\хп, но оптимизирую их, в основном, я один, ну либо разрабы по моим рекомендациям. Да я бы все время тогда тратил на код ревью. Ниче, практически все проблемы диагностируются либо автоматически, либо полуавтоматически, запуском разных запросов. Ну и ревьюить хп, где select * from table с < 1000 записей точно не имеет смысла. 3) Насчет проверки кода самим разрабом. Ну, во-первых, хорошими знаниями по SQL обладает гораздо меньше людей. На моей практике, фанаты ОРМ SQL знают на очень примитивном уровне, даже про индексы, бывало, не слышали. Ну и когда, допустим, запускается новый проект, в таблице 1.5 сотни записей. Все, конечно же, летает. Скан таблицы сам по себе - это не есть неправильно. Все же зависит от объема данных, от задачи. На этапе разработки можно и не знать, как будет в итоге юзаться таблица, какие по ней отчеты будут строиться. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 11:08 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
если нужно генерить сложный XML то что мешает допустить ошибку при использовании ORM? сложная логика всерано останется сложно хойть на уровне БД хоть на уровне сервера приложений ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 11:10 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
Stan2000 stenford пропущено... если дешевле заюзать сторонний враппер с ORM, за зачем платить фрилансеру? А потом когда окажется что надо чинить то, что наделал этот фрилансер - нанимать еще одного? поэтому, пока у вас приложение имеет миллион строк в БД и 20 клиентов с некритическими данными, вам не нуден ДБА, а вот когда буде тысяча-10 тысяч таблиц по 100500 миллионов записей с критическими данными, тогда подумаете. а вообще все это до первого раза, когда потеряете критические данные, пока это не критично, этим занимаются девелоперы и ОРМ. такое тоже 100 раз видел, в том числе на этом форуме. У меня был на зарубежном фрилансе вообще уникальный случай. Требовалось оптимизировать запросы на этапе разработки!!! Запросы выполнялись больше минуты, хотя самая большая таблица была на 37 тысяч строк. Заказ был от менеджера. Я глянул несколько запросов разработчика - это трэш, угар и содомия. Видно, что разработчик - фанат ООП и пытается применить ООП в SQL. Он понаделал вьюх со сложным внутренним кодом. Это у него, как я понимаю, были объекты-сущности, а потом еще соединял в запросах между собой. В итоге у него эта самая таблица на 37 тысяч строк перемножалась сама с собой, т.к. была заюзана в 2х разных вьюхах, соединенных в запросе. В итоге вместо оптимизации, ибо там надо было переделывать все(!), писал рекомендации разработчику, как писать код на SQL. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 11:19 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
Stan2000 stenford пропущено... если дешевле заюзать сторонний враппер с ORM, за зачем платить фрилансеру? А потом когда окажется что надо чинить то, что наделал этот фрилансер - нанимать еще одного? поэтому, пока у вас приложение имеет миллион строк в БД и 20 клиентов с некритическими данными, вам не нуден ДБА, а вот когда буде тысяча-10 тысяч таблиц по 100500 миллионов записей с критическими данными, тогда подумаете. а вообще все это до первого раза, когда потеряете критические данные, пока это не критично, этим занимаются девелоперы и ОРМ. такое тоже 100 раз видел, в том числе на этом форуме. ОРМ не запрещает использование ни вьюшек ни индексов. И уж точно под ОРМ не легче похерить критические данные. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2018, 22:30 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
Stan2000 поэтому, пока у вас приложение имеет миллион строк в БД и 20 клиентов с некритическими данными, вам не нуден ДБА, а вот когда буде тысяча-10 тысяч таблиц по 100500 миллионов записей с критическими данными, тогда подумаете. а вообще все это до первого раза, когда потеряете критические данные, пока это не критично, этим занимаются девелоперы и ОРМ. такое тоже 100 раз видел, в том числе на этом форуме. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 01:38 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
Megabyte 1) Мой пример показывал абсурдность постановки вопроса "А вот я в ОРМ захочу по такому полю отфильтровать" (с) Варианты доступа до больших и высоконагруженных таблиц должны заранее обговариваться! Megabyte 2) Хорошему ДБА для поиска и мониторинга проблемных запросов не надо проверять все хранимки, достаточно выполнить несколько запросов по системным данным. Megabyte 3) Насчет проверки кода самим разрабом. Ну, во-первых, хорошими знаниями по SQL обладает гораздо меньше людей. На моей практике, фанаты ОРМ SQL знают на очень примитивном уровне, даже про индексы, бывало, не слышали. Ну и когда, допустим, запускается новый проект, в таблице 1.5 сотни записей. Все, конечно же, летает. Скан таблицы сам по себе - это не есть неправильно. Все же зависит от объема данных, от задачи. На этапе разработки можно и не знать, как будет в итоге юзаться таблица, какие по ней отчеты будут строиться. Во времена хранимых процедур такие знания действительно были нужны т.к. вся логика содержалась там и писать ХП в сотни строк с навороченными запросами было нормой. Конечно присмотр эксперта в базах был необходим (да и тестирования в те времена особого не было). Я бы пошел еще дальше и сказал что средний выхлоп системы на ORM сейчас выше, чем на хранимках, хотя-бы потому, что несколько несложных точечных запросов куда производительнее, чем навороченные переоптимизированные хранимки в сотни/тысячи строк в которых потом никто не может разобраться (да еще и с планом оптимизированным на первый запрос, если конечно не рекомпилить ее каждый раз) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 02:08 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
Stan2000 OoCc Это всего лишь говорит о бар**ке в вашей конторе. Который допустил принципиальную ошибку в самом начале - выбор не того языка. зы. Он отказался сам красить свой баг. В конце концов сбежал из проекта. А нам фиксам дальше проект пилить. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 02:30 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
stenford да еще и с планом оптимизированным на первый запрос, если конечно не рекомпилить ее каждый раз ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 10:57 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
stenford Megabyte 1) Мой пример показывал абсурдность постановки вопроса "А вот я в ОРМ захочу по такому полю отфильтровать" (с) Варианты доступа до больших и высоконагруженных таблиц должны заранее обговариваться! Megabyte 2) Хорошему ДБА для поиска и мониторинга проблемных запросов не надо проверять все хранимки, достаточно выполнить несколько запросов по системным данным. Megabyte 3) Насчет проверки кода самим разрабом. Ну, во-первых, хорошими знаниями по SQL обладает гораздо меньше людей. На моей практике, фанаты ОРМ SQL знают на очень примитивном уровне, даже про индексы, бывало, не слышали. Ну и когда, допустим, запускается новый проект, в таблице 1.5 сотни записей. Все, конечно же, летает. Скан таблицы сам по себе - это не есть неправильно. Все же зависит от объема данных, от задачи. На этапе разработки можно и не знать, как будет в итоге юзаться таблица, какие по ней отчеты будут строиться. 4) Все эти хранимые процедуры с ДБА в роли спасителей давно в прошлом. Для написания ORM запросов не требуется каких-то специфических познаний, т.к. сами запросы не являются чем-то сложным. Во времена хранимых процедур такие знания действительно были нужны т.к. вся логика содержалась там и писать ХП в сотни строк с навороченными запросами было нормой. Конечно присмотр эксперта в базах был необходим (да и тестирования в те времена особого не было). 5) Я бы пошел еще дальше и сказал что средний выхлоп системы на ORM сейчас выше, чем на хранимках, хотя-бы потому, что несколько несложных точечных запросов куда производительнее, чем навороченные переоптимизированные хранимки в сотни/тысячи строк в которых потом никто не может разобраться (да еще и с планом оптимизированным на первый запрос, если конечно не рекомпилить ее каждый раз) 2) По статистике: необходимые индексы\неиспользуемые индексы; запросы, которые больше всего грузят ЦПУ; запросы, которые больше всего грузят диск; какие типы блокировок(для MS SQL) преобладают, чтобы понять, куда копать; монитор текущих запросов. 3) Как правило, фулл стэк разрабочики - это как аникейщики, знают все в среднем\плохо и какую-то одну область хорошо. У нас на фирме тоже, считай, все фулл стэк, запросы пишут к базе и т.п., но по факту оптимизацией кода за всех занимаюсь я один. Из остальных, один хорошо шарит по бизнес-процессам, другой со всякими апи\джон на ты, третий хорошо пишет скрипты - сценарии на нашем ПО и т.д. Специализация - это двигатель производительности. Невозможно сразу везде быть спецом, за редким исключением. 4) У вас на фирме - в это я поверю. Однако в реальности все гораздо сложнее. :) Революции ОРМ не сделали, так, заняли какую-то свою нишу. Я так вообще наблюдаю рост запросов на ДБА, в и постоянных вакухах, и на фрилансе. 5) Как меряли производительность? И это, никто не сказал, что в SQL\хп можно наговнокодить. Такое есть, безусловно. Ну и да, в скобках бред какой-то написан, вам уже сообщили... ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 15:04 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
М-да, начинаю понимать зачем нужен DevOps Некоторые девелоперы категорически не хотят понимать специфику работы Operations. stenford Я еще раз повторю, что при современном подходе к разработке тормозные запросы просто не пройдут в продакш, они будут как минимум выявлены на стадии нагрузочного тестирования Два вопроса: кто виноват, что делать. Правильный ответ: Виноват вендор, обращаемся в техподдержку, описываем проблему, разработчик находит баг, высылает патч все довольны. Вопрос: как часто проблемы решаются по этому сценарию? Более популярный сценарий: Виноват начальник IT - подсунул какую-то туфту, наверняка еще откат поимел, делай что хочешь, но все должно работать хорошо. Что делать - обратится к вендору. Ответы разработчика - 1 ваш баг воспроизвести не удалось, у меня все хорошо, присылайте базу. Бизнес - свою много гигабайтную базу мы прислать не можем, ибо там секретные данные. Сделайте что-нибудь. 2 Ага, проблема имеет место быть и будет исправлена в следующей версии. Бизнес - переход на следующую версию не планируется в этом году. Сделайте что-нибудь. 3 Ваша версия не поддерживается. Но у нас есть другой продукт, который будет делать тоже самое и даже лучше. Бизнес - смотри предыдущий пункт. 3 Разработчик - патч специально для вас будет стоить ХХХ у.е. Бизнес - да вы охренели что-ли. Сделайте что-нибудь. stenford Это очень устойчивый миф про тормоза ORM'ов, но вызывзющийу лишь смех у разработчиков реально с ними работающих. Наверное, потому что для вас разработчики замечательные люди, которые тщательно тестируют свои продукты, а админы - тупоголовые дубы. Причем я допускаю, что есть разные разработчики, вменяемые и нет, а для вас наличие вменяемых админов просто нонсенс, админы должны быть истреблены как класс, ну или вымереть как динозавры. stenford несколько несложных точечных запросов куда производительнее, чем навороченные переоптимизированные хранимки в сотни/тысячи строк в которых потом никто не может разобраться ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 17:31 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
SERG1257, Сценарии описаны превосходно! Так оно все и есть. И это я говорю, как разработчик. :))) Правда в моем конкретном случае, мы разрабатываем всё, включая базу данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 17:50 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
SERG1257 Более популярный сценарий: Виноват начальник IT - подсунул какую-то туфту, наверняка еще откат поимел, делай что хочешь, но все должно работать хорошо. Что делать - обратится к вендору. Ответы разработчика - 1 ваш баг воспроизвести не удалось, у меня все хорошо, присылайте базу. Бизнес - свою много гигабайтную базу мы прислать не можем, ибо там секретные данные. Сделайте что-нибудь. 2 Ага, проблема имеет место быть и будет исправлена в следующей версии. Бизнес - переход на следующую версию не планируется в этом году. Сделайте что-нибудь. 3 Ваша версия не поддерживается. Но у нас есть другой продукт, который будет делать тоже самое и даже лучше. Бизнес - смотри предыдущий пункт. 3 Разработчик - патч специально для вас будет стоить ХХХ у.е. Бизнес - да вы охренели что-ли. Сделайте что-нибудь. 0. На оплату суппорта забили, тк зачем платить 20-25% от стоимости софта каждый год, если оно и так работает? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 18:11 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
burgos мы разрабатываем всё, включая базу данных. Повторю за alexeyvg - у меня складывается впечатление, что современные продвинутые разработчики относятся к СУБД как к чему-то противному, старому и вонючему, что надо трогать только в перчатках через ORM, а если кто напрямую залез в базу, разобрался в SQL что то там оптимизировал, то это зашквар, такому руки не подают. Настоящий разработчик, (тот самый что не использует паскаль) должен написать свою собственную базу. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 18:13 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
sergeyns SERG1257 Более популярный сценарий: Виноват начальник IT - подсунул какую-то туфту, наверняка еще откат поимел, делай что хочешь, но все должно работать хорошо. Что делать - обратится к вендору. Ответы разработчика - 1 ваш баг воспроизвести не удалось, у меня все хорошо, присылайте базу. Бизнес - свою много гигабайтную базу мы прислать не можем, ибо там секретные данные. Сделайте что-нибудь. 2 Ага, проблема имеет место быть и будет исправлена в следующей версии. Бизнес - переход на следующую версию не планируется в этом году. Сделайте что-нибудь. 3 Ваша версия не поддерживается. Но у нас есть другой продукт, который будет делать тоже самое и даже лучше. Бизнес - смотри предыдущий пункт. 3 Разработчик - патч специально для вас будет стоить ХХХ у.е. Бизнес - да вы охренели что-ли. Сделайте что-нибудь. 0. На оплату суппорта забили, тк зачем платить 20-25% от стоимости софта каждый год, если оно и так работает? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 18:19 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
Shtock А это, простите, о чём? https://www.brentozar.com/archive/2013/06/the-elephant-and-the-mouse-or-parameter-sniffing-in-sql-server/ ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2018, 21:10 |
|
Что происходит на рынке DB вакансий в ЕС?
|
|||
---|---|---|---|
#18+
Megabyte 1) Еще раз повторю, что это был ответ на ваш комментарий про то, что: "А вот разрабочик захочет по такому фильтру(кол-во детей) отфильтроовать. На SQL это надо новый параметр или новую процу, а в коде с использованием ОРМ все просто". Получается, что никакого смысла в этой реплике нет в общем случае и данный вариант подходит только для маленьких таблиц. И я согласился, что здесь можно юзать ОРМ. Megabyte 2) По статистике: необходимые индексы\неиспользуемые индексы; запросы, которые больше всего грузят ЦПУ; запросы, которые больше всего грузят диск; какие типы блокировок(для MS SQL) преобладают, чтобы понять, куда копать; монитор текущих запросов. Megabyte 3) Как правило, фулл стэк разрабочики - это как аникейщики, знают все в среднем\плохо и какую-то одну область хорошо. У нас на фирме тоже, считай, все фулл стэк, запросы пишут к базе и т.п., но по факту оптимизацией кода за всех занимаюсь я один. Из остальных, один хорошо шарит по бизнес-процессам, другой со всякими апи\джон на ты, третий хорошо пишет скрипты - сценарии на нашем ПО и т.д. Специализация - это двигатель производительности. Невозможно сразу везде быть спецом, за редким исключением. Megabyte Я так вообще наблюдаю рост запросов на ДБА, в и постоянных вакухах, и на фрилансе. Megabyte 5) Как меряли производительность? И это, никто не сказал, что в SQL\хп можно наговнокодить. Такое есть, безусловно. Ну и да, в скобках бред какой-то написан, вам уже сообщили... ... |
|||
:
Нравится:
Не нравится:
|
|||
10.08.2018, 02:07 |
|
|
start [/forum/topic.php?fid=7&msg=21634042&tid=1297162]: |
0ms |
get settings: |
17ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
32ms |
get topic data: |
3ms |
get forum data: |
1ms |
get page messages: |
411ms |
get tp. blocked users: |
1ms |
others: | 286ms |
total: | 758ms |
0 / 0 |