vadiminfoАлександр Бердышев,

Вот уже 8 лет прошло как Вы задались этим вопросом. И что же за это время удалось установить только : "Нужно разделять понятия "Архитектор данных" и "Senior разработчик БД"? А если, к примеру, разработчтк БД не Senior, а просто мужик какой-нибудь?

За эти годы много чего понял - лень писать всё.
Навскидку:
- данные нужно отчищать. Кажется банальностью - но на самом деле очень важно.
- бизнесу интересно извлекать деньги из любых данных. Поэтому и придумали ML.
- до сих пор существуют фирмы, у которых есть какие-то баз данных, но которые абсолютно не задумывались над управлением данными. Т.е. активно используют информацию за последние 2-3 месяца, остальное просто переносят в архивную БД.
- в информационной эпохе данные - это новое золото.
- админов БД остаётся всё меньше - все в девопсы переобуваются.
- любому базисту хорошо бы иметь опыт с BigData. Ещё лет 10 и будет разделение - или ты пишешь базу для простенького сайта на MySQL, или ты должен знать BigData. При этом и обычные базы ещё тоже останутся какое-то время для ряда задач, но на тех кто не знает BigData будут "косо смотреть" - как на людей, которые на Delphi и VB пишут.
- по поводу архитектуры - для типичных задач достаточно знать 3 нормальную форму БД, подход Инмона и Кимбалла и комбинировать их в том или ином виде...

Могу ещё на пару страниц подобных банальностей написать...

L_argotunknownпропущено...

Немного напоминает
пропущено...
ни кино, ни театра, ни книг, ни газет. От их былой популярности осталось 10%. Один сплошной интернет.
BigData - модный хайп для бородачей на гироскутерах. Скоро схлынет.
На мой взгляд, вряд ли схлынет.
С другой стороны, говорить что все на них перейдут - было всё-таки слишком смело.

На мой взгляд, они будут всё больше проникать друг в друга и интегрироваться.

Т.е. есть база Oracle - а есть база Vertica, которая заточена именно под DWH и работает на кластере.
Есть PostgreSQL, который тоже пытаются на кластере запускать.
Есть MS SQL Server, который в последней версии сервера пытался прицепить питон и интеграцию с Data Lake.

Питоном, кстати, с сервера на мой взгляд совсем неудобно пользоваться - гораздо проще через стандартные инструменты с ним дело иметь (юпитер ноутбук), а к базе прицепляться через драйвер или вообще в csv данные сгружать.

Т.е. всё идёт к тому, что будут пытаться какое-нибудь машинное обучение прицепить как можно ближе к базе, а саму базу с обычного сервера перевести на кластер. И чтобы на этом же кластере и ML работал - чтобы 2 кластера сразу не закупать.

В этом кстати у оракла и у майкрософта мысли сходятся: майкрософт пытался впаривать "облака", а оракл для свежей версии Vertica предусмотрел возможность "арендавать" вычислительные мощности.

А интерес к BigData не схлынет как минимум потому, что с ним связано и машинное обучение - а как всякие "топы" любят это словосочетание можно посмотреть на примере Грефа.

Дмитрий МухАлександр Бердышевпропущено...


За эти годы много чего понял...
Так и как стать профессиональным архитектором баз данных?
Понял, что мне это нахрен не надо.
КХД и так спроектировать могу, но кодить интереснее.

Главное что понял - нужно что-то своё мутить и до 40 успеть из прогеров переобуться во что угодно другое.

vadiminfoАлександр БердышевГлавное что понял - нужно что-то своё мутить и до 40 успеть из прогеров переобуться во что угодно другое.
"во что угодно другое" звучит, как "хоть в дворники". Поэтому, скорее всего, нуждается в уточнениях. Плиз, очертите контур этого "во что угодно другое".
Пытаться создать свой стартап - от продуктовой компании, до просто нанять человек 5 и перебиваться мелким аутсорсом. Не тимлидом в компании, а чисто на себя. Потому что как показала практика - любая компания при малейшей выгоде для себя тебя кинет. И риски попробует по максимуму на тебя повесить. Так зачем с кем-то прибылью делиться?

Другой вариант - скопить денег на прогерской зп и открыть булочную/овощной ларёк/фаст фуд по франшизе - да что угодно, чем было бы интересно заниматься. Да хотя бы шаверму. Это конечно экстремальный вариант - но тоже имеет место быть.

Лучший вариант - как раз с технологическим стартапом.
Хотел было после нового года попробовать открыть фирму с уклоном в аналитику данных и ML (разрабатывать для компаний корпоративное хранилище данных, внедрять BI - управленческая и оперативная отчётность, дэшборды; и самое интересное - по верх данных запускать ML алгоритмы - от прогнозирования до кластеризации) - но понял, что не успеваю технические скиллы для этого подтянуть видимо буду ближе к лету пробовать...
Т.е. КХД и BI потяну "под ключ сделать", а вот с ML нужно ещё натаскаться и просто больше опыта...

P.S. если кому интересно это всё по договору подряда, пока без юр лица - пишите berd1990@yandex.ru

Вообще ощущается глобальная тенденция, что скоро в мире работы будет меньше, чем людей. И с течением времени всё меньше и меньше - будет всё больше "лишних людей".
Это уже заметно - но может быть ещё хуже, вплоть до отказа от политики гуманизма и либерализма - т.е. в худшем случае люди будут просто дохнуть от голода, как в Африке. Представляете такое в Европе, Америке или у нас, лет через 20?
Хорошо будут жить люди со своим бизнесом или с актуальными техническими скиллами. Но наёмные работники будут сильно зависеть от людей, которые будут им давать работу - в этом тоже ничего приятного... Трястись и держаться за место - уже отвык от такого(