powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Посоветуйте форумов и литературы для изучения инфраструктуры BigData с нуля
3 сообщений из 3, страница 1 из 1
Посоветуйте форумов и литературы для изучения инфраструктуры BigData с нуля
    #39676413
Александр Бердышев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коллеги, добрый день.
На очень хорошем уровне знаю SQL (Oracle, MS SQL Server - на уровне Senior).
Пол года назад перебрался на Big Data - стек Scala, Spark, Hadoop, Zeppelin.

Прикладные задачи решать удаётся без проблем - но ловлю себя на том, что нет пока такого глубокого понимания, как всё работает, как было на классических СУБД.

Не подскажите, где можно найти хорошо структурированный материал по NoSQL и BigData, где бы последовательно рассказывалось всё про парадигму в целом и про наиболее популярные технологии в частности? Там Hadoop, Hive, другие технологии этого стека - в каких случаях и для чего их в принципе целесообразно использовать.

+ Ещё есть дома 2 компа относительно старых, на которых хочу поэксперементировать с технологиями BigData в домашних условиях - можете заодно подсказать информацию, как развернуть кластер с нуля - с чего вообще стоит начинать в изучении этого пласта информации - чтобы не хвататься за всё подряд и сделать всё "как надо"?

Извиняюсь если вопросы звучат "нубско" - но просто не знаю, с какого конца к этой "горе" информации в принципе подходить.
...
Рейтинг: 0 / 0
Посоветуйте форумов и литературы для изучения инфраструктуры BigData с нуля
    #39676615
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Александр БердышевНе подскажите, где можно найти хорошо структурированный материал по NoSQL и BigData, где бы последовательно рассказывалось всё про парадигму в целом и про наиболее популярные технологии в частности?

А нет его.
Сначала были "массивно-параллельные вычисления". По этой теме есть книги. Просто поищите.

Потом гугл реализовал небольшой подмножество в виде map-reduce. Просто два шага классического вычисления с пересортировкой/пересулкой посредине. Для своей узкой задачи- ранжирования страниц по ссылкам на них.

Потом появилась open-source реализация для map-reduce - hadoop.

Потом пошли обратно к истокам и стали реализовывать массивно-параллельные вычисления вообще или их разные реализации на основе распределённой hdfs. Появились всякие Yarn, Hive, spark и прочее.

Но теория- ничего нового. По сути- каждый решает свои задачи делая свой движок.
...
Рейтинг: 0 / 0
Посоветуйте форумов и литературы для изучения инфраструктуры BigData с нуля
    #39677238
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Александр БердышевНе подскажите, где можно найти хорошо структурированный материал по NoSQL и BigData
В личном опыте работы.

Если вам приходилось решать оптимизационные задачи при обработке данных - основа уже есть.

Весь этот зоопарк из софта, писанного разными молодыми мальчиками под узко специализированные цели и специфическое "молодёжное" видение предмета решает лишь две задачи - оптимизировать обработку в приложении к конкретной постановке и дать моральное удовлетворение писавшему мальчику. Второе выражено гораздо ярче. Если мальчику не нравится - он не будет писать столько кода. Поэтому важно сочетание, когда мальчик проникся некой идеей (типа - удалю-ка я индексы и буду сразу хранить ссылки в строке данных) и когда эта идея хоть немного вменяемо легла на поставленную перед мальчиком цель. В общем народ просто экспериментирует (в основном по молодости), творит и пробует. Иногда производительность на отдельных задачах повышается. А иногда просто мальчикам нравится отображение графа на диск без заметных затрат времени на понимание, как оно работает.

В целом же это всё с точки зрения теории есть просто попытки оптимизации. А с точки зрения психологии попытки стимулируются самовнушением типа "я творю!". По оптимизации как раз и нужно искать работы, но не популярные (там обычно детский лепет), а что-то из университетов от каких-нибудь ph-degree соискателей, они имеют привычку обзоры втыкать в диссертации, мол я придумал ещё один метод, а выделяется он тем, что... И что бы показать чем он там выделяется, приводится список альтернативных подходов.
...
Рейтинг: 0 / 0
3 сообщений из 3, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Посоветуйте форумов и литературы для изучения инфраструктуры BigData с нуля
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]