Гость
Войти | Профиль | Очистить
Map
Действия ...
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / BigData : ворчалка / 25 сообщений из 30, страница 1 из 2
  1  все
31.01.2022, 16:08
    #40130780
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
Привет.

Здесь я буду ворчать и нудеть про BigData.

Подписался на курс.

В части подразделов есть
- helm
- terraform

Кто знает зачем эти штуки нужны?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
31.01.2022, 17:13
    #40130807
Бумбараш
Бумбараш
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
это судя по гуглу девопс тулы

вам, как говорит Рустам Гаджимурадов, в форум "Вопросы и Ответы"

так как по девопсу нет форума
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
31.01.2022, 18:17
    #40130828
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
mayton,

BigData, она знаете ли разная...
Что там у вас за курс известно только вам.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
31.01.2022, 18:24
    #40130832
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
Прошу пока не перемещайте в Вопрос-Ответ.

Дальше вопросы будут получше.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.02.2022, 08:53
    #40130937
Ролг Хупин
Ролг Хупин
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
mayton
Прошу пока не перемещайте в Вопрос-Ответ.

Дальше вопросы будут получше.


Важно, чтобы ответы были получше
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.02.2022, 13:50
    #40130998
witte
witte
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
mayton

В части подразделов есть
- helm
- terraform

Кто знает зачем эти штуки нужны?

Helm используют в сборке образов докера. Например можно создать чарты под разные окружения для того чтобы достучаться к правильной БД.
Terraform - это про PaaC.

Зачем это в курсе про Big Data - я не понимаю. Ну Ок, Terraform ещё можно натянуть на глобус для быстрого разворачивания нужного окружения, но это больше devops-овый инструмент.
Что за курс?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.02.2022, 13:57
    #40131005
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
Да. Элемент девопса там будет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2022, 13:04
    #40131663
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
Для широты обзора послушал лекции этого господина.

https://www.youtube.com/playlist?list=PLlb7e2G7aSpRb95_Wi7lZ-zA6fOjV3_l7
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2022, 17:51
    #40131757
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
В инфраструктуре Hadoop многие компоненты близки или повторяют друг друга.

Например NameNode и ZooKeeper. Зачем они нужны вместе?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2022, 22:45
    #40131803
Бумбараш
Бумбараш
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
а на курсах что говорят?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2022, 23:00
    #40131808
Бумбараш
Бумбараш
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
неймнода это реестр для хдфс, она управляет файловой системой

а зуукипер управляет кластером приложений

это написано в википедии

Более подробно можно почитать в Hadoop: The Definitive Guide, довольно толковая книжка.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2022, 23:40
    #40131813
H5N1
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
mayton
В инфраструктуре Hadoop многие компоненты близки или повторяют друг друга.

Например NameNode и ZooKeeper. Зачем они нужны вместе?

NameNode говорит клиенту где искать блоки от файлов, ZooKeeper следит кто жив, а кто умер. Если кто важный помер - нового лидера выбрать.
они нужны вместе...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2022, 23:52
    #40131816
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
мне кажется, что это какой-то троллинг...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.02.2022, 10:24
    #40131853
Ролг Хупин
Ролг Хупин
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
mayton
Да. Элемент девопса там будет.


Кстати, что такое "девопс"? а то многие упоминают, а что это - так и не ясно
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.02.2022, 13:12
    #40131872
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
DataBrix использует Z-Ordering (multi-dimensional clustering)
для оптимизации поиска по большим данным.

Пример.

Код: sql
1.
2.
3.
OPTIMIZE events
WHERE date >= current_timestamp() - INTERVAL 1 day
ZORDER BY (eventType)


Как это работает внутри?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.02.2022, 13:18
    #40131873
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
Ролг Хупин
mayton
Да. Элемент девопса там будет.


Кстати, что такое "девопс"? а то многие упоминают, а что это - так и не ясно

Много раз в команде у нас были девопсы. Сначала они назывались системный инженер. Сисадмин.
Инженер инфраструктуры.

Сейчас вроде как термин устоялся. С моей точки зрения это специалист по эксплуатации системы.
А также промежуточное звено между разработчиком и сисадмином. Сисадмин для аутсорсинга
это просто экзотический фрукт. Если говорить о ремоне мышей и ноутбуков - это да он есть.
Но если говорить об задачах кастомера - то сисадмины - это недоступные люди которые где-то
в AWS или Google cloud через 3 линии поддержки могут отвечать на вопросы.

Тоесть девопс - это сидящий рядом почти сисадмин которого можно толкнуть кулаком в бок
и заставить пойти обновить JWT-токены на всех конфигурациях или подготовить новый env
в облаке к примеру.

База того чего должен знать девопс очень меняется постоянно. Есть курсы для девопсов
и ЗП - более соблазнительные чем у тестировщиков. Ну... по крайней мере если я-бы выбирал
то точно выбрал бы девопс чем QA.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.02.2022, 14:54
    #40131898
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
Насколько я понял. Платные решения которые доступны On-Premise

  • Cloudera
  • Hortonworks
  • MapR
представляет (для меня) россыпь нескольких различных проектов которые надо конфигурить
и поднимать отдельно (hdfs, namenode, workers, zookeeper e.t.c.)

Тоесть нету видения целого проекта.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2022, 22:06
    #40132119
H5N1
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
mayton
DataBrix использует Z-Ordering (multi-dimensional clustering)
для оптимизации поиска по большим данным.

Пример.

Код: sql
1.
2.
3.
OPTIMIZE events
WHERE date >= current_timestamp() - INTERVAL 1 day
ZORDER BY (eventType)


Как это работает внутри?

такие вещи надо в их engineering blog смотреть
https://databricks.com/blog/2018/07/31/processing-petabytes-of-data-in-seconds-with-databricks-delta.html

mayton
Насколько я понял. Платные решения которые доступны On-Premise

  • Cloudera
  • Hortonworks
  • MapR
представляет (для меня) россыпь нескольких различных проектов которые надо конфигурить
и поднимать отдельно (hdfs, namenode, workers, zookeeper e.t.c.)

Тоесть нету видения целого проекта.

MapR мертв, Hortonworks поглащен Cloudera. Cloudera свежие свои сборки бесплатно больше не дает пощупать.
тут есть линки на старую, еще на базе Hadoop 2.x quickstart vm
https://community.cloudera.com/t5/Support-Questions/Cloudera-Quickstart-VM-Download/td-p/291225

я бы посмотрел на apache bigtop https://bigtop.apache.org/ https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop 3.0.0 Release
вроде как это опенсорс сборка
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2022, 23:12
    #40132123
vikkiv
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
mayton
Платные решения которые доступны On-Premise

есть бесплатные cloud, тот-же Databricks который community edition на одной ноде (т.е. только Driver без Workers), но тем не менее PySpark / Scala там параллелят на таски по имеющимся core без проблем.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2022, 23:43
    #40132131
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
А почему mapR мертв? Версия comunity вроде доступна для скачивания.
https://mapr.com/download/

Нет развития?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2022, 23:54
    #40132133
Бумбараш
Бумбараш
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
mayton
А почему mapR мертв? Версия comunity вроде доступна для скачивания.
https://mapr.com/download/

Нет развития?

компания давно умерла
это в википедии написано

что вам там на курсах рассказывают?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2022, 23:57
    #40132135
Бумбараш
Бумбараш
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
там даже на этом сайте половина кнопок редиректят в неизвестность
туда попасть еще надо умудрится
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2022, 23:59
    #40132136
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
Бумбараш
mayton
А почему mapR мертв? Версия comunity вроде доступна для скачивания.
https://mapr.com/download/

Нет развития?

компания давно умерла
это в википедии написано

что вам там на курсах рассказывают?

Видимо курс - тухляк. Даже про bigtop нет упоминания. Впрочем мне курс не сильно важен. Просто
для себя хочу инфу подкорректировать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.02.2022, 00:09
    #40132138
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
H5N1
MapR мертв
MapR куплен HP )
mayton
Версия comunity вроде доступна для скачивания.
Нет развития?
MapR смотреть не нужно, они пошли своим путём сильного переписывания ванильной версии. В отличии от хортона и клаудеры, которые дорабатывали ваниль.
Комьюнити сборку можно качнуть с сайта Аренадаты (сборка изначально делается на базе Хортона). Правда, там только под центос и шапку...
mayton
Apache Hadoop
представляет (для меня) россыпь нескольких различных проектов которые надо конфигурить
и поднимать отдельно
Любая сборка, от любого вендора будет требовать конфигурирования. Максимум, что вы получите это клиентский UI. Да, вы будете редактировать конфиг файлы в UI, а не в консоли, но только и всего (да и не всё можно настроить через UI).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.02.2022, 00:19
    #40132140
Бумбараш
Бумбараш
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BigData : ворчалка
Дедушка,

HP там не саму контору купило, а остатки от тела с остановившимся сердцем. То есть там труп уже был.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / BigData : ворчалка / 25 сообщений из 30, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 911ms
Закрыть
start [/forum/topic.php?fid=48&mobile=1&tid=1856503]:
 0ms
get settings:
 16ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 45ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 454ms
get tp. blocked users:
 1ms
others: 359ms
total:  911ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]