ReSQL.ru
     
powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / BigData : ворчалка
25 сообщений из 30, страница 1 из 2
  1  все
BigData : ворчалка
    #40130780
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Привет.

Здесь я буду ворчать и нудеть про BigData.

Подписался на курс.

В части подразделов есть
- helm
- terraform

Кто знает зачем эти штуки нужны?
...
Рейтинг: 0 / 0
31.01.2022, 16:08
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40130807
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
это судя по гуглу девопс тулы

вам, как говорит Рустам Гаджимурадов, в форум "Вопросы и Ответы"

так как по девопсу нет форума
...
Рейтинг: 0 / 0
31.01.2022, 17:13
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40130828
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
mayton,

BigData, она знаете ли разная...
Что там у вас за курс известно только вам.
...
Рейтинг: 0 / 0
31.01.2022, 18:17
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40130832
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Прошу пока не перемещайте в Вопрос-Ответ.

Дальше вопросы будут получше.
...
Рейтинг: 0 / 0
31.01.2022, 18:24
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40130937
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ролг Хупин
Участник
mayton
Прошу пока не перемещайте в Вопрос-Ответ.

Дальше вопросы будут получше.


Важно, чтобы ответы были получше
...
Рейтинг: 0 / 0
01.02.2022, 08:53
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40130998
witte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
witte
Участник
mayton

В части подразделов есть
- helm
- terraform

Кто знает зачем эти штуки нужны?

Helm используют в сборке образов докера. Например можно создать чарты под разные окружения для того чтобы достучаться к правильной БД.
Terraform - это про PaaC.

Зачем это в курсе про Big Data - я не понимаю. Ну Ок, Terraform ещё можно натянуть на глобус для быстрого разворачивания нужного окружения, но это больше devops-овый инструмент.
Что за курс?
...
Рейтинг: 0 / 0
01.02.2022, 13:50
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131005
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Да. Элемент девопса там будет.
...
Рейтинг: 0 / 0
01.02.2022, 13:57
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131663
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Для широты обзора послушал лекции этого господина.

https://www.youtube.com/playlist?list=PLlb7e2G7aSpRb95_Wi7lZ-zA6fOjV3_l7
...
Рейтинг: 0 / 0
04.02.2022, 13:04
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131757
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
В инфраструктуре Hadoop многие компоненты близки или повторяют друг друга.

Например NameNode и ZooKeeper. Зачем они нужны вместе?
...
Рейтинг: 0 / 0
04.02.2022, 17:51
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131803
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
а на курсах что говорят?
...
Рейтинг: 0 / 0
04.02.2022, 22:45
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131808
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
неймнода это реестр для хдфс, она управляет файловой системой

а зуукипер управляет кластером приложений

это написано в википедии

Более подробно можно почитать в Hadoop: The Definitive Guide, довольно толковая книжка.
...
Рейтинг: 0 / 0
04.02.2022, 23:00
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131813
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
mayton
В инфраструктуре Hadoop многие компоненты близки или повторяют друг друга.

Например NameNode и ZooKeeper. Зачем они нужны вместе?

NameNode говорит клиенту где искать блоки от файлов, ZooKeeper следит кто жив, а кто умер. Если кто важный помер - нового лидера выбрать.
они нужны вместе...
...
Рейтинг: 0 / 0
04.02.2022, 23:40
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131816
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
мне кажется, что это какой-то троллинг...
...
Рейтинг: 0 / 0
04.02.2022, 23:52
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131853
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ролг Хупин
Участник
mayton
Да. Элемент девопса там будет.


Кстати, что такое "девопс"? а то многие упоминают, а что это - так и не ясно
...
Рейтинг: 0 / 0
05.02.2022, 10:24
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131872
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
DataBrix использует Z-Ordering (multi-dimensional clustering)
для оптимизации поиска по большим данным.

Пример.

Код: sql
1.
2.
3.
OPTIMIZE events
WHERE date >= current_timestamp() - INTERVAL 1 day
ZORDER BY (eventType)


Как это работает внутри?
...
Рейтинг: 0 / 0
05.02.2022, 13:12
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131873
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Ролг Хупин
mayton
Да. Элемент девопса там будет.


Кстати, что такое "девопс"? а то многие упоминают, а что это - так и не ясно

Много раз в команде у нас были девопсы. Сначала они назывались системный инженер. Сисадмин.
Инженер инфраструктуры.

Сейчас вроде как термин устоялся. С моей точки зрения это специалист по эксплуатации системы.
А также промежуточное звено между разработчиком и сисадмином. Сисадмин для аутсорсинга
это просто экзотический фрукт. Если говорить о ремоне мышей и ноутбуков - это да он есть.
Но если говорить об задачах кастомера - то сисадмины - это недоступные люди которые где-то
в AWS или Google cloud через 3 линии поддержки могут отвечать на вопросы.

Тоесть девопс - это сидящий рядом почти сисадмин которого можно толкнуть кулаком в бок
и заставить пойти обновить JWT-токены на всех конфигурациях или подготовить новый env
в облаке к примеру.

База того чего должен знать девопс очень меняется постоянно. Есть курсы для девопсов
и ЗП - более соблазнительные чем у тестировщиков. Ну... по крайней мере если я-бы выбирал
то точно выбрал бы девопс чем QA.
...
Рейтинг: 0 / 0
05.02.2022, 13:18
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40131898
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Насколько я понял. Платные решения которые доступны On-Premise

  • Cloudera
  • Hortonworks
  • MapR
представляет (для меня) россыпь нескольких различных проектов которые надо конфигурить
и поднимать отдельно (hdfs, namenode, workers, zookeeper e.t.c.)

Тоесть нету видения целого проекта.
...
Рейтинг: 0 / 0
05.02.2022, 14:54
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40132119
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
mayton
DataBrix использует Z-Ordering (multi-dimensional clustering)
для оптимизации поиска по большим данным.

Пример.

Код: sql
1.
2.
3.
OPTIMIZE events
WHERE date >= current_timestamp() - INTERVAL 1 day
ZORDER BY (eventType)


Как это работает внутри?

такие вещи надо в их engineering blog смотреть
https://databricks.com/blog/2018/07/31/processing-petabytes-of-data-in-seconds-with-databricks-delta.html

mayton
Насколько я понял. Платные решения которые доступны On-Premise

  • Cloudera
  • Hortonworks
  • MapR
представляет (для меня) россыпь нескольких различных проектов которые надо конфигурить
и поднимать отдельно (hdfs, namenode, workers, zookeeper e.t.c.)

Тоесть нету видения целого проекта.

MapR мертв, Hortonworks поглащен Cloudera. Cloudera свежие свои сборки бесплатно больше не дает пощупать.
тут есть линки на старую, еще на базе Hadoop 2.x quickstart vm
https://community.cloudera.com/t5/Support-Questions/Cloudera-Quickstart-VM-Download/td-p/291225

я бы посмотрел на apache bigtop https://bigtop.apache.org/ https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop 3.0.0 Release
вроде как это опенсорс сборка
...
Рейтинг: 0 / 0
06.02.2022, 22:06
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40132123
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
mayton
Платные решения которые доступны On-Premise

есть бесплатные cloud, тот-же Databricks который community edition на одной ноде (т.е. только Driver без Workers), но тем не менее PySpark / Scala там параллелят на таски по имеющимся core без проблем.
...
Рейтинг: 0 / 0
06.02.2022, 23:12
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40132131
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
А почему mapR мертв? Версия comunity вроде доступна для скачивания.
https://mapr.com/download/

Нет развития?
...
Рейтинг: 0 / 0
06.02.2022, 23:43
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40132133
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
mayton
А почему mapR мертв? Версия comunity вроде доступна для скачивания.
https://mapr.com/download/

Нет развития?

компания давно умерла
это в википедии написано

что вам там на курсах рассказывают?
...
Рейтинг: 0 / 0
06.02.2022, 23:54
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40132135
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
там даже на этом сайте половина кнопок редиректят в неизвестность
туда попасть еще надо умудрится
...
Рейтинг: 0 / 0
06.02.2022, 23:57
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40132136
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Бумбараш
mayton
А почему mapR мертв? Версия comunity вроде доступна для скачивания.
https://mapr.com/download/

Нет развития?

компания давно умерла
это в википедии написано

что вам там на курсах рассказывают?

Видимо курс - тухляк. Даже про bigtop нет упоминания. Впрочем мне курс не сильно важен. Просто
для себя хочу инфу подкорректировать.
...
Рейтинг: 0 / 0
06.02.2022, 23:59
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40132138
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
H5N1
MapR мертв
MapR куплен HP )
mayton
Версия comunity вроде доступна для скачивания.
Нет развития?
MapR смотреть не нужно, они пошли своим путём сильного переписывания ванильной версии. В отличии от хортона и клаудеры, которые дорабатывали ваниль.
Комьюнити сборку можно качнуть с сайта Аренадаты (сборка изначально делается на базе Хортона). Правда, там только под центос и шапку...
mayton
Apache Hadoop
представляет (для меня) россыпь нескольких различных проектов которые надо конфигурить
и поднимать отдельно
Любая сборка, от любого вендора будет требовать конфигурирования. Максимум, что вы получите это клиентский UI. Да, вы будете редактировать конфиг файлы в UI, а не в консоли, но только и всего (да и не всё можно настроить через UI).
...
Рейтинг: 0 / 0
07.02.2022, 00:09
| Ответить | Цитировать | Написать  
BigData : ворчалка
    #40132140
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Дедушка,

HP там не саму контору купило, а остатки от тела с остановившимся сердцем. То есть там труп уже был.
...
Рейтинг: 0 / 0
07.02.2022, 00:19
| Ответить | Цитировать | Написать  
25 сообщений из 30, страница 1 из 2
  1  все
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / BigData : ворчалка
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (7): Анонимы (5), Yandex Bot 1 мин., Bing Bot 3 мин.
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
Start [/forum/topic.php?fid=48&tid=1856503]:
 0ms
get settings:
 0ms
get forum list:
 7ms
check forum access:
 0ms
check topic access:
 0ms
track hit:
 26ms
get topic data:
 3ms
get forum data:
 0ms
get page messages:
 15ms
update_topic_read_status (1856503): 07.02.2022 00:19:48:
 0ms
get tp. blocked users:
 0ms
get online users:
 20ms
check new:
 1ms
others: 78ms
total:  150ms
созд. / загр.: 150ms (нв.: 1ms)
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]