На форуме была похожая тема с данными от датчиков, но у меня несколько иной вопрос.
Есть подобная система в которой предположим есть данные от датчиков, данных очень много, они не изменяются и постоянно добавляются. Это классическая big-data. Но есть также десяток справочников, названия датчиков, расположение, атрубуты и т.д. - это не big-data а классическая реляционная структура.

Основная задача - это анализ данных.

Вот думаю как эту структуру организовать, я имею ввиду данные от датчиков и справочную информацию как лучше организовать в Hadoop инфраструктуре.

Перенести один к одному таблицы из RDBMS в Hbase и через Hive получить данные SQL запросами,
но это не вариант, ибо те запросы которые RDBMS обрабатываются за секунды, вводят Hive в ступор.
Я понимаю, что это неправильно, т.к. принцип хранения и обработки информации принципиально другой.
Пока единственный вариант который видится - это денормализация справочных данных и хранение их вместе с данными от датчиков.
Фактически будет одна таблица с очень длинными строками.
Есть ли какие-нибудь бест практис по маппингу данных RDBMS -> Hadoop?
В интернете везде классический бесполезный пример с подсчетом слов, а реальных кейсов не находил.

ДедушкаVladml,

при работе на hadoop имхо не стоит использовать способ мышления "таблицами", а придерживаться представления "файлы с данными"

у вас есть файлы с данными справочников (например вы их положите на каждую ноду) и файлы с данными ваших датчиков (например по файлу на каждый час).
далее в мапере вы цепляете данные за справочник и в редьюсере уже получаете "денормализованную" структуру
которую можете использовать сразу для анализа либо сохранить в файл для последующего использования.

Ну физически так и есть, т.к. таблицы в Hbase хранятся как файлы.
Вопрос в том что для получения отчета есть запрос с десятком джоинов. В этом случае я так понимаю map должен прочитать все файлы справочников целиком, вытянуть из на редюс и уже на стадии редюс сделать join.
Сейчас такая модель не работает, Hive тупо виснет, разбераюсь почему.

Alexey TominVladmlЕсть ли какие-нибудь бест практис по маппингу данных RDBMS -> Hadoop?
В интернете везде классический бесполезный пример с подсчетом слов, а реальных кейсов не находил.

Анализ данных же будет по-рассписанию? Тогда надо перед этим выгрузить данные из SQL в Hadoop. Например m/r job'а лезет в БД (главное ограничить число хостов, а то положить БД не проблема) и тянет снапшот справочника.

Сами данные уже транслируются в Hbase, с транспортом проблем нет.
Возможно есть каки-то гибридные системы, где справочные данные получеются из rdbms и потом объединяются с данными их hadoop.