WinnipuhIvan Durakпропущено...

давайте к конкретике. Бигдата это хадуп+сверху на нем все что угодно .

Можно хадуп и вычеркнуть для общности подхода.


зы. нету никакой бигдаты. Это выдумки маркетологов.

Лучшее определение дал Филановский.
Бигдата- это антресолька, куда можно закинуть всё, что не лезет в привычные хранилища (т.к. это дешевле), а потом попробовать это использовать (т.к. оно переварит такие объёмы даже на недорогом кластере).

Ivan DurakAlexey TominБигдата- это антресолька, куда можно закинуть всё, что не лезет в привычные хранилища (т.к. это дешевле), а потом попробовать это использовать (т.к. оно переварит такие объёмы даже на недорогом кластере).
А привычные хранилища - это что??

SQL, к примеру.
Есть, кстати, и интересные расширения- например Grennplum . Что не отменяет (у наших заказчиков) как использование Oracle Database, так и hadoop.
Надо понимать, что oracle удобнее в использовании, чем greenplum, а тот удобнее hadoop. Но и умрут они (на сравнимых по цене серверах) в том же порядке.

Ибн Хоттаба вот скажите,

select min(a.value+b.value) from some_table a, some_table b where bitand(a.key,b.key)=0

где в some_table 26 миллионов записей, пока что. Это уже бигдата, или еще нет? :)

"Кому и кобыла невеста".
Бигдата- это когда на своём SQL-сервере это не выполнить. Понятное дело, что у кого-то под сервер двухголовый xeon стоит, а у другого- hp superdome (это не реклама- просто как пример). Что для бедного стартапа бигдата- для большого банка- нормальная вещь.

Winnipuhсегодня не выполняется, значит бигдата, а завтра выполняется - и для меня это уже не бигадата, а для соседа Васи - еще какая бигдата

С одной стороны- да, те же объёмы могу перейти в другой раздел, по мере обновления техники.
С другой- данных-то тоже больше станет.

В целом- надо знать, что bigdata - это и проблема, и намётки для её решения. Намётки, потом что надо каждый раз городить велосипед- простого и понятного пути, как с SQL нет и вряд ли будет. С другой стороны- "на эти два процента я и живу" :D

Кстати, можно почитать Сказ про то, как мы строим ETL на Hadoop .