|
Действия ...
|
09.06.2017, 13:28
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
|
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
08.06.2017, 15:54
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
Всем привет! Посоветуйте что-то толковое почитать по Big data (Java), дали тестовое, а я что-то не особо понимаю, с какой стороны к нему подступиться, а сделать надо (ну или хотя бы попробовать).:-) Опыта с Big data нет.:-( Спасибо большое!:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:02
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
Биг не биг.... задание то о чем? Natalia_141277...Big data (Java)... Печкин_о_Big_DataМинуточку… Больше килограмма! Это посылка получается. Сейчас мы её доставим… …А если Вы на него бочку катите, то это уже контейнерная перевозка получается. Этим трансагентства занимаются в сельской местности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:03
|
|||
|---|---|---|---|
Java (big data) |
|||
|
#18+
Расплывчато, что конкретно интересует? Теория, технологии, алгоритмы, способы решения задач? Не хотите светить тестовое задание, хотя бы примерно расскажите о чем оно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:07
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
Natalia_141277, Java тут как бе и не при чем вообще. Надо смотреть о каких технологиях речь вообще. Big Data это и о хранение и об обработке и о распределении и много чего ещё. Изучать много. В рунете много толковых роликов и на ютубе. Но лучше иметь больше конкретики о том что именно нужно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:08
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
Leonid Kudryavtsev, нужно проанализировать и трансформировать более 500 000 ревью с определенного сайта и найти например 1000 наиболее активных пользователей, там еще пункты есть, но суть в анализе большого количества информации с выборками. я не спец, может и неправильно категорию определила, но я с big data не работала никогда, потому спрашиваю:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:11
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
желательно алгоритмы обработки больших объемов информации и способы решения задач, ну и общая инфа конечно:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:15
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
Natalia_141277нужно проанализировать и трансформировать более 500 000 ревью с определенного сайта и найти например 1000 наиболее активных пользователей, там еще пункты есть, но суть в анализе большого количества информации с выборками. я не спец, может и неправильно категорию определила, но я с big data не работала никогда, потому спрашиваю:-) Это не big data. Начните, наверное с алгоритмов. Fork Join, Map Reduce для начала. Потом немного про кластеризацию почитайте. А там уже и Apache Spark можно начинать пробовать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:20
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
Blazkowicz, ок, спасибо большое, почитаю:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:28
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
Blazkowicz, https://habrahabr.ru/company/dca/blog/267361/ тут почему-то MapReduce идет в связке с Big Data или Вы имели в виду, что тестовое задание - не Big Data? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:48
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
Natalia_141277или Вы имели в виду, что тестовое задание - не Big Data? 500 000 документов это не big data. :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:51
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
Blazkowicz, ok, thanks:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 16:55
|
|||
|---|---|---|---|
Java (big data) |
|||
|
#18+
Natalia_141277, в книжке по Hadoop есть примеры с анализом погодных показателей. Вроде даже есть ссылки на скачивание самих данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.06.2017, 17:05
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
mayton, а что за книга? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 10:30
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
mayton, спасибо большое!:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 11:30
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
BlazkowiczNatalia_141277или Вы имели в виду, что тестовое задание - не Big Data? 500 000 документов это не big data. :) а есть число конкретное? например, 500000 -- не биг, а вот 500010 -- это всё, биг ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 11:48
|
|||
|---|---|---|---|
Java (big data) |
|||
|
#18+
Скорее всего BigData начинается не от количества DataRows/Documents/Tuples. А от неких других начальных условий. Например: - данные неструктурированы (грубо говоря нету desc table который даст метаинформацию о том что внутри) - данные стали историческими (или изменяются настолько редко что этим можно прененбречь) - есть возможность применить для анализа шаблон "отображение-свёртка" и есть горизонтальное мастабирование - использование классических реляционных DBMS для анализа этих данных невыгодно по разным причинам ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 12:03
|
|||
|---|---|---|---|
Java (big data) |
|||
|
#18+
вообще bigdata считается то, что не влазит в Ram одного компьютера, который может позволить себе заказчик ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 12:09
|
|||
|---|---|---|---|
Java (big data) |
|||
|
#18+
забыл никвообще bigdata считается то, что не влазит в Ram одного компьютера, который может позволить себе заказчик Это классическая база данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 12:36
|
|||
|---|---|---|---|
Java (big data) |
|||
|
#18+
maytonзабыл никвообще bigdata считается то, что не влазит в Ram одного компьютера, который может позволить себе заказчик Это классическая база данных. И термина bigdata не возникло бы, если бы СУБД можно было неограниченно масштабировать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 12:52
|
|||
|---|---|---|---|
|
|||
Java (big data) |
|||
|
#18+
забыл никвообще bigdata считается то, что не влазит в Ram одного компьютера, который может позволить себе заказчик То, что не влазит в RAM одного компьютера (или кластера), называется "не in-memory БД". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 13:00
|
|||
|---|---|---|---|
Java (big data) |
|||
|
#18+
Вот отличный курс, причем на русском: https://stepik.org/course/Hadoop-Система-для-обработки-больших-объемов-данных-150/syllabus ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 13:16
|
|||
|---|---|---|---|
Java (big data) |
|||
|
#18+
авторнужно проанализировать и трансформировать более 500 000 ревью с определенного сайта и найти например 1000 наиболее активных пользователей, там еще пункты есть, но суть в анализе большого количества информации с выборками. Например, я бы скачал wget'ом http://www.sql.ru/forum/1262503 -1 на 500 000 раз (ну или java скачайте, раз это тест); затем выделил бы отдельно логины с урлом, даты, число символов в посте и рубрику; а потом понастроил бы графиков под разные параметры. Примеры графика можно посмотреть в профилях на sql.ru зы Но в бигдата я ничо не понимаю, просто суть задания в этом. А чего от вас требуют -- без понятия. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 13:28
|
|||
|---|---|---|---|
Java (big data) |
|||
|
#18+
azsxА чего от вас требуют -- без понятия. бигдата, это то же самое как микросервисы. Никто не знает, но они есть). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.06.2017, 14:04
|
|||
|---|---|---|---|
Java (big data) |
|||
|
#18+
забыл никmaytonпропущено... Это классическая база данных. И термина bigdata не возникло бы, если бы СУБД можно было неограниченно масштабировать BigData это не СУБД по определению. Я сейчас на вскидку не помню но по решению 25 Съезда КПСС , СУБД принято считать совокупностью программных и аппаратных средств нацеленных на 1) Ввод данных 2) Обработку (процессинг) 3) Извлечение отчетов Я-бы до кучи накинул классификации Брюера (теорема CAP). Согласно ей BigData и DBMS уже относятся к разным классам систем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=59&mobile=1&tid=2121983]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
1910ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
66ms |
get tp. blocked users: |
2ms |
| others: | 11ms |
| total: | 2032ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
