ReSQL.ru
     
powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Java (big data)
25 сообщений из 46, страница 1 из 2
  1  все
Java (big data)
    #39468798
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Natalia_141277
Гость
Всем привет!
Посоветуйте что-то толковое почитать по Big data (Java), дали тестовое, а я что-то не особо понимаю, с какой стороны к нему подступиться, а сделать надо (ну или хотя бы попробовать).:-)
Опыта с Big data нет.:-(
Спасибо большое!:-)
...
Рейтинг: 0 / 0
08.06.2017, 15:54
| Ответить | Цитировать | Написать  
Java (big data)
    #39468814
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Биг не биг.... задание то о чем?

Natalia_141277...Big data (Java)...
Печкин_о_Big_DataМинуточку… Больше килограмма! Это посылка получается. Сейчас мы её доставим…

…А если Вы на него бочку катите, то это уже контейнерная перевозка получается. Этим трансагентства занимаются в сельской местности.
...
Рейтинг: 0 / 0
08.06.2017, 16:02
| Ответить | Цитировать | Написать  
Java (big data)
    #39468816
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
Расплывчато, что конкретно интересует? Теория, технологии, алгоритмы, способы решения задач? Не хотите светить тестовое задание, хотя бы примерно расскажите о чем оно
...
Рейтинг: 0 / 0
08.06.2017, 16:03
| Ответить | Цитировать | Написать  
Java (big data)
    #39468823
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Natalia_141277,

Java тут как бе и не при чем вообще. Надо смотреть о каких технологиях речь вообще. Big Data это и о хранение и об обработке и о распределении и много чего ещё. Изучать много. В рунете много толковых роликов и на ютубе. Но лучше иметь больше конкретики о том что именно нужно.
...
Рейтинг: 0 / 0
08.06.2017, 16:07
| Ответить | Цитировать | Написать  
Java (big data)
    #39468826
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Natalia_141277
Гость
Leonid Kudryavtsev,
нужно проанализировать и трансформировать более 500 000 ревью с определенного сайта и найти например 1000 наиболее активных пользователей, там еще пункты есть, но суть в анализе большого количества информации с выборками.
я не спец, может и неправильно категорию определила, но я с big data не работала никогда, потому спрашиваю:-)
...
Рейтинг: 0 / 0
08.06.2017, 16:08
| Ответить | Цитировать | Написать  
Java (big data)
    #39468830
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Natalia_141277
Гость
желательно алгоритмы обработки больших объемов информации и способы решения задач, ну и общая инфа конечно:-)
...
Рейтинг: 0 / 0
08.06.2017, 16:11
| Ответить | Цитировать | Написать  
Java (big data)
    #39468838
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Natalia_141277нужно проанализировать и трансформировать более 500 000 ревью с определенного сайта и найти например 1000 наиболее активных пользователей, там еще пункты есть, но суть в анализе большого количества информации с выборками.
я не спец, может и неправильно категорию определила, но я с big data не работала никогда, потому спрашиваю:-)
Это не big data. Начните, наверное с алгоритмов. Fork Join, Map Reduce для начала. Потом немного про кластеризацию почитайте.
А там уже и Apache Spark можно начинать пробовать.
...
Рейтинг: 0 / 0
08.06.2017, 16:15
| Ответить | Цитировать | Написать  
Java (big data)
    #39468846
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Natalia_141277
Гость
Blazkowicz, ок, спасибо большое, почитаю:-)
...
Рейтинг: 0 / 0
08.06.2017, 16:20
| Ответить | Цитировать | Написать  
Java (big data)
    #39468859
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Natalia_141277
Гость
Blazkowicz,
https://habrahabr.ru/company/dca/blog/267361/
тут почему-то MapReduce идет в связке с Big Data или Вы имели в виду, что тестовое задание - не Big Data?
...
Рейтинг: 0 / 0
08.06.2017, 16:28
| Ответить | Цитировать | Написать  
Java (big data)
    #39468882
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Natalia_141277или Вы имели в виду, что тестовое задание - не Big Data?
500 000 документов это не big data. :)
...
Рейтинг: 0 / 0
08.06.2017, 16:48
| Ответить | Цитировать | Написать  
Java (big data)
    #39468884
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Natalia_141277
Гость
Blazkowicz,
ok, thanks:-)
...
Рейтинг: 0 / 0
08.06.2017, 16:51
| Ответить | Цитировать | Написать  
Java (big data)
    #39468889
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Natalia_141277, в книжке по Hadoop есть примеры с анализом погодных показателей.

Вроде даже есть ссылки на скачивание самих данных.
...
Рейтинг: 0 / 0
08.06.2017, 16:55
| Ответить | Цитировать | Написать  
Java (big data)
    #39468898
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Natalia_141277
Гость
mayton,

а что за книга?
...
Рейтинг: 0 / 0
08.06.2017, 17:05
| Ответить | Цитировать | Написать  
Java (big data)
    #39469088
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
https://www.amazon.com/Hadoop-Definitive-Storage-Analysis-Internet/dp/1491901632
...
Рейтинг: 0 / 0
08.06.2017, 22:45
| Ответить | Цитировать | Написать  
Java (big data)
    #39469207
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Natalia_141277
Гость
mayton,
спасибо большое!:-)
...
Рейтинг: 0 / 0
09.06.2017, 10:30
| Ответить | Цитировать | Написать  
Java (big data)
    #39469282
Фотография grasoff.net
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
grasoff.net
Участник
BlazkowiczNatalia_141277или Вы имели в виду, что тестовое задание - не Big Data?
500 000 документов это не big data. :)
а есть число конкретное?
например, 500000 -- не биг, а вот 500010 -- это всё, биг
...
Рейтинг: 0 / 0
09.06.2017, 11:30
| Ответить | Цитировать | Написать  
Java (big data)
    #39469305
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Скорее всего BigData начинается не от количества DataRows/Documents/Tuples.

А от неких других начальных условий. Например:
- данные неструктурированы (грубо говоря нету desc table который даст метаинформацию о том что внутри)
- данные стали историческими (или изменяются настолько редко что этим можно прененбречь)
- есть возможность применить для анализа шаблон "отображение-свёртка" и есть горизонтальное мастабирование
- использование классических реляционных DBMS для анализа этих данных невыгодно по разным причинам
...
Рейтинг: 0 / 0
09.06.2017, 11:48
| Ответить | Цитировать | Написать  
Java (big data)
    #39469330
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
вообще bigdata считается то, что не влазит в Ram одного компьютера, который может позволить себе заказчик
...
Рейтинг: 0 / 0
09.06.2017, 12:03
| Ответить | Цитировать | Написать  
Java (big data)
    #39469347
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
забыл никвообще bigdata считается то, что не влазит в Ram одного компьютера, который может позволить себе заказчик
Это классическая база данных.
...
Рейтинг: 0 / 0
09.06.2017, 12:09
| Ответить | Цитировать | Написать  
Java (big data)
    #39469380
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
maytonзабыл никвообще bigdata считается то, что не влазит в Ram одного компьютера, который может позволить себе заказчик
Это классическая база данных.

И термина bigdata не возникло бы, если бы СУБД можно было неограниченно масштабировать
...
Рейтинг: 0 / 0
09.06.2017, 12:36
| Ответить | Цитировать | Написать  
Java (big data)
    #39469402
Локшин Марк
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Локшин Марк
Участник
забыл никвообще bigdata считается то, что не влазит в Ram одного компьютера, который может позволить себе заказчик
То, что не влазит в RAM одного компьютера (или кластера), называется "не in-memory БД".
...
Рейтинг: 0 / 0
09.06.2017, 12:52
| Ответить | Цитировать | Написать  
Java (big data)
    #39469416
romskom
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
romskom
Участник
Вот отличный курс, причем на русском:
https://stepik.org/course/Hadoop-Система-для-обработки-больших-объемов-данных-150/syllabus
...
Рейтинг: 0 / 0
09.06.2017, 13:00
| Ответить | Цитировать | Написать  
Java (big data)
    #39469446
azsx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
azsx
Участник
авторнужно проанализировать и трансформировать более 500 000 ревью с определенного сайта и найти например 1000 наиболее активных пользователей, там еще пункты есть, но суть в анализе большого количества информации с выборками.
Например, я бы скачал wget'ом http://www.sql.ru/forum/1262503 -1 на 500 000 раз (ну или java скачайте, раз это тест);
затем выделил бы отдельно логины с урлом, даты, число символов в посте и рубрику;
а потом понастроил бы графиков под разные параметры. Примеры графика можно посмотреть в профилях на sql.ru
зы
Но в бигдата я ничо не понимаю, просто суть задания в этом. А чего от вас требуют -- без понятия.
...
Рейтинг: 0 / 0
09.06.2017, 13:16
| Ответить | Цитировать | Написать  
Java (big data)
    #39469459
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
azsxА чего от вас требуют -- без понятия.
бигдата, это то же самое как микросервисы.
Никто не знает, но они есть).
...
Рейтинг: 0 / 0
09.06.2017, 13:28
| Ответить | Цитировать | Написать  
Java (big data)
    #39469484
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
забыл никmaytonпропущено...

Это классическая база данных.

И термина bigdata не возникло бы, если бы СУБД можно было неограниченно масштабировать
BigData это не СУБД по определению. Я сейчас на вскидку не помню
но по решению 25 Съезда КПСС , СУБД принято считать совокупностью
программных и аппаратных средств нацеленных на

1) Ввод данных
2) Обработку (процессинг)
3) Извлечение отчетов

Я-бы до кучи накинул классификации Брюера (теорема CAP). Согласно ей BigData и DBMS уже
относятся к разным классам систем.
...
Рейтинг: 0 / 0
09.06.2017, 14:04
| Ответить | Цитировать | Написать  
25 сообщений из 46, страница 1 из 2
  1  все
Форумы / Java [игнор отключен] [закрыт для гостей] / Java (big data)
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&fpage=45&tid=2121983]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 47ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 61ms
get tp. blocked users:
 2ms
others: 12ms
total:  163ms
созд. / загр.: 163ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]