powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Java (big data)
21 сообщений из 46, страница 2 из 2
Java (big data)
    #39469529
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Natalia_141277Leonid Kudryavtsev,
нужно проанализировать и трансформировать более 500 000 ревью с определенного сайта и найти например 1000 наиболее активных пользователей, там еще пункты есть, но суть в анализе большого количества информации с выборками.
я не спец, может и неправильно категорию определила, но я с big data не работала никогда, потому спрашиваю:-)
В двухтысячные был популярен Мем про грабеж корованов . Навеяло...

В вашем задании просто надо сесть с постановщиком (аналитиком) и придираясь к каждому слову (к каждому!) расписать
ТЗ хотя-бы страниц на 2-3. После этого станет понятно что надо делать. Если постановщик сам неосилит подобное
написать то такое ТЗ вообще не стоит делать ибо оно ниочем. Нельзя трансформировать не зная как. Нельзя находить
активных не имея критерия. И нельзя формализовать даже review. Что это? Документ? Кортеж? Поле?
...
Рейтинг: 0 / 0
Java (big data)
    #39470477
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mayton,
Apache Spark посоветовали использовать, сейчас разбираюсь с ним, это тестовое сделать уже не успею, но просто интересно разобраться, что и к чему на будущее.
Это совсем другое направление, может быть тоже пригодится.
...
Рейтинг: 0 / 0
Java (big data)
    #39470497
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Apache Spark - хороший выбор. Особенно если будет позиция с требованиями.

А по Хадуп я-бы советовал почитать. Общие знания. Особенно в части дисковой подсистемы.
Полезно знать как вообще устроен HDFS и как это все работает в стеке. Особенно
если есть кейс когда Spark стоит поверх HDFS. Хотя здесь я невкурсе. Могут быть варианты.

Ну вобщем Хадуп - это ассемблер в мире бигдата.
...
Рейтинг: 0 / 0
Java (big data)
    #39470500
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mayton,
спасибо большое!:-)
...
Рейтинг: 0 / 0
Java (big data)
    #39470672
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123azsxА чего от вас требуют -- без понятия.
бигдата, это то же самое как микросервисы.
Никто не знает, но они есть).

Кто не знает- сам виноват.
Бигдата- это когда оборудование (железо, ПО) для традиционных способов обработки (РСУБД) стоят слишком дорого для вас.
Что для одних- бигдата, для других- так, мелочь.
По сути- бигдата это _проблема_ - данные есть, а обработать их сил уже нет. Приходится извращаться- хадуп и т.п.
...
Рейтинг: 0 / 0
Java (big data)
    #39470711
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominКто не знает- сам виноват.
Я вам о факте, а вы об обвинениях).
Термин вольно трактуется всеми участниками треда.
А участники - профи.
Я лучше сам термин обвиню)).
...
Рейтинг: 0 / 0
Java (big data)
    #39470719
dimonz80
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Natalia_141277Всем привет!
Посоветуйте что-то толковое почитать по Big data (Java), дали тестовое, а я что-то не особо понимаю, с какой стороны к нему подступиться, а сделать надо (ну или хотя бы попробовать).:-)
Опыта с Big data нет.:-(
Спасибо большое!:-)



Доступно и доходчиво про BigData, MapReduce etc скачать бесплатно без регистрации и СМС
...
Рейтинг: 0 / 0
Java (big data)
    #39470756
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dimonz80,
хорошая статья))
авторрешение "бабушка, вручную записывающая операции в бумажный блокнот"
))
...
Рейтинг: 0 / 0
Java (big data)
    #39471448
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
azsx,

в том-то и дело, что суть задания не в этом:-)
я в общих чертах написала, некорректно расписывать тех.задание полностью, я думаю
там выборки делать нужно, причем тут графики?:-)
потом выбранные данные трансформировать, например, перевести с помощью Google Translate на др.языки, вывести в формате Json результат
много еще чего:-)
...
Рейтинг: 0 / 0
Java (big data)
    #39471770
Фотография Usman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Java (big data)
    #39471960
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Usman,
thanks a lot!:-)
...
Рейтинг: 0 / 0
Java (big data)
    #39478659
For All
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Natalia_141277Опыта с Big data нет.:-(
Самое оно https://hazelcast.org/mastering-hazelcast/
...
Рейтинг: 0 / 0
Java (big data)
    #39481196
rfq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сначала надо попытаться все данные загрузить в реляционную СУБД и затем извлечь необходимую информацию с помощью SQL запроса. Если получится, то это будет самое лучшее решение в плане дальнейшего сопровождения.
...
Рейтинг: 0 / 0
Java (big data)
    #39482855
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Natalia_141277azsx,

в том-то и дело, что суть задания не в этом:-)
я в общих чертах написала, некорректно расписывать тех.задание полностью, я думаю
там выборки делать нужно, причем тут графики?:-)
потом выбранные данные трансформировать, например, перевести с помощью Google Translate на др.языки, вывести в формате Json результат
много еще чего:-)
фигасе у вас тестовое задание ))) мне как то бигдатое тестовое задание дали - задачку на спарке+кафке+редиске написать грабер строчек, который из нее выдирал предложения буквы пробелы и т.п. я сделал эту херь, хотя в первый раз в глаза это увидал. но меня не взяли. т.к. как потом оказалось, всё надо было сделать в один проход, а я сделал в три (для букв, для слов и для предложений). ну и ладно. мне сказали "сделай шоп работало" - я сделал шоп работало. а потом выяснилось что сделать надо было "так" и я типа должен был сам догадаться.
...
Рейтинг: 0 / 0
Java (big data)
    #39482856
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT, это лишний раз подчеркивает наше убеждение в том что тестовые задания
- это бесполезная трата времени.
...
Рейтинг: 0 / 0
Java (big data)
    #39485581
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
andreykaTNatalia_141277azsx,

в том-то и дело, что суть задания не в этом:-)
я в общих чертах написала, некорректно расписывать тех.задание полностью, я думаю
там выборки делать нужно, причем тут графики?:-)
потом выбранные данные трансформировать, например, перевести с помощью Google Translate на др.языки, вывести в формате Json результат
много еще чего:-)
фигасе у вас тестовое задание ))) мне как то бигдатое тестовое задание дали - задачку на спарке+кафке+редиске написать грабер строчек, который из нее выдирал предложения буквы пробелы и т.п. я сделал эту херь, хотя в первый раз в глаза это увидал. но меня не взяли. т.к. как потом оказалось, всё надо было сделать в один проход, а я сделал в три (для букв, для слов и для предложений). ну и ладно. мне сказали "сделай шоп работало" - я сделал шоп работало. а потом выяснилось что сделать надо было "так" и я типа должен был сам догадаться.

я вот тоже об этом подумала:-)
тем более на джуна:-)
...
Рейтинг: 0 / 0
Java (big data)
    #39485632
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
не... ну разобраться то в этом всем ума много не надо, когда гуглить умеешь. вопросы появляются по нюансам, которые ты сам навряд-ли догадаешься, если ранее не сталкивался, или кто не подсказал как надо "правильно".

ну или тотальный штурм документации (если время есть). а на тз его, как правило, нет. и один фиг практика-практика-практика.
...
Рейтинг: 0 / 0
Java (big data)
    #39485652
Natalia_141277
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
andreykaTне... ну разобраться то в этом всем ума много не надо, когда гуглить умеешь. вопросы появляются по нюансам, которые ты сам навряд-ли догадаешься, если ранее не сталкивался, или кто не подсказал как надо "правильно".

ну или тотальный штурм документации (если время есть). а на тз его, как правило, нет. и один фиг практика-практика-практика.

если впервые сталкиваешься, разбирать нужно с азов, просто нагуглить не всегда помогает
...
Рейтинг: 0 / 0
Java (big data)
    #39486043
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...ну если гуглить умеете. то труда не составит особо. разумеется, речь идет о более-менее программисте с опытом )) вопрос что там на выходе у вас получится. у меня вот получилось то, что они не ожидали. да и пофиг на них. Зато со мной в компетишене учавствовала девушка. - вот ее код оказался просто картинкой а я так - эникейщик от джавы.
...
Рейтинг: 0 / 0
Java (big data)
    #39520340
Alice12
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Если интересует JAVA советую обратиться в Forte Group Services
...
Рейтинг: 0 / 0
Java (big data)
    #39660778
Jack N
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
У EffectiveSoft большая эксертиза в Java и Bigdata, - это на случай, если нужно проконсультироваться с грамотными джавистами.
...
Рейтинг: 0 / 0
21 сообщений из 46, страница 2 из 2
Форумы / Java [игнор отключен] [закрыт для гостей] / Java (big data)
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]