|
|
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Natalia_141277Leonid Kudryavtsev, нужно проанализировать и трансформировать более 500 000 ревью с определенного сайта и найти например 1000 наиболее активных пользователей, там еще пункты есть, но суть в анализе большого количества информации с выборками. я не спец, может и неправильно категорию определила, но я с big data не работала никогда, потому спрашиваю:-) В двухтысячные был популярен Мем про грабеж корованов . Навеяло... В вашем задании просто надо сесть с постановщиком (аналитиком) и придираясь к каждому слову (к каждому!) расписать ТЗ хотя-бы страниц на 2-3. После этого станет понятно что надо делать. Если постановщик сам неосилит подобное написать то такое ТЗ вообще не стоит делать ибо оно ниочем. Нельзя трансформировать не зная как. Нельзя находить активных не имея критерия. И нельзя формализовать даже review. Что это? Документ? Кортеж? Поле? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.06.2017, 14:49 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
mayton, Apache Spark посоветовали использовать, сейчас разбираюсь с ним, это тестовое сделать уже не успею, но просто интересно разобраться, что и к чему на будущее. Это совсем другое направление, может быть тоже пригодится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.06.2017, 14:08 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Apache Spark - хороший выбор. Особенно если будет позиция с требованиями. А по Хадуп я-бы советовал почитать. Общие знания. Особенно в части дисковой подсистемы. Полезно знать как вообще устроен HDFS и как это все работает в стеке. Особенно если есть кейс когда Spark стоит поверх HDFS. Хотя здесь я невкурсе. Могут быть варианты. Ну вобщем Хадуп - это ассемблер в мире бигдата. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.06.2017, 14:57 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
mayton, спасибо большое!:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.06.2017, 15:02 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Petro123azsxА чего от вас требуют -- без понятия. бигдата, это то же самое как микросервисы. Никто не знает, но они есть). Кто не знает- сам виноват. Бигдата- это когда оборудование (железо, ПО) для традиционных способов обработки (РСУБД) стоят слишком дорого для вас. Что для одних- бигдата, для других- так, мелочь. По сути- бигдата это _проблема_ - данные есть, а обработать их сил уже нет. Приходится извращаться- хадуп и т.п. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.06.2017, 07:11 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Alexey TominКто не знает- сам виноват. Я вам о факте, а вы об обвинениях). Термин вольно трактуется всеми участниками треда. А участники - профи. Я лучше сам термин обвиню)). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.06.2017, 09:59 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Natalia_141277Всем привет! Посоветуйте что-то толковое почитать по Big data (Java), дали тестовое, а я что-то не особо понимаю, с какой стороны к нему подступиться, а сделать надо (ну или хотя бы попробовать).:-) Опыта с Big data нет.:-( Спасибо большое!:-) Доступно и доходчиво про BigData, MapReduce etc скачать бесплатно без регистрации и СМС ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.06.2017, 10:16 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
dimonz80, хорошая статья)) авторрешение "бабушка, вручную записывающая операции в бумажный блокнот" )) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.06.2017, 11:05 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
azsx, в том-то и дело, что суть задания не в этом:-) я в общих чертах написала, некорректно расписывать тех.задание полностью, я думаю там выборки делать нужно, причем тут графики?:-) потом выбранные данные трансформировать, например, перевести с помощью Google Translate на др.языки, вывести в формате Json результат много еще чего:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.06.2017, 12:34 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Natalia_141277, Большие данные. Технологии Big Data: Algorithms for Data Preprocessing, Computational Intelligence, and Imbalanced Classes ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.06.2017, 21:40 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Usman, thanks a lot!:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2017, 10:21 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Natalia_141277Опыта с Big data нет.:-( Самое оно https://hazelcast.org/mastering-hazelcast/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.06.2017, 18:30 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Сначала надо попытаться все данные загрузить в реляционную СУБД и затем извлечь необходимую информацию с помощью SQL запроса. Если получится, то это будет самое лучшее решение в плане дальнейшего сопровождения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.07.2017, 15:44 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Natalia_141277azsx, в том-то и дело, что суть задания не в этом:-) я в общих чертах написала, некорректно расписывать тех.задание полностью, я думаю там выборки делать нужно, причем тут графики?:-) потом выбранные данные трансформировать, например, перевести с помощью Google Translate на др.языки, вывести в формате Json результат много еще чего:-) фигасе у вас тестовое задание ))) мне как то бигдатое тестовое задание дали - задачку на спарке+кафке+редиске написать грабер строчек, который из нее выдирал предложения буквы пробелы и т.п. я сделал эту херь, хотя в первый раз в глаза это увидал. но меня не взяли. т.к. как потом оказалось, всё надо было сделать в один проход, а я сделал в три (для букв, для слов и для предложений). ну и ладно. мне сказали "сделай шоп работало" - я сделал шоп работало. а потом выяснилось что сделать надо было "так" и я типа должен был сам догадаться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.07.2017, 00:26 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
andreykaT, это лишний раз подчеркивает наше убеждение в том что тестовые задания - это бесполезная трата времени. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.07.2017, 00:29 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
andreykaTNatalia_141277azsx, в том-то и дело, что суть задания не в этом:-) я в общих чертах написала, некорректно расписывать тех.задание полностью, я думаю там выборки делать нужно, причем тут графики?:-) потом выбранные данные трансформировать, например, перевести с помощью Google Translate на др.языки, вывести в формате Json результат много еще чего:-) фигасе у вас тестовое задание ))) мне как то бигдатое тестовое задание дали - задачку на спарке+кафке+редиске написать грабер строчек, который из нее выдирал предложения буквы пробелы и т.п. я сделал эту херь, хотя в первый раз в глаза это увидал. но меня не взяли. т.к. как потом оказалось, всё надо было сделать в один проход, а я сделал в три (для букв, для слов и для предложений). ну и ладно. мне сказали "сделай шоп работало" - я сделал шоп работало. а потом выяснилось что сделать надо было "так" и я типа должен был сам догадаться. я вот тоже об этом подумала:-) тем более на джуна:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.07.2017, 11:16 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
не... ну разобраться то в этом всем ума много не надо, когда гуглить умеешь. вопросы появляются по нюансам, которые ты сам навряд-ли догадаешься, если ранее не сталкивался, или кто не подсказал как надо "правильно". ну или тотальный штурм документации (если время есть). а на тз его, как правило, нет. и один фиг практика-практика-практика. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.07.2017, 11:53 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
andreykaTне... ну разобраться то в этом всем ума много не надо, когда гуглить умеешь. вопросы появляются по нюансам, которые ты сам навряд-ли догадаешься, если ранее не сталкивался, или кто не подсказал как надо "правильно". ну или тотальный штурм документации (если время есть). а на тз его, как правило, нет. и один фиг практика-практика-практика. если впервые сталкиваешься, разбирать нужно с азов, просто нагуглить не всегда помогает ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.07.2017, 12:13 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
...ну если гуглить умеете. то труда не составит особо. разумеется, речь идет о более-менее программисте с опытом )) вопрос что там на выходе у вас получится. у меня вот получилось то, что они не ожидали. да и пофиг на них. Зато со мной в компетишене учавствовала девушка. - вот ее код оказался просто картинкой а я так - эникейщик от джавы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.07.2017, 19:06 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
Если интересует JAVA советую обратиться в Forte Group Services ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.09.2017, 11:59 |
|
||
|
Java (big data)
|
|||
|---|---|---|---|
|
#18+
У EffectiveSoft большая эксертиза в Java и Bigdata, - это на случай, если нужно проконсультироваться с грамотными джавистами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.06.2018, 14:13 |
|
||
|
|

start [/forum/topic.php?fid=59&msg=39520340&tid=2121983]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
27ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
56ms |
get tp. blocked users: |
2ms |
| others: | 14ms |
| total: | 141ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...