|
|
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
Здравствуйте у меня будет возможно немного абстрактный или холиварный вопрос. Может немного не в тему форума, но знаю, что здесь есть люди с очень серьезным опытом.. Дело в том, что есть идея попробовать разработать сервис, который будет анализировать данные. Соответственно в голове крутится постоянный вопрос, как сие дело организовать. Приблизительная суть такова, приходит пользователь, вводит данные, и гвоорит посчитай мне. В итоге расчеты без БигДейта могут занимать определенное время, поэтому хочется как можно быстрее посчитать и дать пользователю результат. Поэтому если выбирать AWS, как считать биллинг для каждого пользователя, динамически увеличивать ресурсы по надобности из веб интерфейса и так д.. Это все возможно? Насколько тяжело? Или для начала будет норм, если взять серьезный сервер в аренду? Например с 32-64 Гб оперативки и платить каждый месяц определенную цену. Спасибо за соображения, мнения, мысли... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 14:32 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
_webdev_... Поэтому если выбирать AWS, как считать биллинг для каждого пользователя, динамически увеличивать ресурсы по надобности из веб интерфейса и так д.. Это все возможно? Насколько тяжело?... Ну в AWS можно включать/выключать инстанцсы. Тогда платишь только за время во включенном состояние (по часам). Но операция включение/выключение не особенно быстрая, минуты. Т.ч. при большой нагрузке и большом парке (сотни инстанцев), возможно такая оптимизация имеет смысл... а при стартапе... особого смысла не вижу IMHO & AFAIK ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 14:58 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
_webdev_Поэтому если выбирать AWS, как считать биллинг для каждого пользователя, динамически увеличивать ресурсы по надобности из веб интерфейса и так д.. Это все возможно? Насколько тяжело? Или для начала будет норм, если взять серьезный сервер в аренду? Например с 32-64 Гб оперативки и платить каждый месяц определенную цену. Ну, вообще идея здравая. Я её предлагал несколько лет назад для одной задачи, где было важно обработать огромный массив, но в течении часа-двух. Поэтому главное чтобы решение масштабировалось, а арендовать нужные ресурсы в облаке сейчас не проблема. На счет "серьёзности" сервера. AWS, вроде, 3 стандартных конфигурации предлагаед. Дешево, дорого и посередине. На счет AWS. Очень круто, очень много всего. Достаточно удобно. Но по деньгам не всегда выгодно. Надо считать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 15:17 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
Leonid KudryavtsevНу в AWS можно включать/выключать инстанцсы. Тогда платишь только за время во включенном состояние (по часам). - Да, это я знаю. Так и думал, что так динамически как я хочу, - не очень получится... Leonid KudryavtsevНо операция включение/выключение не особенно быстрая, минуты. - да, их же еще соответственно настраивать нужно.. Тоже не так просто.. Leonid Kudryavtsevа при стартапе... особого смысла не вижу - спасибо за ответ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 15:19 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
BlazkowiczНу, вообще идея здравая. Я её предлагал несколько лет назад для одной задачи, где было важно обработать огромный массив, но в течении часа-двух. Поэтому главное чтобы решение масштабировалось, а арендовать нужные ресурсы в облаке сейчас не проблема. - идея немного в том, чтоб пользователь в любое время суток мог себе сам мощности регулировать, а это я так предполагаю не так просто.. нужно же будет приложение с Амазоновским АПИ связывать и так д.. BlazkowiczНа счет "серьёзности" сервера. AWS, вроде, 3 стандартных конфигурации предлагаед. Дешево, дорого и посередине. - да, я как-то "игрался", но снова же, - это все настроить, не так то и просто. И оооочень легко можно на деньги попасть... Так как не заметишь, как что-то подключишь, а в конце месяца счет придет. ))) BlazkowiczНа счет AWS. Очень круто, очень много всего. Достаточно удобно. Но по деньгам не всегда выгодно. Надо считать. - да, я так же смотрел только что - можно сервер выделенный за 100-150у.е. взять с например 64 оперативки и несколькими ядрами, плюс несколько терабайт ССД. Насколько мне извесно, инстанцы на амазоне не имеют столько объема, а большой инстанц будет стоит много денег. Ищется платформа/ресурс, чтоб можно было неплохо развернуть Spark. Конечно же не супер мега мощный, но... Спасибо за ответы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 15:25 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
_webdev_- да, их же еще соответственно настраивать нужно.. Тоже не так просто.. Не понял. Зачем каждый раз настраивать. Я же не предлагаю их грохать. Понятно, что за место на диске под системный раздел платить придется У нас они использовались для нагрузочного тестирования. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 15:26 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
Leonid KudryavtsevНу в AWS можно включать/выключать инстанцсы. Тогда платишь только за время во включенном состояние (по часам). Но операция включение/выключение не особенно быстрая, минуты. Т.ч. при большой нагрузке и большом парке (сотни инстанцев), возможно такая оптимизация имеет смысл... а при стартапе... особого смысла не вижу Да, там, вроде есть и динамическая оплата. Сколько CPU ресурсов потребил, столько и заплатил. Но с этим нужно быть осторожным. Рассказывали тут историю про британский банк. Программерам пришла задача усилить безопасность. Они увеличили какие-то там ключи шифрования в два раза. А через месяц-два финансовый отдел получает счет от Amazon в два раза выше чем обычно. А так как это шифрование у них на каждую операцию происходит, то получилось потребление CPU в два раза выше. И они не единственные кто на этом попались. Сделал сервис. Пустил туда юзеров. Они написали какого-то бота, который использует твой сервис с большой интенсивностью, а ты не предусмотрел и стал должен много денег Амазону. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 15:29 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
Blazkowicz...Да, там, вроде есть и динамическая оплата. Сколько CPU ресурсов потребил, столько и заплатил.... не видел, не помню такого Там можно покупать чужие сервера. Т.е. у кого то сервер взят в аренду, и он стал не нужен, он выставляет на аукцион по сниженной цене (часто очень сильно сниженной). Мы можешь его купить и на нем посчитать например биткоины.... Тогда вычислительные мощности будут дешевые. Но это совсем какая-то сложная модель бизнеса. Blazkowicz... А через месяц-два финансовый отдел получает счет от Amazon в два раза выше чем обычно. А так как это шифрование у них на каждую операцию происходит, то получилось потребление CPU в два раза выше. Страсти какие ))) Ну в два раза выше это не так уж и много ))) Ну и: 1) за счетом следить нужно, а не в конце месяца такие вещи выяснять ))) 2) на amazon'е у своего счета можно выставить ограничение. Не хочу тратить больше N баксов в месяц. Я сразу же поставил, т.к. трафик и диски (снапшоты) тарифицируются по времени и их сложно точно предугадать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 15:35 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
Leonid KudryavtsevСтрасти какие ))) Ну в два раза выше это не так уж и много ))) Ну, если у тебя бюджет на год распралнирован, а ты в середине года на ровном месте получаешь расходы в несколько сотен тысяч, то это много. Некоторые получают счета, которые их могут обанкротить, если их оплатить. Leonid Kudryavtsev1) за счетом следить нужно, а не в конце месяца такие вещи выяснять ))) Это проблема многих больших компаний - финансисты и IT-шники не сотрудничают. IT шники делают и клянчат деньги, а финансисты платят и пытаются планировать. Leonid Kudryavtsev2) на amazon'е у своего счета можно выставить ограничение. Не хочу тратить больше N баксов в месяц. Я сразу же поставил, т.к. трафик и диски (снапшоты) тарифицируются по времени и их сложно точно предугадать. Да, но это тоже не всегда выход. Когда подобная система отказывает из-за недостатка ресурсов, можно встрять даже на бОльшую сумму. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 15:44 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
_webdev_BlazkowiczНа счет "серьёзности" сервера. AWS, вроде, 3 стандартных конфигурации предлагаед. Дешево, дорого и посередине. - да, я как-то "игрался", но снова же, - это все настроить, не так то и просто. И оооочень легко можно на деньги попасть... Так как не заметишь, как что-то подключишь, а в конце месяца счет придет. ))) В Амазоне можно ставить алерты на превышение бюджета. Как только в сутки начнет денег насчитывать более чем указано - начнет слать письма с предупреждениями. Возможно, стоит посмотреть в сторону "AWS Batch" или даже "AWS Lambda", лямбда скорее всего лучше подойдет. В Лямбде и сервера выделять не нужно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 15:47 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
BlazkowiczДа, но это тоже не всегда выход. Когда подобная система отказывает из-за недостатка ресурсов, можно встрять даже на бОльшую сумму. Тогда нечего жаловаться, когда "середине года на ровном месте получаешь расходы в несколько сотен тысяч" ))). И, подозреваю, для банка это не так уж и много. У нас были самые дешевые инстанцы, т.ч. превышение трафика вполне могло дат превышение счета в 10-20 раз (а может и больше) Данная опция позволяет не допустить появления "счета, которые их могут обанкротить, если их оплатить". У нас был стартап и платили фактически из своего кармана. Нам и 10-20$ было чувствительно. К тому же, некоторые траты на AWS сложно посчитать заранее (трафик, услуги по дискам) Претензию к AWS я не понял. Сами лохи. А лоханутся можно и на ровном месте, при чем тут AWS, не понятно. А в интерфейсе AWS такие ситуации предусмотрены. Можно поставить ограничение на счет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 15:52 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
BlazkowiczИ они не единственные кто на этом попались. Сделал сервис. Пустил туда юзеров. Они написали какого-то бота, который использует твой сервис с большой интенсивностью, а ты не предусмотрел и стал должен много денег Амазону. - да, это вопрос. Тем более, бизнес-модель, когда пользователь сначала заряжает деньги на аккаунт, а потом регулирует мощности в зависимости от денег на счете, не имеет успеха думаю.. Leonid KudryavtsevСтрасти какие ))) Ну в два раза выше это не так уж и много ))) - ну не скажите батенька, я собственно это вопрос и задал, не хочется вдруг заплатить 300у.е, если рассчитывал на 100. Leonid Kudryavtsev2) на amazon'е у своего счета можно выставить ограничение. Не хочу тратить больше N баксов в месяц. Я сразу же поставил, т.к. трафик и диски (снапшоты) тарифицируются по времени и их сложно точно предугадать. - наверное, но цель - выяснить наиболее дешевую политику цена - ресурсы - времязатраты на настройку и мониторинг BlazkowiczЭто проблема многих больших компаний - финансисты и IT-шники не сотрудничают. IT шники делают и клянчат деньги, а финансисты платят и пытаются планировать. - тут 2 человека с идеей, и минимум средств... morewindВ Амазоне можно ставить алерты на превышение бюджета. Как только в сутки начнет денег насчитывать более чем указано - начнет слать письма с предупреждениями. - да, я о этом слышал, но зачем алерты, если хочется иметь стабильную систему. Leonid KudryavtsevПретензию к AWS я не понял. Сами лохи. А лоханутся можно и на ровном месте, при чем тут AWS, не понятно. А в интерфейсе AWS такие ситуации предусмотрены. Можно поставить ограничение на счет. - нууу, я бы не сказал, что интерфейс с десятками сервисов и всевозможных настроек, совсем прост и понятен.. Может кто считает хорошо на амазон калькуляторе? Сколько в месяц обойдутся затраты на такую конфигурацию? 8 physical cores / 64 GB / 4 disks x 1TБ = 4 ТБ Спасибо! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 17:10 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
_webdev_, Слышал пару месяцев назад что у Azure была какая-то программа по которой Microsoft спонсирует всякие стартапы на $150 в месяц. То есть ты эти $150 вольно тратишь на хостинг в облаке. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2017, 17:27 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
BlazkowiczСлышал пару месяцев назад что у Azure была какая-то программа по которой Microsoft спонсирует всякие стартапы на $150 в месяц. То есть ты эти $150 вольно тратишь на хостинг в облаке. - О, интересно. Погуглю. Спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.06.2017, 11:11 |
|
||
|
AWS или сильный сервер для вычислений с помощью Spark?
|
|||
|---|---|---|---|
|
#18+
_webdev_BlazkowiczСлышал пару месяцев назад что у Azure была какая-то программа по которой Microsoft спонсирует всякие стартапы на $150 в месяц. То есть ты эти $150 вольно тратишь на хостинг в облаке. - О, интересно. Погуглю. Спасибо. - нашел, нужно подробней все почитать. )) https://azure.microsoft.com/en-us/pricing/member-offers/bizspark-startups/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.06.2017, 11:18 |
|
||
|
|

start [/forum/topic.php?fid=59&gotonew=1&tid=2122860]: |
0ms |
get settings: |
5ms |
get forum list: |
17ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
61ms |
get topic data: |
10ms |
get first new msg: |
6ms |
get forum data: |
2ms |
get page messages: |
57ms |
get tp. blocked users: |
1ms |
| others: | 189ms |
| total: | 354ms |

| 0 / 0 |
