powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / AWS или сильный сервер для вычислений с помощью Spark?
15 сообщений из 15, страница 1 из 1
AWS или сильный сервер для вычислений с помощью Spark?
    #39468675
_webdev_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте у меня будет возможно немного абстрактный или холиварный вопрос. Может немного не в тему форума, но знаю, что здесь есть люди с очень серьезным опытом..

Дело в том, что есть идея попробовать разработать сервис, который будет анализировать данные. Соответственно в голове крутится постоянный вопрос, как сие дело организовать.
Приблизительная суть такова, приходит пользователь, вводит данные, и гвоорит посчитай мне. В итоге расчеты без БигДейта могут занимать определенное время, поэтому хочется как можно быстрее посчитать и дать пользователю результат.

Поэтому если выбирать AWS, как считать биллинг для каждого пользователя, динамически увеличивать ресурсы по надобности из веб интерфейса и так д.. Это все возможно? Насколько тяжело?

Или для начала будет норм, если взять серьезный сервер в аренду? Например с 32-64 Гб оперативки и платить каждый месяц определенную цену.

Спасибо за соображения, мнения, мысли...
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468716
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
_webdev_...
Поэтому если выбирать AWS, как считать биллинг для каждого пользователя, динамически увеличивать ресурсы по надобности из веб интерфейса и так д.. Это все возможно? Насколько тяжело?...
Ну в AWS можно включать/выключать инстанцсы. Тогда платишь только за время во включенном состояние (по часам).

Но операция включение/выключение не особенно быстрая, минуты. Т.ч. при большой нагрузке и большом парке (сотни инстанцев), возможно такая оптимизация имеет смысл... а при стартапе... особого смысла не вижу

IMHO & AFAIK
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468744
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
_webdev_Поэтому если выбирать AWS, как считать биллинг для каждого пользователя, динамически увеличивать ресурсы по надобности из веб интерфейса и так д.. Это все возможно? Насколько тяжело?

Или для начала будет норм, если взять серьезный сервер в аренду? Например с 32-64 Гб оперативки и платить каждый месяц определенную цену.
Ну, вообще идея здравая. Я её предлагал несколько лет назад для одной задачи, где было важно обработать огромный массив, но в течении часа-двух. Поэтому главное чтобы решение масштабировалось, а арендовать нужные ресурсы в облаке сейчас не проблема.

На счет "серьёзности" сервера. AWS, вроде, 3 стандартных конфигурации предлагаед. Дешево, дорого и посередине.

На счет AWS. Очень круто, очень много всего. Достаточно удобно. Но по деньгам не всегда выгодно. Надо считать.
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468748
_webdev_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Leonid KudryavtsevНу в AWS можно включать/выключать инстанцсы. Тогда платишь только за время во включенном состояние (по часам). - Да, это я знаю. Так и думал, что так динамически как я хочу, - не очень получится...

Leonid KudryavtsevНо операция включение/выключение не особенно быстрая, минуты. - да, их же еще соответственно настраивать нужно.. Тоже не так просто..


Leonid Kudryavtsevа при стартапе... особого смысла не вижу - спасибо за ответ.
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468755
_webdev_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
BlazkowiczНу, вообще идея здравая. Я её предлагал несколько лет назад для одной задачи, где было важно обработать огромный массив, но в течении часа-двух. Поэтому главное чтобы решение масштабировалось, а арендовать нужные ресурсы в облаке сейчас не проблема. - идея немного в том, чтоб пользователь в любое время суток мог себе сам мощности регулировать, а это я так предполагаю не так просто.. нужно же будет приложение с Амазоновским АПИ связывать и так д..


BlazkowiczНа счет "серьёзности" сервера. AWS, вроде, 3 стандартных конфигурации предлагаед. Дешево, дорого и посередине. - да, я как-то "игрался", но снова же, - это все настроить, не так то и просто. И оооочень легко можно на деньги попасть... Так как не заметишь, как что-то подключишь, а в конце месяца счет придет. )))


BlazkowiczНа счет AWS. Очень круто, очень много всего. Достаточно удобно. Но по деньгам не всегда выгодно. Надо считать. - да, я так же смотрел только что - можно сервер выделенный за 100-150у.е. взять с например 64 оперативки и несколькими ядрами, плюс несколько терабайт ССД. Насколько мне извесно, инстанцы на амазоне не имеют столько объема, а большой инстанц будет стоит много денег.

Ищется платформа/ресурс, чтоб можно было неплохо развернуть Spark. Конечно же не супер мега мощный, но...

Спасибо за ответы.
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468758
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
_webdev_- да, их же еще соответственно настраивать нужно.. Тоже не так просто..

Не понял. Зачем каждый раз настраивать. Я же не предлагаю их грохать. Понятно, что за место на диске под системный раздел платить придется

У нас они использовались для нагрузочного тестирования.
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
void init() {
  Создал();
  Настроил();
  выключил();
}

void work() {
   while ( true ) {
     включил();
     запустил процесс();
     выключил();
     ушел_домой_спать();
  }
}
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468762
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevНу в AWS можно включать/выключать инстанцсы. Тогда платишь только за время во включенном состояние (по часам).
Но операция включение/выключение не особенно быстрая, минуты. Т.ч. при большой нагрузке и большом парке (сотни инстанцев), возможно такая оптимизация имеет смысл... а при стартапе... особого смысла не вижу

Да, там, вроде есть и динамическая оплата. Сколько CPU ресурсов потребил, столько и заплатил. Но с этим нужно быть осторожным. Рассказывали тут историю про британский банк. Программерам пришла задача усилить безопасность. Они увеличили какие-то там ключи шифрования в два раза. А через месяц-два финансовый отдел получает счет от Amazon в два раза выше чем обычно. А так как это шифрование у них на каждую операцию происходит, то получилось потребление CPU в два раза выше.

И они не единственные кто на этом попались. Сделал сервис. Пустил туда юзеров. Они написали какого-то бота, который использует твой сервис с большой интенсивностью, а ты не предусмотрел и стал должен много денег Амазону.
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468769
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Blazkowicz...Да, там, вроде есть и динамическая оплата. Сколько CPU ресурсов потребил, столько и заплатил....

не видел, не помню такого

Там можно покупать чужие сервера. Т.е. у кого то сервер взят в аренду, и он стал не нужен, он выставляет на аукцион по сниженной цене (часто очень сильно сниженной). Мы можешь его купить и на нем посчитать например биткоины.... Тогда вычислительные мощности будут дешевые. Но это совсем какая-то сложная модель бизнеса.

Blazkowicz... А через месяц-два финансовый отдел получает счет от Amazon в два раза выше чем обычно. А так как это шифрование у них на каждую операцию происходит, то получилось потребление CPU в два раза выше.

Страсти какие ))) Ну в два раза выше это не так уж и много )))
Ну и:
1) за счетом следить нужно, а не в конце месяца такие вещи выяснять )))
2) на amazon'е у своего счета можно выставить ограничение. Не хочу тратить больше N баксов в месяц. Я сразу же поставил, т.к. трафик и диски (снапшоты) тарифицируются по времени и их сложно точно предугадать.
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468785
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevСтрасти какие ))) Ну в два раза выше это не так уж и много )))

Ну, если у тебя бюджет на год распралнирован, а ты в середине года на ровном месте получаешь расходы в несколько сотен тысяч, то это много. Некоторые получают счета, которые их могут обанкротить, если их оплатить.

Leonid Kudryavtsev1) за счетом следить нужно, а не в конце месяца такие вещи выяснять )))

Это проблема многих больших компаний - финансисты и IT-шники не сотрудничают. IT шники делают и клянчат деньги, а финансисты платят и пытаются планировать.

Leonid Kudryavtsev2) на amazon'е у своего счета можно выставить ограничение. Не хочу тратить больше N баксов в месяц. Я сразу же поставил, т.к. трафик и диски (снапшоты) тарифицируются по времени и их сложно точно предугадать.
Да, но это тоже не всегда выход. Когда подобная система отказывает из-за недостатка ресурсов, можно встрять даже на бОльшую сумму.
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468790
morewind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
_webdev_BlazkowiczНа счет "серьёзности" сервера. AWS, вроде, 3 стандартных конфигурации предлагаед. Дешево, дорого и посередине. - да, я как-то "игрался", но снова же, - это все настроить, не так то и просто. И оооочень легко можно на деньги попасть... Так как не заметишь, как что-то подключишь, а в конце месяца счет придет. )))


В Амазоне можно ставить алерты на превышение бюджета. Как только в сутки начнет денег насчитывать более чем указано - начнет слать письма с предупреждениями.

Возможно, стоит посмотреть в сторону "AWS Batch" или даже "AWS Lambda", лямбда скорее всего лучше подойдет. В Лямбде и сервера выделять не нужно.
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468796
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник

BlazkowiczДа, но это тоже не всегда выход. Когда подобная система отказывает из-за недостатка ресурсов, можно встрять даже на бОльшую сумму.


Тогда нечего жаловаться, когда "середине года на ровном месте получаешь расходы в несколько сотен тысяч" ))). И, подозреваю, для банка это не так уж и много. У нас были самые дешевые инстанцы, т.ч. превышение трафика вполне могло дат превышение счета в 10-20 раз (а может и больше)

Данная опция позволяет не допустить появления "счета, которые их могут обанкротить, если их оплатить".

У нас был стартап и платили фактически из своего кармана. Нам и 10-20$ было чувствительно. К тому же, некоторые траты на AWS сложно посчитать заранее (трафик, услуги по дискам)


Претензию к AWS я не понял. Сами лохи. А лоханутся можно и на ровном месте, при чем тут AWS, не понятно. А в интерфейсе AWS такие ситуации предусмотрены. Можно поставить ограничение на счет.
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468904
_webdev_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
BlazkowiczИ они не единственные кто на этом попались. Сделал сервис. Пустил туда юзеров. Они написали какого-то бота, который использует твой сервис с большой интенсивностью, а ты не предусмотрел и стал должен много денег Амазону. - да, это вопрос. Тем более, бизнес-модель, когда пользователь сначала заряжает деньги на аккаунт, а потом регулирует мощности в зависимости от денег на счете, не имеет успеха думаю..


Leonid KudryavtsevСтрасти какие ))) Ну в два раза выше это не так уж и много )))
- ну не скажите батенька, я собственно это вопрос и задал, не хочется вдруг заплатить 300у.е, если рассчитывал на 100.

Leonid Kudryavtsev2) на amazon'е у своего счета можно выставить ограничение. Не хочу тратить больше N баксов в месяц. Я сразу же поставил, т.к. трафик и диски (снапшоты) тарифицируются по времени и их сложно точно предугадать. - наверное, но цель - выяснить наиболее дешевую политику цена - ресурсы - времязатраты на настройку и мониторинг


BlazkowiczЭто проблема многих больших компаний - финансисты и IT-шники не сотрудничают. IT шники делают и клянчат деньги, а финансисты платят и пытаются планировать. - тут 2 человека с идеей, и минимум средств...


morewindВ Амазоне можно ставить алерты на превышение бюджета. Как только в сутки начнет денег насчитывать более чем указано - начнет слать письма с предупреждениями. - да, я о этом слышал, но зачем алерты, если хочется иметь стабильную систему.

Leonid KudryavtsevПретензию к AWS я не понял. Сами лохи. А лоханутся можно и на ровном месте, при чем тут AWS, не понятно. А в интерфейсе AWS такие ситуации предусмотрены. Можно поставить ограничение на счет. - нууу, я бы не сказал, что интерфейс с десятками сервисов и всевозможных настроек, совсем прост и понятен..

Может кто считает хорошо на амазон калькуляторе? Сколько в месяц обойдутся затраты на такую конфигурацию?
8 physical cores / 64 GB / 4 disks x 1TБ = 4 ТБ

Спасибо!
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39468921
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
_webdev_,

Слышал пару месяцев назад что у Azure была какая-то программа по которой Microsoft спонсирует всякие стартапы на $150 в месяц. То есть ты эти $150 вольно тратишь на хостинг в облаке.
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39469257
_webdev_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
BlazkowiczСлышал пару месяцев назад что у Azure была какая-то программа по которой Microsoft спонсирует всякие стартапы на $150 в месяц. То есть ты эти $150 вольно тратишь на хостинг в облаке. - О, интересно. Погуглю. Спасибо.
...
Рейтинг: 0 / 0
AWS или сильный сервер для вычислений с помощью Spark?
    #39469269
_webdev_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
_webdev_BlazkowiczСлышал пару месяцев назад что у Azure была какая-то программа по которой Microsoft спонсирует всякие стартапы на $150 в месяц. То есть ты эти $150 вольно тратишь на хостинг в облаке. - О, интересно. Погуглю. Спасибо. - нашел, нужно подробней все почитать. ))
https://azure.microsoft.com/en-us/pricing/member-offers/bizspark-startups/
...
Рейтинг: 0 / 0
15 сообщений из 15, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / AWS или сильный сервер для вычислений с помощью Spark?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]