|
|
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Под какие платформы будете делать релиз? Будет БД? Будет Веб-часть? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 21:42 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
maytonПод какие платформы будете делать релиз? Будет БД? Будет Веб-часть? Мы американский стартап. У нас продукт практически без внешних либ. Нужно качество. Чтобы работало при любых нагрузках от пользователя. Вся ява в критических точках заюзана почти как С++ (преаллокция ансейфы директ байт буферы и прочие радости) Ну а С++ он и есть С++ )))) Очень критичен перфоманс. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 21:44 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Как вы тестируете нагрузку? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 21:47 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
maytonКак вы тестируете нагрузку? Есть специальный скрипт - он подает нагрузку на серверах по ночам Есть jmh бенчмарки Есть огромный С++ слой для бенчей Есть мои локальные бенчи - которые только я юзаю и ускоряю - если выходит. Задачка про подсчет слов - это живая задача с моей работы Как я ее решал - это целая статья для хорошей конференции ) Решал на яве - после чего сильно полюбил С++ )) Ну не стоит такое делать на яве - не стоит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 21:50 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Подчет слов - это было такое требование по функциональности? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 21:54 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
maytonПодчет слов - это было такое требование по функциональности? Нет все намного сложнее - расписывать не буду. Подсчет слов это пример. (Не мы не пишем Map Reduce - я в курсе что задачка оттуда). Общая суть - как работать с данными когда заранее непонятно поместятся ли они в память. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 21:56 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Ну ясен пень - не поместятся. И какой aproach? Тоесть я хочу спросить. Вы выработали свою методику? Шаблон? Ноу-хау? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 22:18 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
maytonНу ясен пень - не поместятся. И какой aproach? Тоесть я хочу спросить. Вы выработали свою методику? Шаблон? Ноу-хау? В некотором роде да Но это NDA :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 22:19 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
maytonНу ясен пень - не поместятся. И какой aproach? Тоесть я хочу спросить. Вы выработали свою методику? Шаблон? Ноу-хау? Да мы уже с Вами обсуждали частично эту задачу тут https://www.sql.ru/forum/1268689-1/cache-miss-hit-detector-in-java?hl=?????????? Вы тогда толпой угорали надо мной - мол зачем все это ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 22:21 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Ну хитёр! Ладно. Пускай будет под NDA. По поводу попадания в кеш и прочее. Мне лень перечитывать. И я не помню о чем там шла речь. Но если у вас есть о чем добавить к обсуждению кешей - пишите туда. Я надеюсь что вы набрались опыта и у вас уже есть какое-то видение. Не так ли? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 22:30 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
maytonНу хитёр! Ладно. Пускай будет под NDA. По поводу попадания в кеш и прочее. Мне лень перечитывать. И я не помню о чем там шла речь. Но если у вас есть о чем добавить к обсуждению кешей - пишите туда. Я надеюсь что вы набрались опыта и у вас уже есть какое-то видение. Не так ли? Я узнал про Valgrind ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 22:32 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Это всё? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 22:33 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
maytonЭто всё? Ну он умеет cache miss/cache hit детектировать ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 22:34 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
semen.s.semenЯ узнал про Valgrind Что полезнее для сортировки: Valgrind или третий том Кнута? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 23:08 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakovsemen.s.semenЯ узнал про Valgrind Что полезнее для сортировки: Valgrind или третий том Кнута? Это смотря на каком этапе разработки ты находишься Если алгоритмическая часть закончена и надо подогнать байты в блоках чтобы кешы проца хорошо работали - то Valgrind. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 23:10 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Хотя зачастую алгоритм стоит выбирать именно исходя их хорошей кеш локалити Помнится Шипилеша как то говорил что Бабл Сорт быстрее быстрой себя показывал именно за счет этого на ряде данных ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 23:14 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
semen.s.semenГолова набить не умением писать софт - а социальными скилам по отбиванию от маразма на ревью Перед кодированием мозг не думает о качестве - он думает об std::string и SSO - когда зачастую это нахрен не надо и достаточно организовать char[] на стеке Вообщем чему угодно учат кроме одного - как думать и писать хороший и качественный софт. "хороший и качественный" пишется как раз на стрингах, ибо: удобно; оптимизировано; легче поддерживать; semen.s.semenГолова набить не умением писать софт - а социальными скилам по отбиванию от маразма на ревью я сам бы вряд ли прошёл современное ревью в какую-то крупную компанию, где ищут людей-справочников с феноменальной памятью semen.s.semenИ джуны начинают понимать фишку этого долбаного айти. ну вот вы её никак и не поймёте, хотя опыт вроде есть... самое главное - скорость сопровождения потому что написать то быстро а сопровождать всю жизнь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 23:44 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
полудух"хороший и качественный" пишется как раз на стрингах, ибо: удобно; оптимизировано; легче поддерживать; А если нулик в конце совсем не подходит ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2018, 23:48 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
semen.s.semenmaytonПод какие платформы будете делать релиз? Будет БД? Будет Веб-часть? Мы американский стартап. У нас продукт практически без внешних либ. Нужно качество. Чтобы работало при любых нагрузках от пользователя. Вся ява в критических точках заюзана почти как С++ (преаллокция ансейфы директ байт буферы и прочие радости) Ну а С++ он и есть С++ )))) Очень критичен перфоманс. вот любят стартапы с перформанса начинать им бы СТАРТАнуть, но нет - нагрузки ! каждый раз вспоминается стартап, который хотел разорвать все социалки... набрали гигабитных свичей, ssd, кучу сереров, настроили, прооптимизировали а в результате - нагрузки за год простоя НЕТ, инвестор сдулся, разрабы разогнаны. и чувак из видео: Если в сутки меньше 50млн запросов (1000 rps), то php + sql + redis всё вывозит без лишних велосипедов. самое главное - научиться работать с БД и не юзать стэки с указателями там, где всё уже написано до нас ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2018, 00:08 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
полудухвот любят стартапы с перформанса начинать им бы СТАРТАнуть, но нет - нагрузки ! Ага. Главное - не забыть потом, после старта, про перформанс не заб И ть. :) Достаточно давно нужно было сделать систему хранения документов для некоторого количества богатых лентяев. Пытки и шантаж будущих пользователей помогли оценить примерный уровень требуемой нагрузки. Создали систему тестирования, превышающую расчетную нагрузку в три раза, быстренько реализовали, оттестировали, сгладили нужные места, передали в эксплуатацию, вот какие мы молодцы. Все хорошо, реализовали как коробочное изделие, потихоньку продается, обрастает функционалом. Неожиданно возникли клиенты, потребовавшие десятикратного превышения расчетной нагрузки. Странно, но все потянуло, почти без скрипа. Нифига себе, сказали мы. Однако, пару раз мелькнули заказчики, пожелавшие совсем неразумных масштабов. Где наша поделка гарантированно загнется. А времени на доработку практически нет. Так и уплыли тогда заказчики. О чем я? О том, что если бы мы занимались мудежом в перспективе на супер-пупер нагрузку в будущем, мы бы первый заказ на пузатую мелочь точно не успели бы реализовать. А вот если бы не расслабились в дальнейшем - то и жирного масштабного заказчика не упустили бы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2018, 00:36 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Унылые корпоративные тролли пытаются умничать. Бла бла бла - скучно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2018, 10:40 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
semen.s.semenОбщая суть - как работать с данными когда заранее непонятно поместятся ли они в память. Ё-моё, а про базы данных ты слыхал? Там все твои проблемы уже лет 50 как решены, ага. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2018, 15:26 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
alex55555semen.s.semenОбщая суть - как работать с данными когда заранее непонятно поместятся ли они в память. Ё-моё, а про базы данных ты слыхал? Там все твои проблемы уже лет 50 как решены, ага. Правда что ли ??? Все пропало Как же мы теперь жить то будем дальше ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2018, 15:30 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
semen.s.semenДа мы уже с Вами обсуждали частично эту задачу тут https://www.sql.ru/forum/1268689-1/cache-miss-hit-detector-in-java?hl=?????????? Кстати, очень даже по теме - высоконагруженная система с попыткой наваять её на сях. И, как я понял, не особо взлетает. Коли мужики попёрлись в дебри кэшей процессора, значит им нужен самый низкий уровень (ну это если они задачу действительно правильно понимают). Но си - это не самый низкий уровень. А вот неумение переходить сразу на самый низ из Java заставляет парнишек втыкать в систему сишный код. Ну и в целом у них скорее всего выйдет зоопарк, ибо часть логики они сильно захотят в сях, часть оставят в Java, а в целом будет ужасный в поддержке винигрет. Ну что сказать, удачи парням, она им сильно потребуется. Но скорее всего не поможет, ибо вероятность обойти обязательные косяки из-за смешения языков, стилей, подходов, вливания "умных математиков", гениальных идей от много о себе мнящих юнцов и т.д. обычно приводят именно к винигрету и тепловой смерти новой вселенной. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2018, 15:32 |
|
||
|
|

start [/forum/topic.php?fid=57&msg=39753465&tid=2017694]: |
0ms |
get settings: |
7ms |
get forum list: |
18ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
163ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
58ms |
get tp. blocked users: |
1ms |
| others: | 208ms |
| total: | 472ms |

| 0 / 0 |
