|
|
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
В данном кейсе Докер - это не наследник WMWare/MS а скорее другое направление. Паравиртуализация. Chroot. И прочие экономные и рациональные способы поднятия ПО без гостевой ОС. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2018, 22:01 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
maytonНу.. а забавные случаи когда "проклятая java сожрала всю память и не оддала" - давайте рассмотрим отдельно. Участвовал в проекте Oracle Customer Care & Billing Проклятая java сожрала всю память и не отдавала... было две причины: 1) разработчики (я ))) ) забывали close в try...final для PreparedStatement'ов делать 2) memory leak в WebLogic. Официального бага на metalink'е не нашли, но когда накатили последние патчи от других багов, обновляющий компонент в котором был memory leak (имя проблемного класса было понятно по дампу памяти), он ушел. После правильной настройки GC, Full GC срабатывал всего 1-2 раза за день, при __крупном_ заказчике (более 60 000 клиентов/счетов) и 32 разрядной java. При том, что memory потреблялось до безумия много (100-150 Mb young области при выставлении одного счета) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2018, 22:03 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Leonid KudryavtsevПосле правильной настройки GC, Full GC срабатывал всего 1-2 раза за день, при __крупном_ заказчике (более 60 000 клиентов/счетов) и 32 разрядной java. При том, что memory потреблялось до безумия много (100-150 Mb young области при выставлении одного счета) В оскорбили чувства джавистов адептов ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2018, 22:07 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Leonid KudryavtsevmaytonНу.. а забавные случаи когда "проклятая java сожрала всю память и не оддала" - давайте рассмотрим отдельно. Участвовал в проекте Oracle Customer Care & Billing Проклятая java сожрала всю память и не отдавала... было две причины: 1) разработчики (я ))) ) забывали close в try...final для PreparedStatement'ов делать 2) memory leak в WebLogic. Официального бага на metalink'е не нашли, но когда накатили последние патчи от других багов, обновляющий компонент в котором был memory leak (имя проблемного класса было понятно по дампу памяти), он ушел. После правильной настройки GC, Full GC срабатывал всего 1-2 раза за день, при __крупном_ заказчике (более 60 000 клиентов/счетов) и 32 разрядной java. При том, что memory потреблялось до безумия много (100-150 Mb young области при выставлении одного счета) Тут... надо смотреть в ваши возможности. Если вы эксплуатировали софт - то я ничем не помогу. Ставте обновления и прочее. Если вы - в сегменте разработки - то берите Eclipse Memory analyzer и смотрите что за объекты флудят и почему. Все это решаемо и фиксится без драматизма. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2018, 22:12 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
ну и почему enterprise "кровавый": ))) принципы настройки GC (задрать young до максимума), мною были написаны аж до начала проекта. 3-и года сервер проработал на стандартных настройках и Full GC происходил раз в 1-1.5 секунды. В общем, жесть. Пока memory кончалось в течении недели - всем было пофиг. Писали SR на metalink'е, Oracle что-то отвечал, советовал поменять версии JDBC драйверов и все занимались какой-то фигней. Регулярно раз в неделю перегружали сервер. В общем "сильно не пахло", все были при "деле и бульоне", продолжать пилить и "намазывать" это не мешало (т.к. главное ТЗ было "что бы намазывалось и не пахло"). Когда программисты доломали систему до того, что memory стал заканчиваться в 2-3 дня, а иногда даже и на день ее не хватало ))), стало "пахнуть". Проблемой озадачились, поручили адекватному товарищу и он скачал кучу мемори анализаторов Но не тут то было. При дефолтной настройке GC в memory анализаторах было нифига ничего не видно. Дабы вся heap была забита одним мусором. И мемори аализаторы при анализе дампа радостно рапортовали "занято 1.9 Gb памяти, можно освободить 1.2 Gb"... что как-бы бред... т.к. бл#$ если "можно освободить 1.2 Gb" то почему out of memory ))) Началась битва с админами, по поводу изменений ключей GC на продакшине. Программисты настраивали.... админы бл#$% убирали настройки и возврашали обратно со словами "Вы сделали хуже, раньше падало раз в 3 дня, я сейчас на 2-ой день упало"... бл$# мы же не обещали, что не будет падать, мы бл#$% настройки делаем, что бы понять где проблема, а для этого нужно что бы GC более-менее адекватно работал (т.к. все на графики красным цветом и Full GC два раза в секунду это не адекватно). Эта битва продолжалась пару недель, а то и месяц, с переменным успехом, т.к. админы были "авторитетнее" ))) Паралельно админы пытались CC&B в 64 java поставить, но там какие-то проблемы с Cobol были Когда сделали нормальные настройки, вместо раз в 1-2 секунды, full GC срабатывал 1-2 раза за день. Почему бл@$# изначально было не поставить адекватные настройки JVM для меня загадка. как-то так в Enterprise и живут.... какой тут docker ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2018, 22:45 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Leonid KudryavtsevGC GC GC GC А как же шипилеша и профессионалы ? Неужели г1 и шенандо не помогли ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2018, 22:58 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Капец как страшно вы живете. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2018, 23:09 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Leonid KudryavtsevИ таки да, иногда таскание лишних компонентов, может оказаться значительно дороже в саппорте (Cost of ownership да еще умноженный на кол-во клиентов), чем дополнительные затраты в разработку. Выше был рассказ и про веб решение. И вам что-то не нравится в поддержке веб решений? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 13:58 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Leonid KudryavtsevКогда сделали нормальные настройки, вместо раз в 1-2 секунды, full GC срабатывал 1-2 раза за день. Вообще если за 2 секунды кончается память, это означает, что пейсателям надо руки отрывать и вставлять протезы, ибо руки явно не из того места растут. Подозреваю, что как всегда идиотским решением был выбран некий модный подход с угрёбищным софтом, ну и далее пилили лишь бы хоть что-то напилить. Ну и напилили. Дом можно построить как обычно, и можно кучу брёвен навалить и привязать к этому палки для поддержания крыши. Вот примерно так у вас и программируют, видимо. И тут вдруг (как неожиданно и подло!) одно бревно упало... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 14:02 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Я понял. Я прошу прощения что я некоторым навязывал свою точку зрения. Не в части технической. А в части рынка С++ разработки. Я живу и работаю в Киеве. И соотв вижу вакансии и спрос в ракурсе некого глобального вектора который имеет не техническую а политическую составляющую. В целом рынок хороших ЗП зависит от западных кастомеров и USA. Они-же определяют повестку. На чем писать и как писать. Свои (внутренние) проекты для Украины очень слабы. Ну мне по крайней мере о них мало чего извсестно. Тухляк короче. Просто в РФ немного не тот расклад по проектам и моя точка зрения вакансиям и перспективам была несколько искажена. Вот некая статистика по UA. Я ей не доверяю на 100% но пока другой статистики у меня нет. https://dou.ua/lenta/articles/language-rating-jan-2018/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.12.2018, 13:12 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
mayton, За Украину не скажу, а на рынке РФ сейчас наблюдается спад специалистов и рост вкладывания бабла(заграница может тупо спионерить наварованное бабло) в IT сферу. Т.е. создать хорошую группу разработки - очень и очень трудно и не быстро. И если на основной язык разработки (тут действуют стереотипы - ява какава и иже) более-менее пионэров шапкозакидателей найти реально, то вспомогательные службы - завал. И тут вот надо сильно постараться рукамиводителям чтоб не свалиться в простое выкидывание бабла в унитаз, сражаясь с теми организационными проблемами которые ышо в том веке были решены в удачных конторах. Ну и основной трэнд вкладывания бабла - это блокчайны-криптовалюта. Вторым или рядом, тема банковская(сейчас полным ходом идёт наращивание всевозможных программ по анализу межбанковских транзакций) - чуствуется что все прелести в РФ ышо даже НЕ НАЧИНАЛИСЬ! (круглый) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.12.2018, 13:38 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
maytonВ целом рынок хороших ЗП зависит от западных кастомеров и USA. Они-же определяют повестку. Так это-ж очевидное отражение реальности. В смысле мы (небратья-славяне) в заднице по передовым технологиям, так с чего бы мы вдруг стали навязывать свои повестки? Вот поэтому повестки навязывают нам. Эту тему поднимали в разделе "работа" в виде "Как создать свою школу программирования". Там и навязывания касались. Но суть такая - пока не будет своей школы, никаких наших повесток в принципе быть не может. А школа будет лишь тогда, когда очень многое в обществе славян-небратьев изменится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2018, 14:36 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
kolobok0на рынке РФ сейчас наблюдается спад специалистов и рост вкладывания бабла Можно какие-то подтверждения, хотя бы косвенные? Где много бабла? И где мало специалистов? Откуда дровишки? Я вот вижу, что один сберчик забрал под себя 12 кило айтишников, а толку в сберчике от них примерно раз в 10-20-30 меньше, чем на свободе (то есть когда человек реально заинтересован). Вот и весь дефицит. Тупо окучивают и не дают расти. Не силой, конечно, но идиотизмом ситуации отбивают все желания. Ну и на этом фоне остальным приходится, опять же - тупо, копировать. И они окучивают и гниют. В итоге приходится даже на святое покуситься - зарплаты повышать (но постепенно). kolobok0Т.е. создать хорошую группу разработки - очень и очень трудно и не быстро. Опять же - откуда дровишки? Нужен один вменяемый персонаж, а остальных он сам наберёт. Но вот з/п ему предлагать не хотят, так на кой они ему сдались? Любой переход в другую контору, это маразм из массы всяческих собеседований и таскания бумажек, и при этом человека всегда будут рассматривать как неспособного, будут подозрительно копаться в биографии и делать далеко идущие выводы. А всё потому, что выбирают люди, совершенно не понимающие в теме. Ну и понятно, они боятся ошибиться. А когда боятся - трясутся и видят опасность в каждом. Ну и естественно вменяемые люди таких трясущихся на три буквы посылают. То есть по сути нет голода, но есть корпоративный маразм. Вменяемый специалист быстро бы сделал команду, но команду хотят невменяемые люди, в смысле ничего по теме не понимающие, поэтому и результат - ах как сложно что-то создать! Ну понятно, не умеешь, вот и сложно. kolobok0И если на основной язык разработки (тут действуют стереотипы - ява какава и иже) более-менее пионэров шапкозакидателей найти реально Ну вот, хотя бы за одну область есть консенсус - всё есть, люди есть, спецы есть. Нет только здоровых контор, что бы без маразма. Но точно так же и в других областях. kolobok0И тут вот надо сильно постараться рукамиводителям чтоб не свалиться в простое выкидывание бабла в унитаз Не могут они. Просто не могут. Потому что знаний нет. И взяться им неоткуда. Вот и вся проблема. kolobok0Ну и основной трэнд вкладывания бабла - это блокчайны-криптовалюта. Опять же - это ваш узкий взгляд. Скорее всего вы тоже на сях ваяете, поэтому и видите лишь то, что по сям хотят. А от сей традиционно весь это крипто-мир тащится, мол круть невзъе...нная. Но сишный мир очень мал, на порядки меньше остального, ну и крипто-запросы точно так же - на порядки меньше остальных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2018, 14:53 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
alex55555Опять же - это ваш узкий взгляд. Скорее всего вы тоже на сях ваяете, поэтому и видите лишь то, что по сям хотят. А от сей традиционно весь это крипто-мир тащится, мол круть невзъе...нная. Но сишный мир очень мал, на порядки меньше остального, ну и крипто-запросы точно так же - на порядки меньше остальных. Насколько я разбираюсь в задачах интеграции. Не существует такой постановки где вам надо будет что-то критографическое разрабатывать на голых сях. 99% этого сегмента как правило уже разработаны и оптимизированы. Чтоб понимать что так и как внутри - надо быть хотя-бы знатоком в криптографии. Короче вбухать несколько человеко-лет своей жизни в эту область. Кто из вас уже вбухал? Мир рационален. Одиночек фриков типа того-же Сатоши мы не будем брать в расчет. Они - есть первопроходцы и альтруисты. Им идея важнее. И есть у меня большие сомнения что бизнес придет и скажет - ану давай выкати нам очередной быстрый майнер. Посмотрите - ими завален весь гитхаб. И опенсорц. С оптимизацией под GPU. Бери. Качай. Майни дома на балконе. А вот написать сопряжение. Чтоб банковские системы доступались к API транзакций биткоина или эфириума через микросервисные шлюзы написаные черт-ти-на чём типа Python, C#, Go, Ruby. ...e.t.c. Вот это да. Под это дело можете поднимать скрам-команду и пилить баблос. И я готов спорить на коньяк что ткни пальцем наугад в одну из 100 банковских систем. И убедись что % С++ кода там очень невелик. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2018, 19:13 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
alex55555, источник дровишек прост. мониторьте hh и всё сами поймёте. Не сразу, но со временем - обещаю... удачи Вам, она Вам потребуется (круглый) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2018, 19:48 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
В спорном со многих сторон индексе tiobe по разным строчкам разнесены C и C++. А верно ли это? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2018, 20:42 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Верно. Область применения разная. Вакансия разная. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2018, 20:51 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
mayton, в tiobe не совсем вакансии учитываются. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2018, 21:09 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
Если-бы tibobe вычислял частоту поисков синонимов - то он бы слил их в одну категорию. Например нет смысла различать гуглеж EJB и "Enterpeise Java Beans". Но C и С++ имеет смысл различать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2018, 21:20 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
maytonЕсли-бы tibobe вычислял частоту поисков синонимов - то он бы слил их в одну категорию. Например нет смысла различать гуглеж EJB и "Enterpeise Java Beans". Но C и С++ имеет смысл различать. Смысл то есть, только тиобе его не может. Хотя в этом рейтинге это и не важно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2018, 01:01 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
авторНа самом деле весь конфликт между явой и плюсами имеет под собой один глобальный вопрос Не согласен (может и ошибаюсь). Допустим надо написать учётную систему с веб интерфейсом на 1000 пользователей. На java можно нанять 20 программистов по договору на 6 месяцев (+ БД и фронт на постоянку) и через три месяца вне зависимости от ума программистов и архитектора выкатить оттестированную рабочую версию. Ещё три месяца вечело править баги. Всем говорить, что они супер нинзи, кормить печеньем и на вопрос продлят ли контракт -- искренне удивляться, мол как вы могли такое подумать??? Через 6 месяцев можно уволить любых 15 java кодеров. Из оставшихся ещё двое сами уйдут (мол будете знать). Оставшихся троих хватит на правку багов. Программа написана быстро, она работает, профит. Могут быть вариации, например, не увольнять, а не нанимать новых взамен решивших уволиться или перебросить 15 человек на другой проект, но это не существенно. Вопрос. Как написать учётную систему (бухгалтерскую программу) на С с условием, что ум архитектора и кодеров нам заранее не известен? зы для обычных сайтов не то что http://cppcms.com/wikipp/en/page/main там java то часто избыточен. Ну вот реально кулинарные рецепты, 70.000 в сутки, пусть 500 в секунду в пике. И какое всё это имеет значение, узким местом будет БД и канал. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2018, 10:12 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
azsxДопустим надо написать учётную систему с веб интерфейсом на 1000 пользователей. На java можно нанять 20 программистов по договору на 6 месяцев (+ БД и фронт на постоянку) и через три месяца вне зависимости от ума программистов и архитектора выкатить оттестированную рабочую версию. Как написать учётную систему (бухгалтерскую программу) на С с условием, что ум архитектора и кодеров нам заранее не известен? Скорость написания учетных систем зависит только от того насколько точно описана постановка задачи, а не от языка или опыта программистов. Если постановщик неопытный, не шарит в предметной области, то все будет происходить годами, даже если итоговая программа по сложности пишется за день. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2018, 10:59 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
azsxавторНа самом деле весь конфликт между явой и плюсами имеет под собой один глобальный вопрос Не согласен (может и ошибаюсь). Допустим надо написать учётную систему с веб интерфейсом на 1000 пользователей. При таком подходе и пхп хипстеры сойдут по 1000 баков в месяц каждый ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2018, 11:54 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
авторСкорость написания учетных систем зависит только от того насколько точно описана постановка задачи, а не от языка или опыта программистов. Только мы заранее знаем, что заказчик получил деньги не потому, что он классный руководитель, который набрал команду талантливых менеджеров, а просто в один дет. сад ходил с кем то. И менеджеры и архитекторы и кодеры у него с высоким образованием и невысоким самомнением, а не всякие умники, которые могут хорошо описать задачу. Всё равно переписывать :) авторПри таком подходе и пхп хипстеры сойдут по 1000 баков в месяц каждый И в вебе +100500 примеров, когда язык php осознано выбирается забодав всех своих конкурентов (включая cppcms). У него свой минус есть. Вот отличие. Вы в таких условиях просто не напишете на С++ учётную систему. А на java возьмутся и напишут. Плохо, с тормозами, с переизбытком требований к серверу. Но будет работать. А если узкое место БД или канал, так и производительность также значения иметь не будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2018, 12:17 |
|
||
|
Высоконагруженные системы
|
|||
|---|---|---|---|
|
#18+
azsxавторСкорость написания учетных систем зависит только от того насколько точно описана постановка задачи, а не от языка или опыта программистов. Только мы заранее знаем, что заказчик получил деньги не потому, что он классный руководитель, который набрал команду талантливых менеджеров, а просто в один дет. сад ходил с кем то. И менеджеры и архитекторы и кодеры у него с высоким образованием и невысоким самомнением, а не всякие умники, которые могут хорошо описать задачу. Всё равно переписывать :) авторПри таком подходе и пхп хипстеры сойдут по 1000 баков в месяц каждый И в вебе +100500 примеров, когда язык php осознано выбирается забодав всех своих конкурентов (включая cppcms). У него свой минус есть. Вот отличие. Вы в таких условиях просто не напишете на С++ учётную систему. А на java возьмутся и напишут. Плохо, с тормозами, с переизбытком требований к серверу. Но будет работать. А если узкое место БД или канал, так и производительность также значения иметь не будет. Вы рассуждаете как человек - который и близко никогда не писал серьезный софт. Если стоит задача написать детерминированный стабильный конечный автомат с заранее предсткажуемым временем отклика и скоростью - ничего кроме C/C++/Asm брать нельзя Ну может еще Rust какой нить подойдет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2018, 12:21 |
|
||
|
|

start [/forum/topic.php?fid=57&msg=39751945&tid=2017694]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
166ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
63ms |
get tp. blocked users: |
1ms |
| others: | 243ms |
| total: | 513ms |

| 0 / 0 |
