|
|
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
maytonКакой ключ? И каково value? bytes ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.08.2017, 23:34 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
chabapok Вообще же, оптимизировать Arrays.sort Я не оптимизирую Arrays.sort Просто мои данные преставлены не в виде Java объектов в в виде серилизованного потока байтов в специальном виде. И надо из отсортировать со скорость как если бы это была сортировка аналогичного массива объектов при помощи Arrays.sort. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.08.2017, 23:37 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
mayton не java-кода а intrinsic. Работает всегда асеммблерный код в конечном итоге ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.08.2017, 23:59 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
Нужно смотреть доку по конкретному процу от производителя. Они есть как у интел, так и у амд. Там в каждой микроархитектуре по-разному. И в доках там все разрисовано более-менее подробно. Где вы упретесь в "бутылочное горлышко" - предугадать практически невозможно, и в зависимости от того так, или иначе написана ваша реализация, бутылочное горлышко будет в том, или ином месте. Просто про эти кэшмиссы полон интернет - и стало "модно" это оптимизировать. У меня, например, создалось впечатление, что довольно легко просадить шину память-кэш, просто сделав одновременно по кэшмиссу каждым ядром. В этом случае (на конкретно моем компе) мало того, что идут просто кэшмиссы, так еще и шина передачи перегружена - и каждое ядро ждет не только свои данные - но освобождения шины, и это тоже занимает время. И счетчика на это нет. Это чисто по ощущениям. Возможно, на серверах пропускная способность этой шины выше, и такой проблемы нет. Еще у меня в проце есть некий общий stalled-cycles-backend, который говорит, мол 50% времени проц ничего не делал, это пропущенные циклы. А что именно он ждал - это ты уже сам догадывайся. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 00:59 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
semensemenovichПросто мои данные преставлены не в виде Java объектов в в виде серилизованного потока байтов в специальном виде. И надо из отсортировать со скорость как если бы это была сортировка аналогичного массива объектов при помощи Arrays.sort().Э-э-э ... И как вы себе это представляете, если у Arrays.sort() нет ни одной сигнатуры для сортировки "сериализованного потока байт"? Ну и опять-таки, с "классическим" вариантом соперничать собрались или с Arrays. parallel Sort()? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 05:57 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
semensemenovichmaytonКакой ключ? И каково value? bytes В таком виде? Код: java 1. 2. 3. 4. А какова длина ключа и значения? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 09:00 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
maytonsemensemenovichпропущено... bytes В таком виде? Код: java 1. 2. 3. 4. А какова длина ключа и значения? ЯПросто мои данные преставлены не в виде Java объектов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 09:38 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
Basil A. SidorovsemensemenovichПросто мои данные преставлены не в виде Java объектов в в виде серилизованного потока байтов в специальном виде. И надо из отсортировать со скорость как если бы это была сортировка аналогичного массива объектов при помощи Arrays.sort().Э-э-э ... И как вы себе это представляете, если у Arrays.sort() нет ни одной сигнатуры для сортировки "сериализованного потока байт"? Ну и опять-таки, с "классическим" вариантом соперничать собрались или с Arrays. parallel Sort()? ЯЯ не оптимизирую Arrays.sort ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 09:39 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
semensemenovich, Это просто поразительно. Из тебя информацию надо тянуть клещами. Я давно невстречал в форуме таких стеснительных А теперь слушай месседж. Эффективность любого алгоритма сортировки Основана на том что мы знаем гистограмм у данных которую надо сортировать Когда я тебя спрашивал о длине ключа то я хотел выйти на оценку этой возможности. В некоторых случаях подсчет неуникальных ключей будет эффективнее самой сортировки. Иногда анализ монотонных последовательностей даёт возможности применить слияние и Переключить алгоритм на другой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 09:49 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
maytonsemensemenovich, Это просто поразительно. Из тебя информацию надо тянуть клещами. Я давно невстречал в форуме таких стеснительных А теперь слушай месседж. Эффективность любого алгоритма сортировки Основана на том что мы знаем гистограмм у данных которую надо сортировать Когда я тебя спрашивал о длине ключа то я хотел выйти на оценку этой возможности. В некоторых случаях подсчет неуникальных ключей будет эффективнее самой сортировки. Иногда анализ монотонных последовательностей даёт возможности применить слияние и Переключить алгоритм на другой. 1) На ты мы с Вами не переходили. 2) mayton Эффективность любого алгоритма сортировки Основана на том что мы знаем гистограмм у данных которую надо сортировать Да в курсе я. А к чему это Вы собственно ? Как это относится к мониторингу счетчиков процессора, о которых я завел тему. Сортировку я вообще привел пример как задачу над которой я работаю. Хотите мне поведать о других способах оптимизации алгоритма сортировки ? Спасибо, мне это не нужно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 09:57 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
Ну ок. Спасибо за прямоту. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 10:22 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
semensemenovichКак это относится к мониторингу счетчиков процессора, о которых я завел тему. Сортировку я вообще привел пример как задачу над которой я работаю. Работой называется не всякая деятельность, а только полезная. Ваш мониторинг счётчиков процессора - бесполезное занятие. Что вам на самом деле нужно - догадаться трудно. Некоторые участники обсуждения пытались. но не смогли, так как похоже вы сами не понимаете. Высокопроизводительные вычисления (high performance computing) - это термин. Обозначает не то, что вы думаете и чем занимаетесь, а вычисления с распараллеливанием. Распараллеливание бывает между ядрами процессора, потоками, компьютерами в кластере и внутри GPU. Для сортировки возможны все эти способы, но мне неохота гадать, какой вам нужен. При распараллеливании скорость работы растёт обычно медленнее, чем число процессоров (Amdahl law - правило Амдаля) из-за того, что часть задачи остаётся нераспараллеленной. Но бывает явления суперлинейного ускорения (superlinear speedup), когда скорость растёт быстрее, чем число процессоров из-за того, что данные делятся на блоки, достаточно малые, чтобы попасть в кэш процессора. Таким образом, если бы у вас была настоящая работа, то можно было бы рассмотреть настройку алгоритма на использование суперлинейного ускорения (что более полезно, чем подсчёт попаданий в кэш), но у вас нет понимания задачи, поэтому углубляться не буду. В общем, попробуйте сообразить, что вам на самом деле надо (это не то, что вы тут написали). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 10:59 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
Partisan MsemensemenovichКак это относится к мониторингу счетчиков процессора, о которых я завел тему. Сортировку я вообще привел пример как задачу над которой я работаю. Работой называется не всякая деятельность, а только полезная. Ваш мониторинг счётчиков процессора - бесполезное занятие. Что вам на самом деле нужно - догадаться трудно. Некоторые участники обсуждения пытались. но не смогли, так как похоже вы сами не понимаете. Высокопроизводительные вычисления (high performance computing) - это термин. Обозначает не то, что вы думаете и чем занимаетесь, а вычисления с распараллеливанием. Распараллеливание бывает между ядрами процессора, потоками, компьютерами в кластере и внутри GPU. Для сортировки возможны все эти способы, но мне неохота гадать, какой вам нужен. При распараллеливании скорость работы растёт обычно медленнее, чем число процессоров (Amdahl law - правило Амдаля) из-за того, что часть задачи остаётся нераспараллеленной. Но бывает явления суперлинейного ускорения (superlinear speedup), когда скорость растёт быстрее, чем число процессоров из-за того, что данные делятся на блоки, достаточно малые, чтобы попасть в кэш процессора. Таким образом, если бы у вас была настоящая работа, то можно было бы рассмотреть настройку алгоритма на использование суперлинейного ускорения (что более полезно, чем подсчёт попаданий в кэш), но у вас нет понимания задачи, поэтому углубляться не буду. В общем, попробуйте сообразить, что вам на самом деле надо (это не то, что вы тут написали). Господи сколько же неадекватов налетело. Один человек из 100 может рассказать о том как мониторить агрегаты процессора -а остальные за неимением квалификации начинают за жизнь учить и рассказывать как космические корабли бороздят большой театр. Вы всю эту байды своим джуниорам рассказывайте и лохам на собеседовании. А я с Вами слава Богу не работаю и даст Бог не встречусь в реальной жизни. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 11:40 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
Коллеги ну есть же для троллинга ПТ. Ну зачем превращать тему в болтовню, отличную от темы топика и лить сюда кучу своих мыслей, которые близко не лежали с темой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 12:25 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
Partisan MВысокопроизводительные вычисления (high performance computing) - это термин. ЯВысокопроизводительные приложения Я конечно понимаю что тут есть общее слово "Высокопроизводительные" - ну и что из этого ? Собственно далее весь текст про распараллеливание и рассказы о том что мне реально нужно выглядит как вброс с потолка. Blazkowicz, Мой Вам совет не поддавайтесь стадному чувству - если один человек выдал тонну типа умного текста - а другой сказал ему про неадекватность - это еще не значит что у другого мания величия типа "я самый умный". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 12:39 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
semensemenovichМой Вам совет не поддавайтесь стадному чувству - если один человек выдал тонну типа умного текста - а другой сказал ему про неадекватность - это еще не значит что у другого мания величия типа "я самый умный". Даже не знаю что ответить. Могу, разве что, предложить поискать бревно в своём глазу. Поверьте, эту картинку я тут пощу не так уж и часто. И поведение других участников дискусии считаю на много более адекватным чем ваше здесь хамство. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 12:45 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
BlazkowiczsemensemenovichМой Вам совет не поддавайтесь стадному чувству - если один человек выдал тонну типа умного текста - а другой сказал ему про неадекватность - это еще не значит что у другого мания величия типа "я самый умный". Даже не знаю что ответить. Могу, разве что, предложить поискать бревно в своём глазу. Поверьте, эту картинку я тут пощу не так уж и часто. И поведение других участников дискусии считаю на много более адекватным чем ваше здесь хамство. Это здоровое хамство, призванное отрезвить типа экспертов и знатоков - а то вместо начатой темы мне бы еще долго рассказывали про алгоритмы сортировки и параллельные вычисления. У нас, видимо, разные представления об адекватности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 12:49 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
Есть мнение такое, что на иностранных форумах пытаются решить проблему топик-стартера, а на русских доказывают ТСу какой он му**к. Мне этот топик напомнил один вопрос на стеке https://stackoverflow.com/questions/11227809/why-is-it-faster-to-process-a-sorted-array-than-an-unsorted-array Проблема актуальная как для С++ так и для JAVA. Тут возникла мысль, - можно переписать свой код на C++ и изучать проблемы взаимодействия с процессором там. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 12:49 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
HettЕсть мнение такое, что на иностранных форумах пытаются решить проблему топик-стартера, а на русских доказывают ТСу какой он му**к. Есть такое. С той лишь разницей, что до stackoverflow адекватных англоязычных форумов не было в принципе. Всё более-менее адекватное было в мейл архивах, статьях, но никогда в форме обсуждения. А у stackoverflow отличная политика модерирования и оценок, которая и привела к успеху ресурса. А рунет, просто остался таким же как был. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 12:54 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
Беда в том что тс задаёт вопрос в топике java не про java. Ну то есть на границе технологий. А когда ты пытается понять специфику оптимизацией или того анализа - автор как То странно отмалчивается либо говорит дескать это не про это... Да и вообще Сортировка его не интересует. Тогда я спрашаваю. А что его собственно в этом топике интересует относительно java? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 14:56 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
maytonБеда в том что тс задаёт вопрос в топике java не про java. На форуме нет топика "Оптимизации CPU". С таким же успехом С++ ники заявили бы что я задаю вопрос в топике С++ не про С++. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 16:03 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
semensemenovichНа форуме нет топика "Оптимизации CPU".Зато есть два топика, для людей, не умеюших гуглить man и msdn. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 16:14 |
|
||
|
Cache miss/hit detector in Java
|
|||
|---|---|---|---|
|
#18+
Basil A. SidorovsemensemenovichНа форуме нет топика "Оптимизации CPU".Зато есть два топика, для людей, не умеюших гуглить man и msdn. Топик надо переименовать из Java в RTFM ;) Задаешь вопрос - а тебе на него отвечают "Чо в Гугле Шо ли Забанили )" Ладно всем спасибо за внимание. Пойду в stackOverFlow спрашивать ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 16:21 |
|
||
|
|

start [/forum/topic.php?fid=59&msg=39504891&tid=2122635]: |
0ms |
get settings: |
6ms |
get forum list: |
14ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
140ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
| others: | 242ms |
| total: | 465ms |

| 0 / 0 |
