|
|
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Прав был Шарахов, когда 4 года назад в своём блоге сказал "быстрая сортировка обладает какой-то мистической силой, заставляя снова возвращаться к ней". В битве за удобством и скоростью мне удалось достичь определённых успехов и сегодня я поделюсь результатами своего труда, но сперва объясню, чем вообще вызвана необходимость доработать сортировку. Код: pascal 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 1) По долгу службы мне периодически приходится обрабатывать внушительные объёмы данных и совсем не редкая операция - сортировка. В модуле Classes в своё время я нашёл реализацию и достаточно долго использовал её (листинг выше). Но в реальных условиях нужно сортировать не указатели, а структуры. Периодически приходилось создавать вспомогательный массив указателей, инициализировать и позже вызывать QuickSort. В конечном счёте потребовалось простое решение, при помощи которого можно оперативно "создать" требуемую сортировку. 2) Конечно напрашивается решение - использовать шаблоны. Но в Delphi7 шаблонов нет, а современные дженерики обладают существенным рядом недостатков, о которых поговорим позже. 3) В теории глубина рекурсии в QuickSort в худшем случае - равна N. В Delphi реализации ситуация оптимизируется, но не решается кардинально. А значит в зависимости от набора данных вполне существует вероятность, что скажем при сортировке миллиона элементов произойдёт переполнение стека. Ситуация усугубляется тем, что на платформе x64 стек в рекурсиях расходуется значительно быстрее, чем на x86 и ARM. Мне же удалось реализовать решение, которое не только не приведёт к переполнению стека, но и затратит в худшем случае 1кб на платформе x64. 4) Я обнаружил, что львиную долю времени сортировки занимает вызов калбека сравнения. Необходимость в нём на практике возникает не всегда. Мы часто сравниваем 1-2 поля, причём числовых, а значит реализовав сравнение вручную или вызвав inline оператор (надеюсь такие есть) - мы существенно повысим производительность сортировки. К сожалению дженерики не позволяют использовать операторы сравнения, а функции-компараторы гарантированно дают просадку производительности (что отлично видно на тесте с Integer). К слову привычные компараторы тоже используются неэффективно. В своё время Sha посвятил небольшой раздел правильному сравнению Integer с громким названием "Самая быстрая на Земле". Но в умных реализациях сортировки на С++ используется оператор < (LessThan), которого достаточно, и который существенно упрощает и сокращает время сравнения. Код: pascal 1. 2. 3. 4. 5) Вас ожидает сюрприз - если станете сортировать строки, варианты, интерфейсы, динамических массивы, замыкания или структуры их содержащие. Алгоритм быстрой сортировки минимум в двух местах предполагает чтение и запись структур. А при каждом копировании таких данных происходит невидимая рутина по инициализации и финализации данных. Не говоря уже о невидимом блоке try/finally, призванном подчищать данные по выходу из функции. Существует способ обойти внутреннюю рутину через копирование массива байт, но в рамках дженериков реализовать такой подход невозможно. В итоге при неумелой сортировке строк/массивов/структур/etc вас всегда ожидает просадка производительности. Что кстати легко заметить в тесте для строк. В обоих случаях используется стандартный RTL компаратор строк, но буферизируются элементы по разному. Код: pascal 1. 2. 3. 6) Одна из оптимизаций - сортировка вставками для малых (под)массивов. Реализацию брал и оптимизировал у Шарахова. 7) Ну и наконец оптимизации на низком уровне. Поскольку конечное время работы зависит от объёма исполненных тактов, а количество регистров крайне мало - путём титанических усилий, мне всё-таки удалось выжать из компилятора Delphi максимум :) Собственно всё. Используйте кому нужно. Скопируйте функцию и замените <T> на ваш тип. Несмотря на страшный вид функций, бинарный размер у них примерно равен дженерик-реализациям. Для сортировки Integer порядка 288 байт если не ошибаюсь. Ссылка: http://webfile.ru/8ea97d85dff9b007d66aef7b251f7e1d ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2014, 20:46:25 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Ох не говори про него. Несколько лет назад для наших библиотек я тоже написал вариацию. В ней нет ни одной ассемблерной инструкции, а процедура сравнения передается как параметр (а не жестко зашита в алгоритм). Результаты на моем компе: QuickSort(Integer) test: Generics QuickSort (standard)... 3198ms. Asm QuickSort... 1544ms. Smart QuickSort... 1248ms. DX QuickSort... 733ms. Press Enter QuickSort(String) test: Generics QuickSort (standard)... 13650ms. Smart QuickSort... 5258ms. DX QuickSort... 2995ms. Press Enter Хинт. Юзай многопоточность, раз уж у тебя такие "тяжелые" задачи ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2014, 21:49:41 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
white_nigger, твои результаты за счет использования кучи ядер, или DX реализация однопоточная? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2014, 22:06:26 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Ессно, выигрыш получается при использовании многопоточности, там главная хитрость, определить когда её можно использовать :). А так даже на древних 2х-ядерных процах есть ускорение. Причем зависимость нелинейная, сказываются особенности алгоритмов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2014, 22:14:40 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU, Какие условия использования кода? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2014, 22:27:59 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
white_nigger красавчик! тока у меня не настолько большие объёмы. тысяч 10 максимум. но часто. распараллеливание думаю мало поможет. но скинь сорсы посмотреть. p.s. у меня тоже ассемблера нет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2014, 23:43:18 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
asviridenkovКакие условия использования кода? любые :)) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 00:27:50 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOUasviridenkovКакие условия использования кода? любые :)) Тогда есть смысл посмотреть на код! Ты раз такой любитель оптимизации, то обратил бы внимание на другой аспект. У меня вот гораздо чаще возникают претензии к скорости поиска а не сортировки. С появлением TDictionary стало получше, но все равно говорят что там до оптимальности очень далеко, особенно в плане скорости работы хэш-функции. Вот если бы ты написал что-то компилируемое во всей линейке XE2+ 32/64 всеплатформенное и работающее быстрее, было бы круто. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 00:48:22 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
asviridenkov быстрее хешей ничего нет у меня есть наработки, которых мне хватает, но они под x86 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 00:53:27 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU asviridenkov быстрее хешей ничего нет у меня есть наработки, которых мне хватает, но они под x86 Да это понятно. Там хеш-функция не оптимальная. Под х86 не интересно. Нужна на дженериках и всеобщая ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 00:56:29 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
asviridenkov напишу за 10 тыщ если нужно :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 01:16:55 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOUу меня тоже ассемблера нетПросто я в своё время тоже просматривал решения Шарахова, а у него там самые быстрые были как раз ассемблерные версии. А вообще я отписался здесь исходя из того, что много людей не всегда верно подходят к задачам оптимизации. За долгие годы работы в ДХ я косвенно общался с многими программистами (а не энд-юзерами как многие тут) и не раз это наблюдал. Чаще всего реальный прирост дает не попытка сэкономить десяток-другой ассемблерных команд, а изменение архитектуры или пересмотр алгоритмов. PS: Поскольку свой код публиковать не имею права, подскажу что в инете можно найти подобные решения. По сути надо исходные данные разбить на блоки и в потоках выполнить QuickSort для каждого. А потом также используя потоки смержить результаты. Правда, как замечал ранее, перед этим надо убедиться что процедура сравнения потокобезопасна ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 01:35:58 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOUтысяч 10 максимум. но часто. распараллеливание думаю мало поможет. но скинь сорсы посмотретьПоможет. Обычно процедура сравнения более тяжелая чем простое сравнение чисел (для этого случая вообще лучше поразрядную сортировку использовать). А если у тебя есть наши продукты, то реализацию можешь посмотреть в классе TdxMultithreadedSort модуль dxThreading. Также распараллеливанием легко ускоряется поиск в неотсортированных данных (TList, TStrings) и пакетные обработки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 01:46:57 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
white_nigger а почему кстати зависимость нелинейная? а поразрядная сортировка да, рулит :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 02:12:37 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
asviridenkovС появлением TDictionary стало получше, но все равно говорят что там до оптимальности очень далеко, особенно в плане скорости работы хэш-функции. Вот если бы ты написал что-то компилируемое во всей линейке XE2+ 32/64 всеплатформенное и работающее быстрее, было бы круто. Для хэш-функции словаря важна не только скорость, но и распределение, в этом плане Дженкинс очень годное решение. Я их перепробовал штук 15, наверное, на трех наборах данных: словаре английских слов, массиве GUID'ов и строковом представлении инкрементируемого счетчика format('index%d', [counter]). Впрочем, для конкретных типов ключей можно задействовать собственные хэши, достаточно создать словарь с кастомным компарером. Например для строк очень хорошую скорость и распределение дает функция Роберта Седжвика, я использую её в своем "аналоге" словаря (по скорости поиска уделываю его раза в полтора [можно еще ускорить, но структура данных из-за поддержки индексации сильно не cache friendly], по добавлению более двух раз, по потреблению памяти экономичнее на четверть). У словаря по-дурацки сделано распределение памяти при заранее заданной вместимости (capacity), оно всегда получается примерно на треть больше необходимого. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 03:33:12 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Kazantsev Alexey По моему люди сильно переоценивают значение хеш-функции. Во-первых, даже самая крутая хеш-функция не обезопасит тебя от хеш-промахов. А во-вторых, люди мутят такие функции, что себестоимость её вызова значительно выше обрабатываемых промахов. Значительно важнее организация хеш-таблицы и менеджмент памяти. В теории размер таблицы должен быть простым числом (для лучшего распределения), на практике размер должен быть степенью двойки, ибо операция вычисления индекса через остаток от деления убивает к чертям весь профит. Ну и стандартному менеджеру памяти можно предпочесть альтернативный, потому что структуры имеют одинаковый размер и заточка на многопоточность не нужна (если конечно контейнер не с многопоточным доступом). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 09:40:40 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOUпочему кстати зависимость нелинейная? я как-то пробовал выпытать оценку по ихнему варианту (однопоточному) но в итоге нашару подобрал формулу к-я давала б.м. подходящий мне вариант white_niggerя отписался здесь исходя из того, что много людей не всегда верно подходят к задачам оптимизацииугу, хорошо бы иногда вместо того чтоб оптимайзить сортировки (что конечно само по себе и похвально) элементарно вычистить реализацию базовых вещей дабы избегать попросту ненужных (но весьма дорогостоящих) операций как например в Q515958, Q516328, Q515220 и т.п. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 10:48:05 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOUтока у меня не настолько большие объёмы. тысяч 10 максимум. но часто. распараллеливание думаю мало поможета у них там такой оверхед на самом контейнере и датаконтроллере что многопоточность оказалась реальным подспорьем. а так ср-вами например датасета сортировка даже в однопоточном варианте в разы быстрее фурычит ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 10:52:47 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
vavanугу, хорошо бы иногда вместо того чтоб оптимайзить сортировки (что конечно само по себе и похвально) элементарно вычистить реализацию базовых вещей дабы избегать попросту ненужных (но весьма дорогостоящих) операций как например в Q515958, Q516328, Q515220 и т.п.Или спроектировать приложение нормально, чтоб не было нужды тащить сотни тысяч записей на клиент. Это даст гораздо более ощутимый прирост быстродействия. К тому же не всегда есть возможность, избавиться от двойных вызовов, или пересчетов. Ты просто не видишь полной картины и не представляешь всех возможных сценариев использования. Кстати зачем тебе в Q515958 одновременно и лочение грида и лочение датасета? Если правильно помню, там простым переставлением порядка локов можно было сэкономить лишний пересчет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 12:56:07 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
white_niggerИли спроектировать приложение нормально"расскажи моей бабуле про ее вставные зубы" (С) серьезно, не учите меня жить и я тогда не скажу куда вам следует пройти. разработчику либы невдомек как ее юзают конечные пользователи а отсюда он просто обязан минимизировать оверхэд и приложить максимум усилий к оптимизации. а в данных случаях скорее даже к избеганию "пессимизации" white_niggerТы просто не видишь полной картины и не представляешь всех возможных сценариев использованияугу, я как раз об этом выше, не представляете. а лично меня заботят исключительно дата-аварные варианты, с иными изголяйтесь как хотите - мне поровну white_niggerзачем тебе в Q515958 одновременно и лочение грида и лочение датасета? Если правильно помню, там простым переставлением порядка локов можно было сэкономить лишний пересчетувы, не всегда достаточно лочить лишь датасет, иногда приходится и грид а то еще и датаконтроллер отдельно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 13:14:28 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
vavanразработчику либы невдомек как ее юзают конечные пользователиХорошо подумал прежде чем написать? За эти годы просмотрел сотни если не тысячи юзеркейсов, причем некоторые не приснились бы и в кошмарах. А тому кто постоянно недоволен нашими продуктами, мы можем предложить вернуть деньги, дабы бедняга не "кушал кактусы" если уж наш продукт его так не устраивает, и спокойно писать фичи которые реально востребованы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 13:45:40 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Сорри за офтоп. Обычно я не обсуждаю такие вещи и не перехожу на личности, видать накипело. Завязываю... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 13:48:08 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
white_niggerХорошо подумал прежде чем написать?а думаешь брякнул как всегда бездумно? white_niggerтому кто постоянно недоволен нашими продуктами, мы можем предложить вернуть деньгибуду чрезвычайно признателен если сделаете это по окончании очередного сабскрипшна к-й я продлил пару недель назад. собсно можно было бы и к зиме-весне (когда выйдет последний выпуск под 2007) но техдир заявил что поддержка крайней версии будет длиться еще год ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 14:18:52 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
vavanбуду чрезвычайно признателен если сделаете это по окончании очередного сабскрипшна ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 15:04:53 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
white_niggerпо окончании?ну разумеется. поясню что все что было выложено за многолетнее обновление сабскрипшна и собсно саппорт к возврату и не ожидается white_niggerа это... не треснет?ну я за язык никого не тянул. или это было неподкрепленное предложение? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 15:24:58 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
есть смысл маленькие подмассивы сортировать иначе - insertion_sort-ом стандартная сортировка в джаве, например, так делает, порог = 32 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 23:08:05 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
hard for me а там используется пункт 6 в описании ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2014, 23:19:14 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU, 1) test_integers: заменил в шараховской HybridSortSha_AII вызовы Compare на прямое сравнение (+ пара правок под integer) - и она обогнала вашу (немного) 2) вставил в test_integers код вашего шаблона и поставил "type T = integer" - скорость оказалась чуточку, но медленнее чем у QuickSortInteger (мелочь, а неприятно) 3) еще по-мелочи: вы проверяли выигрыш самодельного "стека" по скорости? ведь при работе такого же решения, но с рекурсией, стек будет задействован на в точности ту же глубину - кстати, у вас она ограничена 64, а в системном явно больше ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2014, 13:36:45 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
з.ы. как ни странно, с test_strings таких проблем нет - измененный шаблон даже чуть быстрее, чем QuickSortString и шараховская от вашей отстала ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2014, 13:41:06 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
до кучи: - для несколькисекундных тестов разрешение GetTickCount маловато - QueryPerformanceCounter гораздо лучше - перед тестом стоит сделать Randomize, чтобы на разных запусках были разные данные (хотя может быть смысл и не делать этого) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2014, 13:58:18 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
а в целом, раз придраться больше не к чему, можешь считать, что все отлично :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2014, 15:00:25 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
optimiserз.ы. как ни странно, с test_strings таких проблем нет - измененный шаблон даже чуть быстрее, чем QuickSortString и шараховская от вашей отстала Какая из? Их там много. Ну, и выложить было бы неплохо куда-нить, а то, может, не то или не так тестировали. Выравнивания опять же могут влиять. Сам понимаешь, лучше один раз увидеть. P.S. Довольно трудно поверить в отставание, т.к. в плане ускорения предложенный здесь вариант не содержит ничего нового по сравнению с рассмотренными в статье вариантами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2014, 15:21:00 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Aleksandr Sharahov, возможно, я коряво заменил у вас вызовы Compare на прямые сравнения - с приведениями указателей к строкам видимо, обрадовался, что моя наивная реализация оказалась чуть быстрее и этим удовлетворился тестил в дельфи 7 мои комменты начинаются 4 слешами по-хорошему тестирование нужно переделывать - не по 100 прогонов каждого, а 100 прогонов * (всех по очереди по 1 разу), и не суммировать время, а брать минимальное в микросекундах (имхо, так точнее) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2014, 23:19:29 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
кстати, в fastcode есть CompareStr - может, она побыстрее встроенного сравнения будет? и вроде у вас после всех сравнений "< 0" - Compare мог бы булеан возвращать и быть покороче ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2014, 23:32:49 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
optimiserкстати, в fastcode есть CompareStr - может, она побыстрее встроенного сравнения будет? и вроде у вас после всех сравнений "< 0" - Compare мог бы булеан возвращать и быть покороче Очевидно, что сортировки имеет смысл сравнивать, если у них функции сравнения одинаковы. Поэтому алгоритмы часто записываются так, чтобы они использовали один тип сравнения, обычно это сравнение "строго меньше". Что эквивалентно возврату булевского значения. Если же вы используете разные функции сравнения, то тем самым ставите проверяемые алгоритмы сортировки в неравное положение. Описанные в моей статье алгоритмы допускают использование любых функций сравнения, в том числе и возвращающих булевское значение. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 00:02:13 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
optimiserвидимо, обрадовался, что моя наивная реализация оказалась чуть быстрее и этим удовлетворился тестил в дельфи 7 на E6850 (D7, InsCount=32 у всех алгоритмов) чуть быстрее те, что в статье: QuickSort(String) test: SmartQuickSort... 11581ms. SmartQuickSortTemplate... 11533ms. QuickSortSha_AII... 9689ms. QuickSortSha_0AA... 9693ms. QuickSortSha_A0I... 9691ms. My DumbQuickSort... 10195ms. Это неудивительно, т.к. это все это почти одинаковые алгоритмы. В код особо не вникал, но замечу, что время измеряется довольно грязно: включается копирование буфера, проверка правильности сортировки, перемежается с выводом - ужас. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 00:56:09 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
optimiser спасибо за участие! автор1) test_integers: заменил в шараховской HybridSortSha_AII вызовы Compare на прямое сравнение (+ пара правок под integer) - и она обогнала вашу (немного) рано или поздно нужно было это проверить что круче: низкоуровневые оптимизации и алгоритмы победили в очередной раз алгоритмы :) автор2) вставил в test_integers код вашего шаблона и поставил "type T = integer" - скорость оказалась чуточку, но медленнее чем у QuickSortInteger (мелочь, а неприятно) Это потому что сама функция универсальная Чтобы скорость осталась прежней - нужно CMP_MODE выставить 1 Сейчас же копируется не интеджер, а массив байт - поэтому медленнее автор3) еще по-мелочи: вы проверяли выигрыш самодельного "стека" по скорости? ведь при работе такого же решения, но с рекурсией, стек будет задействован на в точности ту же глубину - кстати, у вас она ограничена 64, а в системном явно больше Проверять - не проверял. Но смысл в том, что в случае самодельного стека экономятся(оптимизируются) регистры, а так же снимаются накладные расходы на вызов функции - push/pop регистров в стек и call/ret. А что до глубины в 64 - так это явно с запасом :). На случай если в x64 приложении будет сортироваться массив байт размером 2^64 (я даже не знаю как такое число назвать) и при этом не будут использоваться сортировки вставками :) авторз.ы. как ни странно, с test_strings таких проблем нет - измененный шаблон даже чуть быстрее, чем QuickSortString это погрешности измерения можешь сравнить код функций - должно быть идентично автордо кучи: - для несколькисекундных тестов разрешение GetTickCount маловато - QueryPerformanceCounter гораздо лучше - перед тестом стоит сделать Randomize, чтобы на разных запусках были разные данные (хотя может быть смысл и не делать этого) я согласен, только времени было впритык если внесёшь свою лепту - будет круто Aleksandr Sharahovна E6850 (D7, InsCount=32 у всех алгоритмов) чуть быстрее те, что в статье: QuickSort(String) test: SmartQuickSort... 11581ms. SmartQuickSortTemplate... 11533ms. QuickSortSha_AII... 9689ms. QuickSortSha_0AA... 9693ms. QuickSortSha_A0I... 9691ms. My DumbQuickSort... 10195ms. Это неудивительно, т.к. это все это почти одинаковые алгоритмы. Помоему результат отличный. Твои сортировки быстрее моей больше чем на 10%! Не скажешь навскидку, в чём цимус? В трёх опорах? Я у себя побоялся их применять. авторВ код особо не вникал, но замечу, что время измеряется довольно грязно: включается копирование буфера, проверка правильности сортировки, перемежается с выводом - ужас. Проверка корректности используется только в DEBUG Копирование буфера... Я просто не знаю, как сделать лучше Модернизируй пожалуйста тест и выложи сорсы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 07:17:26 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
модернизировал тест по-своему, выкладываю Pentium E6700, Delphi 7 Код: plaintext 1. 2. 3. 4. 5. 6. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 11:38:10 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
очевидно, разница в том, что в коре-дуо 4 МБ кэша 2 уровня, а в моём пентиуме - только 2 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 12:12:36 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
на старом ноутбуке (T5600, тоже с 2 МБ кэша) более "закономерные" результаты: "смарт" впереди, но хотя бы мой отстал от шараховского ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 12:24:41 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
для полноты: размер L1 кэша у 2 моих процов (десктоп и ноут) тоже совпадает - 32 КБ * 2 ядра * 2 (данных+инструкций) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 13:52:19 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
как может быть, что на одной конфигурации мой код работает быстрее, а на другой - Шарахова? должен быстрее работать код Шарахова везде ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 17:35:42 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
> должен ситуация "works for me" некому и не из кого "долг" выбивать: у каждого на его компе его код быстрее :) btw, мы еще на атлонах не пробовали с 64KB L1 cache ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 18:25:36 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
я уж не говорю про x64 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 18:28:54 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
optimiserу каждого на его компе его код быстрее :)в смысле, я тоже этого добился было достаточно избавится от вложенности процедур, которую я ранее сделал в совершенно напрасной уверенности, что чем меньше параметров передается, тем лучше правда, на некоторых данных (т.е. запусках - я вставил Randomize) Smart всё же обгонял Dumb еще, неправильные способы (рекурсия правых, левых, больших половин) чуть обгоняют правильный (рекурсия меньших половин) в общем, иллюзия борьбы далеко за гранью погрешности ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 19:17:39 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Хотелось бы, чтобы Александр сравнил и сказал, почему у него быстрее на 10% Есть ли простая модификация, после которой мой код обгонит его ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2014, 20:02:17 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOUу него быстрее на 10%это у тебя так? шо за проц? а на моём железе у него медленнее, но от силы на 3-4% (пень E6700, 2M L2 Cache, 3.20 GHz, 1066 FSB) Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.08.2014, 04:03:17 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
немного поиграл с размерами массива данных и длинами строк, и понял, что пора бросать этой ерундой маяться: то один вперед вырвется, то другой... в общем, единицы процентов не стоят серьезных усилий, разве что ради пиара и для маркетинга ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.08.2014, 05:29:50 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
asviridenkovТогда есть смысл посмотреть на код! Ты раз такой любитель оптимизации, то обратил бы внимание на другой аспект. У меня вот гораздо чаще возникают претензии к скорости поиска а не сортировки. С появлением TDictionary стало получше, но все равно говорят что там до оптимальности очень далеко, особенно в плане скорости работы хэш-функции. Вот если бы ты написал что-то компилируемое во всей линейке XE2+ 32/64 всеплатформенное и работающее быстрее, было бы круто. Представляю вашем вниманию альтернативную библиотеку шаблонов Rapid.Generics https://github.com/d-mozulyov/Rapid.Generics Бенчмарки сортировок, поисков и контейнеров привожу ниже. Бенчмарк по хеш-таблицам будет скорее всего на этой неделе, но в другой ветке. P.S. Для оптимизации сортировок, небольшие части сортируются вставками. Для числовых предусмотрены так же поразрядные сортировки P.P.S. Данные таблицы характерны для версий компилятора XE7+. На версиях ниже, производительность будет существенно отличаться ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2017, 02:33:46 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU, а что на счет коллизий? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2017, 10:47:10 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
JaDi, Хеши в другой ветке обсудим :) Или ты про другое говоришь? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2017, 11:17:28 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU, о них самых ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2017, 11:31:47 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU поставил Rapid.Generics вместо стандартных генериков в XSuperObject Получил First chance exception at $00DE03E7. Exception class $C0000005 with message 'access violation at 0x00de03e7: read of address 0x000000cc'. Process Stealth_Elka2017.exe (5156) в function TList<T>.InternalIndexOf(const Value: T): NativeInt; строка 17029. Это вызов Contains Delphi Seattle. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2017, 09:04:16 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Vizit0r, Привет. Давай разбираться. Выложи какой-то тестовый проект, где повторяется ошибка. Или сам оттрейсь, найди, где косяк, а я уже поправлю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2017, 09:25:55 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU, вот всегда удивлялся косячности реализации QSort в дельфи. даже в 10-ке, так и не поправили уход в рекурсию Код: pascal 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. в том же fpc вполне кошерно Код: pascal 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2017, 09:42:04 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), У меня сортировка без рекурсии вообще ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2017, 09:45:42 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOUkealon(Ruslan), У меня сортировка без рекурсии вообще )странный там у тебя микс ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2017, 10:26:59 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Vizit0rSOFT FOR YOU поставил Rapid.Generics вместо стандартных генериков в XSuperObject Получил First chance exception at $00DE03E7. Exception class $C0000005 with message 'access violation at 0x00de03e7: read of address 0x000000cc'. Process Stealth_Elka2017.exe (5156) в function TList<T>.InternalIndexOf(const Value: T): NativeInt; строка 17029. Это вызов Contains Delphi Seattle. Зато быстро и оптимизированно! Охота тебе время тратить, удивляюсь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2017, 11:05:58 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
возможно глупый совет - порыться в Spring4Delphi - причем не в готовых имсходниках, а в истории развития, закрытых багах и т.д. хотя оно и поверх стандартных генериков и стандартного TValue написано Потому что с проблемами реализации низкоуровневых привязок к разным версиям Delphi там накушались по самое не могу, можно поискать чужие грабли, прежде чем самому впрыгивать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2017, 14:51:06 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOUVizit0r, Выложи какой-то тестовый проект, где повторяется ошибка. Или сам оттрейсь, найди, где косяк, а я уже поправлю. да фиг ли там выкладывать, в посте выше расписаны полтора действия для повторения ошибки. Хотя ладно, сделал тестовый проект, приложил. Трейсить не буду, я от простого заглядывания в процедуру, где АВ вылетает, чуть сознание от ужаса не потерял. Не для моего слабого мозга такое. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2017, 16:30:00 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Vizit0r Трейсить не буду, я от простого заглядывания в процедуру, где АВ вылетает, чуть сознание от ужаса не потерял. Не для моего слабого мозга такое. Это называется "write-only code". Если что не так работает, найти причину - без шансов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2017, 16:42:15 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
Vizit0r, Спасибо. Доберусь до компа - посмотрю asviridenkov, Ой, да ладно сгущать краски. Есть массив, происходит обход всех элементов и сравнение со значением. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.07.2017, 16:30:57 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
asviridenkovVizit0rТрейсить не буду, я от простого заглядывания в процедуру, где АВ вылетает, чуть сознание от ужаса не потерял. Не для моего слабого мозга такое. Это называется "write-only code". Если что не так работает, найти причину - без шансов.Все, что писалось с трудом, должно с трудом и читаться (шутка). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.07.2017, 17:35:26 |
|
||
|
О QuickSort не говори
|
|||
|---|---|---|---|
|
#18+
asviridenkovЭто называется "write-only code". Если что не так работает, найти причину - без шансов. Не, первые полгода-год сам автор еще разобраться может. ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.07.2017, 17:56:43 |
|
||
|
|

start [/forum/topic.php?all=1&fid=58&tid=2042048]: |
0ms |
get settings: |
10ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
212ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
94ms |
get tp. blocked users: |
2ms |
| others: | 236ms |
| total: | 588ms |

| 0 / 0 |
