veretragna"ORDER BY", сдается мне, и замедляет сортировку на больших базах. Можно ли как-то оптимизировать выборку на скорость?Конечно можно! Убери ее нафиг и никогда больше не используй ORDER BY.
Сортировать надо на клиенте, а не в sql.

veretragnaWhite Owl, слабо представляю себе, как это сделать в клиенте. Виртуальный listview, около 100к записей, которые надо отсортировать по любой из колонок. Варианта два: или грузить это все в память и сортировать там, или нафиг сортировку вообщеДа, грузить в память.
Нет, не надо грузить в память 100К записей, нет на свете человека который сможет прочить 100К строк на экране.
Человек способен осознать максимум пару десятков строк. Для б о льших объемов - агрегаты и аналитика.

veretragnaWhite Owl, приведите, будьте добры, пример, который выведет на экран 20 строчек: элементы с индексом от 10000 до 10020,




veretragna отсортированных по sGold в общей массе.Это задача для listview.

veretragna Виртуальный listview выдает вместе с сообщением WM_NOTIFY LVN_ODCACHEHINT только начальный и конечный индекс элементов, для которых надо извлечь данные. Колонку сортировки держим в уме, получая его от события WM_NOTIFY LVN_COLUMNCLICK.Что это за "виртуальный listview"? Да еще и выдающий системные виндовые события???
Ты вообще на каком языке пишешь клиента? С каким фреймворком?
В общем, читать тут: https://en.wikipedia.org/wiki/Model–view–presenter
Данные читаются из БД на уровне модели, сортируются на уровне представления.

veretragna "Для больших объемов - агрегаты и аналитика." - это слишком расплывчатая рекомендация.Будет конкретный вопрос о том, что нужно от большого объема - дам более конкретный совет.

veretragnaТо, что Вы говорите - это задача listview только тогда, если сам listview умеет сортировать данные.Не верно. View - ничего не сортирует и ничего не хранит. Оно только отображает то, что ему отдал presenter.
Грубо говоря: Model - читает из базы данные и хранит все данные в памяти при нужде подчитывая из базы или записывая обратно, Presenter - решает какие строки у Model запрашивать, а View - только рисует на экране то что выдает Presenter.

veretragna Listview в виртуальном режиме ничего не сортирует, а только отправляет родительскому окну сообщение LVN_ODCACHEHINT с адресом начального и конечного элемента, которые надо извлечь в память, и LVN_GETDISPINFOW, если элемент надо отрисовать. Все остальное - забота самой программы, а не контроля.Ну вообще-то это и есть "контроль". MVP это вариация MVC...

veretragnaНасчет языка: да какая разница? Приложение десктопное под винду, язык скриптовой, GUI нарисован на чистом WinAPI.Вот в чистом WinAPI и проблема - он сам по себе достаточно замороченный и многобуквенный. Вмешивать туда еще и работу с БД.... Можно конечно, но это уже явно не задача для форумных постов. Это задача для полноценного рабочего дня (длинной в несколько месяцев минимум).
Поэтому, я тебе очень сильно рекомендую забить на WinAPI и перейти на что-нибудь достаточно выскоуровневое чтобы не париться с ручной обработкой WM сигналов.

veretragnaВ результате может быть от нескольких тысяч до 100 тысяч строк.
Нужно извлечь, например, 20 строк с индексом от 10000 до 10020 с учетом сортировки. Но с такой формой VIEW чем больше база, тем медленнее работает выборка. Как добиться скорости?Ну я уже говорил что "извлечь 100 тысяч строк" это бессмысленно. Никто не будет читать эти 100 строк, ни с экрана, ни с бумаги. Человек на самом деле хочет или сумму, или среднее, или количество...
Чтобы извлечь "20 строк с индексом от 10000 до 10020 с учетом сортировки", тебе нужно решить два вопроса:
1) По какому критерию ты сортируешь? У тебя в таблице какое-то поле есть? Или формула по нескольким полям?
2) Ты знаешь чем "нужные" 20 строк отличаются от "не нужных"? По какому условию, перебирая отсортированную таблицу ты решаешь "пока не интересно, пока не интересно.... о! Вот эти строки уже интересны. А дальше опять не интересно".
Вот как только ты смог ответить на эти два простых вопроса, то у тебя сразу появляется запрос вида:


И никаких сортировок не нужно.
Model формирует подобный запрос на основе GUI формы с кнопочками и переключателями и вытягивает данные из БД, Presenter решает в каком порядке отдавать данные на просмотр, а View уже рисует на экране.

pit_alexPPA,

Если задача взять определенное количество записей с..по из отсортированного списка, тогда конечно без ORDER BY никак.
Можно уйти от View, создать индексы и работать с самим запросом из приложения.Ну с чего это вдруг "никак". ORDER BY он всегда по какому-то полю таблицы делается (или комбинации полей). Ну и что тебя останавливает просто добавить в запрос критерий "от и до" по этому самому полю?

PPAWhite Owl Ну и что тебя останавливает просто добавить в запрос критерий "от и до" по этому самому полю?
Проблема в том что иногда нужно оценить эти "от" и "до" и они заранее не известны.Не правда. Они всегда заранее известны хотя бы в духе "записи за вчера или неделю назад".
Не надо путать разработчика и юзера. Юзер почти никогда не может объяснить разработчику что ему нужно, но в своих данных юзер ориентируется очень хорошо.

PPA2. order by по x + дать возможность быстро полистать "простыню" страниц.И в чем смысл для юзера в таком листании? Ну вот представь себе бухгалетра, который получает на экран 100К платежек и она начинает эти 100К листать. Зачем она это делает? Твои варианты?

veretragnaДо этого отлично справлялся, работаю годами, привык. Но допустим, я перешел на высокоуровневую обертку типа wxWidgets. Как это мне поможет работать с виртуальным режимом listview? Обычный режим listview не подходит, потому что в обычном режиме отрисовка 7000 элементов (маленькая тестовая база) одним махом занимает 3 секунды на слабеньком ноутбуке типа моего переносного. А если записей 100к или 1кк? Только виртуальный режим позволяет держать в списке от 10к элементов и не упасть по скорости.Вот как раз по этому, я и советую перейти на что-то выскоуровневое, потому что там это "упасть по скорости отрисовки из-за объема" уже решено.
Использовать системный виджет от виндов это конечно круто и хардкорно, но в 2017-ом году - это не оправдано экономически. Любую программу можно написать на ассемблере, но нужно ли быть настолько крутым?


veretragnaМне нужно, чтобы в любой момент времени я мог посмотреть , например, 20 записей с максимальным или минимальным sGold, sGopher, sLoss или других значений в любой колонке.Ну это пожалуй единственный случай когда ORDER BY (в паре с индексом) может помочь:




veretragnaWhite Owl, почему вы всячески увиливаете от прямо заданного вопроса: как добиться скорости? Не нужны мне Model-View-Presenter на маленьком проекте всего в 150кб чисто моего кода, хватит их сюда пихать по теме и без темы. Они не решают проблему скорости, а просто описывают модель связи разных компонентов программы. Не знаете - так и скажите.
Если ты не веришь в решение, это не означает что оно не верное.
И вообще, тебе не кажется что оценивать скорость работы с данными по объему кода слегка странновато? Итоговое время обработки данных зависит не от объема твоего кода, а от объема данных с которыми твой код работает и алгоритмов по которым твой код работает.