Коллеги, такой вопрос.
Заведую тут небольшим API. API предоставляет доступ к папкам и файлам. Точно так как в файловой системе.
В данный момент API возвращает список файлов для конкретний папки с пейджингом. Для хождения по папкам этого достаточно.
Клиенты захотели новый метод на API который вернет все файлы пользователя. Метод будет использоваться для поиска на клиенте (клиент закачает это один раз и будет обновлять по событиям).
Технически это не сложно, запрос к базе, join 3-х табилиц. Но чета меня это напрягает.
Количество файлов и папок может быть любым, к примеру пару сотен тысяч. Соответственно время выполнения запроса непредсказуемо. Размер пересылаемых данных тоже.

Допустимо такое? Какие еще косяки могут вылезти?

monstrU,
Плохо написал. Речь идет не о выгрузки контента файлов а о списке файлов.
С выгрузкой на клиента понятно. Я хочу понять в целом, насколько тяжелые с точки зрения производительности запросы допустимы. Много маленьких против одного большого.
Я могу ограничить выборку к примеру 500-ами записями и пусть клиент дергает API последовательно 100500 раз. Но это
вроде как не еффективно. Можно наверное подогонать время исполнения запроса для максимального количества возвращаемых записей под какой-то SLA.
Если нужно больше - следущий запрос.


ЕвгенийВ,

файлы с фолдерами тут для примера. Могут быть любые записи.

Черт, криво написал изначально. Забудьте про файлы.

Есть база в ней 3 таблицы. Нужно выбрать записи из этих 3-х таблиц по ключу в одной из таблиц.
Всего записей в таблицах может быть десятки миллионов. Записей для одно ключа - пару сотен тысяч. Это текущее состояние.
Оба числа могут быть и больше, пока трудно предсказать.
В данный момент есть метод который возвращает постранично записи по ключу. 500 за раз.
Хотят все записи сразу.

Вот и вопрос - допустимо ли такое.

Ну напрягает то что я не знаю сколько будет выполняться вызов метода. Непредсказуемость..

Спасибо за идею с промежуточным кешированием. База узкое место, апп серверов можно много поднять.
Если большой запрос будет тормозить/мешать другим, буду разбивать.