Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Бредовая идея или все реально? / 8 сообщений из 8, страница 1 из 1
09.05.2017, 18:10
    #39450396
deemaa
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредовая идея или все реально?
Всем привет. Есть сайт, в качестве бд используется постгрес. И есть в бд большая таблица , сейчас 700 000 тыс записей, в перспективе больше 1 млн. Идея: клиенты нажимают скачать, при этом сервер делает запросы к постгресу типа "COPY ( SELECT * from bigTable ) to data.txt" и после выполнения отдает клиенту на скачку data.txt. Вместо SELECT * from bigTable на самом деле сложный запрос с множеством соединений большой таблицы с мелкими, но суть не меняется думаю. В результирующем файл строк столько же сколько в таблице или меньше в зависимости от настроек клиента. Вопросы:
1) бредовая ли идея сама по себе, или реально заделать такое
2) какая должна быть конфигурация сервака, если скажем куча клиентов одновременно начнут скачивание. От чего отталкиваться?
...
Рейтинг: 0 / 0
09.05.2017, 18:20
    #39450398
vyegorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредовая идея или все реально?
deemaa,

Делайте раз в <какое-то время> дампы стандартными средставми или скриптами (по крону) и складывайте в доступное “им” место.
Хотя идея давать “им” доступ к данным из продукции не совсем секюрна...
...
Рейтинг: 0 / 0
10.05.2017, 07:43
    #39450531
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредовая идея или все реально?
deemaaВсем привет. Есть сайт, в качестве бд используется постгрес. И есть в бд большая таблица , сейчас 700 000 тыс записей, в перспективе больше 1 млн. Идея: клиенты нажимают скачать, при этом сервер делает запросы к постгресу типа "COPY ( SELECT * from bigTable ) to data.txt" и после выполнения отдает клиенту на скачку data.txt. Вместо SELECT * from bigTable на самом деле сложный запрос с множеством соединений большой таблицы с мелкими, но суть не меняется думаю. В результирующем файл строк столько же сколько в таблице или меньше в зависимости от настроек клиента. Вопросы:
1) бредовая ли идея сама по себе, или реально заделать такое
2) какая должна быть конфигурация сервака, если скажем куча клиентов одновременно начнут скачивание. От чего отталкиваться?

Если для каждого клиента запросы уникальны и не меняются часто, то может быть воспользоваться материальными представлениями?
Которые будут обновляться по какому-нибудь правилу/расписанию.
...
Рейтинг: 0 / 0
10.05.2017, 09:33
    #39450572
p2.
p2.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредовая идея или все реально?
deemaaсуть не меняетсяК процессу получения данных добавится запись и чтение диска на сервере. И в чем же суть этих действий?
...
Рейтинг: 0 / 0
10.05.2017, 13:33
    #39450758
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредовая идея или все реально?
Ответы:
1) Реально.
2) Отталкиваться от кривизны рук разработчика сайта.
...
Рейтинг: 0 / 0
10.05.2017, 21:55
    #39451034
ZiB
ZiB
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредовая идея или все реально?
Точно, сделать хранимую вьюху.
По одному клику делать COPY + 7z архив этого файла.
Потом вывешивать список доступных для скачивания файлов по состоянию за такое-то время.
Или каждый запрос от клиента имеет разные параметры и результат зависит от параметров?
...
Рейтинг: 0 / 0
12.05.2017, 09:39
    #39451822
LeXa NalBat
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредовая идея или все реально?
deemaa,

не нравится "to data.txt". Этот файл будет записан пользователем postgres. Для того чтобы прочитать и отдать содержимое этого файла ваше приложение должно иметь права на чтение файлов postgres, должно знать путь к директории постгреса. А кто старые файлы будет подчищать, для этого надо иметь права НА ЗАПИСЬ постгресовых файлов?

Поэтому правильнее делать "to stdout", и сохранять данные в файл из приложения.

Также, если данные надо отдать однократно, то можно вообще не сохранять в файл, а сразу отдавать.
...
Рейтинг: 0 / 0
12.05.2017, 13:35
    #39452090
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредовая идея или все реально?
LeXa NalBatесли данные надо отдать однократно, то можно вообще не сохранять в файл, а сразу отдавать.
Насколько я понял, файл предполагается довольно большим, а схема "сразу отдавать" несовместима с докачкой при обрыве.
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Бредовая идея или все реально? / 8 сообщений из 8, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]