ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Влияние размера базы на скорость запросов
25 сообщений из 55, страница 2 из 3
  2  все
Влияние размера базы на скорость запросов
    #39974458
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
crutchmaster
Надфиль
ни вижу никаких проблем.

Это странно. Вроде как ТС их уже обозначил.

ТС обозначил свои затруднения, а не проблемы с хранением лобов в БД.

crutchmaster

Надфиль
ага и получи нервный срыв пытаясь это администрировать)))

Что там админить? Файлы лежат себе спокойно на http сервачке и никого не трогают.

Админы делятся на две категории: тех, которые уже делают бэкапы и тех, которые ещё не делают...
...
Рейтинг: 0 / 0
30.06.2020, 11:16
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39974460
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
andrey_anonymous
Админы делятся на две категории: тех, которые уже делают бэкапы и тех, которые ещё не делают...

Ага, типа блобы бекапить будет проще.

andrey_anonymous
ТС обозначил свои затруднения, а не проблемы с хранением лобов в БД.

Это всё манёвры и виляния.
...
Рейтинг: 0 / 0
30.06.2020, 11:18
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39974464
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
crutchmaster
andrey_anonymous
Админы делятся на две категории: тех, которые уже делают бэкапы и тех, которые ещё не делают...

Ага, типа блобы бекапить будет проще.

Именно.
Как и восстанавливать без потери целостности данных.
...
Рейтинг: 0 / 0
30.06.2020, 11:24
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39974482
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
andrey_anonymous
Как и восстанавливать без потери целостности данных.

С одной стороны база с кучей ссылок, с другой фс. В каких случаях можно потерять целостность, если есть все бекапы с хешами?
...
Рейтинг: 0 / 0
30.06.2020, 11:43
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39974492
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
crutchmaster
andrey_anonymous
Как и восстанавливать без потери целостности данных.

С одной стороны база с кучей ссылок, с другой фс. В каких случаях можно потерять целостность, если есть все бекапы с хешами?

Расскажите для начала о стратегии резервного копирования, обеспечивающего целостность в описанной Вами конструкции - тогда можно будет поговорить.
...
Рейтинг: 0 / 0
30.06.2020, 11:59
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39974535
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
andrey_anonymous
Расскажите для начала о стратегии резервного копирования, обеспечивающего целостность в описанной Вами конструкции - тогда можно будет поговорить.

Любая фс с COW + бекап/зеркало на такую же. В базе ссылки и хеши файлов (после из записи на фс). Файлы как-то похерить можно только физическим уничтожением рейда, все операции записываются. Сохранность базы - проблема ораклового админа. Валидность данных обеспечивает хеш в бд. Не совпадает хеш? Идешь ковырять историю изменения файла, находишь там, что нужно. Бонусом имеешь историю. Если юзер перепишет файл который ему нужен, то с блобом ты делаешь что? Правильно.
...
Рейтинг: 0 / 0
30.06.2020, 13:01
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39974538
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
crutchmaster
Сохранность базы - проблема ораклового админа.

Угу. И вот ваш датацентр сгорел к бубеням.
В наличии есть диск к бэкапом БД по состоянию "на вчера 21:07:18" + архивные журналы БД до "сегодня 07:26:38"
Еще есть бэкап ФС "на позавчера".
В момент пожара через БД пролетало до 10000 транзакций в сеукунду.
Расскажите, каким образом будем восстанавливать.
"висячие" ссылки, ессно, недопустимы.
...
Рейтинг: 0 / 0
30.06.2020, 13:05
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39974587
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
andrey_anonymous,

тем более что блобы из базы Oracle можно представить в виде файловой системы.
https://docs.oracle.com/cd/E11882_01/appdev.112/e18294/adlob_fs.htm#ADLOB45988

а вот наоборот нет))

в общем склонен полагать, блобы можно хранить отдельно, когда по каким то причинам это необходимо.
но среди причин нет "фронт энд не на дельфи".
...
Рейтинг: 0 / 0
30.06.2020, 14:18
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39974668
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
Надфиль
когда по каким то причинам это необходимо.

Скорее - "когда блобы ценности не представляют"
...
Рейтинг: 0 / 0
30.06.2020, 16:25
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39974678
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
andrey_anonymous

Скорее - "когда блобы ценности не представляют"

или очень большие. видео какое нибудь, например.
...
Рейтинг: 0 / 0
30.06.2020, 16:42
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975127
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
andrey_anonymous
Еще есть бэкап ФС "на позавчера".

Нету никакого бекапа. Читай в гугле про cow. Технологии ушли вперед, а ты - нет.
andrey_anonymous
В момент пожара через БД пролетало до 10000 транзакций в сеукунду.

У тебя уже ракл лёг, когда пытался принять 10к docx/сек.
...
Рейтинг: 0 / 0
02.07.2020, 04:33
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975139
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sayan Malakshinov
Модератор форума
Надфиль
andrey_anonymous,

тем более что блобы из базы Oracle можно представить в виде файловой системы.
https://docs.oracle.com/cd/E11882_01/appdev.112/e18294/adlob_fs.htm#ADLOB45988

а вот наоборот нет))

в общем склонен полагать, блобы можно хранить отдельно, когда по каким то причинам это необходимо.
но среди причин нет "фронт энд не на дельфи".
как это нет? А bfile? И в целом гораздо проще, надежнее, быстрее и дешевле blobы хранить вне базы. И поиск по ним лучше делать без мучительных оракловых индексов, которые замудохаешься траблшутить. Есть полно альтернатив sphinx, elastic search, solr и тд
...
Рейтинг: 0 / 0
02.07.2020, 05:17
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975240
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
crutchmaster
andrey_anonymous
Еще есть бэкап ФС "на позавчера".

Нету никакого бекапа

Твой cow сгорел вместе с датацентром, остается только ловить хайп...
...
Рейтинг: 0 / 0
02.07.2020, 10:42
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975273
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
andrey_anonymous
Твой cow сгорел вместе с датацентром

И с твоими блобами. Что сказать хотел?
...
Рейтинг: 0 / 0
02.07.2020, 11:22
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975298
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
crutchmaster
andrey_anonymous
Твой cow сгорел вместе с датацентром

И с твоими блобами. Что сказать хотел?
у "моих" отсталых блобов есть унылый отсталый консистентный бэкап. Поднялись и запустились - никакого хайпа, да...
...
Рейтинг: 0 / 0
02.07.2020, 12:00
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975315
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
andrey_anonymous
у "моих" отсталых блобов есть унылый отсталый консистентный бэкап.

А у файлопомоек его нет, ага. Админы эти такие дураки, сидят весь день пиво пьют своё и нихера не делают.
...
Рейтинг: 0 / 0
02.07.2020, 12:24
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975354
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
crutchmaster
Нету никакого бекапа.

crutchmaster
andrey_anonymous
есть унылый отсталый консистентный бэкап.

А у файлопомоек его нет, ага.


Занавес :)
...
Рейтинг: 0 / 0
02.07.2020, 13:03
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975362
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
andrey_anonymous
Занавес :)

Никто не бекапит в tar.gz за позавчера. Давно уже есть накопительные бекапы на любой вкус и размер. Это для тебя, походу, кроме ракла с архивлогами во всём мире ничего не существует и никто до такого додуматься не может.
...
Рейтинг: 0 / 0
02.07.2020, 13:09
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975371
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
Самоопределяйтесь уже.
Либо "никаких бэкапов нет", либо они есть и Вы откроете мне глаза на стратегию резервного копирования и консистентного восстановления системы, хранящей лобы вне БД.
...
Рейтинг: 0 / 0
02.07.2020, 13:13
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975377
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
andrey_anonymous
Самоопределяйтесь уже.

Так я определился давно. Это у вас трудности.
...
Рейтинг: 0 / 0
02.07.2020, 13:15
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975435
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
crutchmaster
andrey_anonymous
Самоопределяйтесь уже.

Так я определился давно. Это у вас трудности.

Ну тогда резюме дискуссии:
- Стратегию консистентного резервного копирования и восстановления системы с хранением лобов вне БД Вы предложить не смогли
- Сумели определиться только в том, что у какого-то ника в интернете какие-то трудности и вообще его " ракл лёг, когда пытался принять 10к docx/сек."

Таким образом, предложенная Вами организация системы с хранением лобов вне БД приемлема лишь для неотвественных систем с невысокой ценностью данных, что, вообще говоря, и без этой дискуссии было вполне понятно.
...
Рейтинг: 0 / 0
02.07.2020, 14:06
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975454
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sayan Malakshinov
Модератор форума
andrey_anonymous,

приведи примеры, когда надо бфайлы/документы откатить назад на момент рухнувшей этой базы? что само по себе уже говорит о ненадежности базы...

зы. cow хранилку с историей построить гораздо легче и она будет надежнее, с любым разнесением чего угодно куда угодно, чем то же самое сделать с базой.
...
Рейтинг: 0 / 0
02.07.2020, 14:24
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975473
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
xtender
приведи примеры, когда надо бфайлы/документы откатить назад на момент рухнувшей этой базы?

В смысле откатить?
Лишь согласованно восстановить ФС и БД из резервных копий.
Чтобы не было висящих ссылок в БД и лишних файлов в ФС.
До последней сохранившейся зафиксированной транзакции, как мы все любим :)
Варианты с "разрулить рассогласованности" придумать можно, но, как все понимают, это дополнительная работа и усложнение сценариев резервного копирования/тестирования бэкапов и восстановления для админов, увеличение времени восстановления.
...
Рейтинг: 0 / 0
02.07.2020, 14:51
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975659
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sayan Malakshinov
Модератор форума
andrey_anonymous
согласованно восстановить
не надо будет файлы восстанавливать - они будут в целости и сохранности.

andrey_anonymous
До последней сохранившейся зафиксированной транзакции, как мы все любим :)
нет, мы любим чтобы данные не терялись вообще.

andrey_anonymous
дополнительная работа и усложнение сценариев резервного копирования/тестирования бэкапов и восстановления для админов, увеличение времени восстановления.
хранение файлов в базе - это и есть увеличение времени создания бэкапов и восстановления из них. Вынесение их оттуда - это уменьшение.
...
Рейтинг: 0 / 0
02.07.2020, 20:54
| Ответить | Цитировать | Написать  
Влияние размера базы на скорость запросов
    #39975746
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
andrey_anonymous
- Стратегию консистентного резервного копирования и восстановления системы с хранением лобов вне БД Вы предложить не смогли

Да я то предложил, а вы начали херню пороть какую-то. Зачем мне что-то вам объяснять? Мне не интересно читать какую еще более нелепую херню вы выдадите.
...
Рейтинг: 0 / 0
03.07.2020, 04:00
| Ответить | Цитировать | Написать  
25 сообщений из 55, страница 2 из 3
  2  все
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Влияние размера базы на скорость запросов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=52&msg=39974464&tid=1881097]:
 0ms
get settings:
 8ms
get forum list:
 11ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 140ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 49ms
get tp. blocked users:
 1ms
others: 346ms
total:  569ms
созд. / загр.: 569ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]