ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Помогите выбрать БД, плиз
23 сообщений из 48, страница 2 из 2
  2  все
Помогите выбрать БД, плиз
    #35822536
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
MasterZiv> Это что, ещё одна "милая привычка" MS SQL - всасывать всю таблицу в
> память при выборках? Или ты полагаешь, что автор настолько туп, что

Вообще-то это - милая привычка любой приличной СУБД.
И давно?
...
Рейтинг: 0 / 0
17.02.2009, 15:09
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823060
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
Вот так вот, двумя - тремя постами было проведено сравнение механизмов кэширования у различных СУБД.

А если серьезно, то мне бы хотелось, чтобы уважаемый Dimitry Sibiryakov был более четок в формулировках, ибо:

Dimitry Sibiryakovвсасывать всю таблицу в память при выборках

что будет всасываться - зависит от выборки,

Dimitry Sibiryakovа нормальные СУБД читают с диска только те данные, которые запросил пользователь.

и тут с неточностью, до размеров читаемых блоков и всяческих упреждающих чтений и т.п.

Хотим обсуждать технические детали - предлагаю быть корректными в высказываниях.
...
Рейтинг: 0 / 0
17.02.2009, 17:36
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823099
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
pkarklin
А если серьезно, то мне бы хотелось, чтобы уважаемый Dimitry Sibiryakov
был более четок в формулировках

Ха! Отвечать чёткими формулировками на
[quot]ежели у вас сервак на 32-х разрядной платформе, то это будет
проблематично.[/quot]
[quot]проблемы в эффективной адресации большого объема ОЗУ.[/quot]
???

Не дождётесь!
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
17.02.2009, 17:47
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823132
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
Dimitry Sibiryakov
Ха! Отвечать чёткими формулировками на
[quot]ежели у вас сервак на 32-х разрядной платформе, то это будет
проблематично.
[quot]проблемы в эффективной адресации большого объема ОЗУ.[/quot]
???

Не дождётесь!
[/quot]

Как Вам будет угодно! Но просто интересно было проследить ход Вашей мысли от 32х через INT64 к обсуждению механизмов кеширования. ;
...
Рейтинг: 0 / 0
17.02.2009, 17:58
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823149
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Dimitry Sibiryakov пишет:

> Не знаю как "приличные", а нормальные СУБД читают с диска только те
> данные, которые запросил пользователь. И недостаток памяти под кэш
> данных компенсируют выкидыванием из него старых страниц, не создавая
> "проблем".

Я полагал, что само собой разумеется, что всасываются только реально
читаемые/изменяемые пользователем данные. Из нечитаемых всасываются
только те, которые расположены на одних и тех же единицах аллокации
(страницах), что и читаемые.


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
17.02.2009, 18:06
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823166
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
pkarklin
Но просто интересно было проследить ход Вашей мысли от 32х через INT64 к
обсуждению механизмов кеширования.

Было бы чего интересного... Один сказал, что с 10 миллиардами записей на
32-х разрядной платформе будут проблемы. Я подумал, что он имеет ввиду
ограничение int32 в качестве первичного ключа, ан нет - оказалось, что
это мистические "проблемы с памятью". Я, естественно, поинтересовался
откуда могут возникнуть эти проблемы. Ответом было - использование кэша
данных. Вот и всё. Описания возможных проблем я так и не увидел.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
17.02.2009, 18:11
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823443
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AAron
Участник
кеш данных - один из примеров. если вы не знаете, что 4-байтовый указатель способен "без извращений" адресовать меньший объем ОЗУ по сравнению с 8-байтовым, то извините. можете возвращаться в эру 2-х байтовых указателей (БК, Spectrum и т.п.)
...
Рейтинг: 0 / 0
17.02.2009, 21:27
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823486
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
AAron
если вы не знаете, что 4-байтовый указатель способен "без извращений"
адресовать меньший объем ОЗУ по сравнению с 8-байтовым, то извините.

Спрашиваю ещё раз, медленно: какой СУБД 4-х байтовые указатели
могут помешать работать с таблицей, содержащей 10 миллиардов записей?
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
17.02.2009, 22:09
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823552
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Dimitry Sibiryakov пишет:

> Спрашиваю ещё раз, медленно: *какой СУБД* 4-х байтовые указатели
> могут *помешать работать* с таблицей, содержащей 10 миллиардов записей?

Отвечаю, хотя так вопрос я не ставил.

В принципе, ни в какой. И размерность машинного адреса тут не критична.
ПОтому что всё равно ВСЯ БД в память не влезет.
Но однако есть тут и некоторый "критический порог" доступного объёма
памяти, переходя который СУБД уже будет заниматься только одним обслуживанием
кэша.

Но , думаю, это не про 32bit vs 64bit.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
17.02.2009, 23:15
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823591
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AAron
Участник
Dimitry Sibiryakov
AAron
если вы не знаете, что 4-байтовый указатель способен "без извращений"
адресовать меньший объем ОЗУ по сравнению с 8-байтовым, то извините.

Спрашиваю ещё раз, медленно: какой СУБД 4-х байтовые указатели
могут помешать работать с таблицей, содержащей 10 миллиардов записей?

еще раз, медленно, эффективность 64-битных систем выше за счет более эффективной работы с памятью , но это не значит, что 32-битные (да и 16 битные) системы не способны работать с 10 млрд записей.

я уверен, что Вы прекрасно понимаете, о чем здесь идет речь и весь треп - обычный флуд и троллинг , ничего полезного в беседу не привносящий.
...
Рейтинг: 0 / 0
18.02.2009, 00:16
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823911
Gava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gava
Участник
наверное надо полностью описать структуру и назначение БД.

Итак... есть массив данных (массив - не array, просто блок данных). Всего элементов 15 000. Каждые 15 мин они изменяются. Каждый элемент имеет такие свойства - (идентификатор1, идентификатор2, параметр, дата_добавления, время_добавления) То есть всего в БД будет 5 полей. Первые 3 поля - smallint.

Была идея добавлять в БД каждые 15 мин все 15000 значений, и при обработке искать по идентификаторам.

Обработка - легкая. Идет выбока по записям с одинаковыми идентификаторами - и из их параметров считается среднее арифметическое.

вроде понятно написал....)))
...
Рейтинг: 0 / 0
18.02.2009, 10:01
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823916
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
C такими темпами у Вас 10 млрд. записей будет только через 20 лет.
...
Рейтинг: 0 / 0
18.02.2009, 10:05
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35823969
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Изопропил
Участник
А почему 5 полей, а не 4?
...
Рейтинг: 0 / 0
18.02.2009, 10:30
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35824318
Gava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gava
Участник
1) я же забочусь о будущем)))
2) не понял вопроса. если вопрос был - почему дата и время в разных полях - то это для выборок. часть будет по датам, часть по времени и т.д.
...
Рейтинг: 0 / 0
18.02.2009, 12:19
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35824404
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
Gava2) не понял вопроса. если вопрос был - почему дата и время в разных полях - то это для выборок. часть будет по датам, часть по времени и т.д.

Для этого достаточно одного поля с типом datetime.
...
Рейтинг: 0 / 0
18.02.2009, 12:44
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35826176
Sinix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sinix
Участник
А если выборка не по миллисекундам, а с точностью до двух минут - пойдёт и smalldatetime.

Ыкономим 15 000 * 4 ~ 60 кб (без учёта оверхеда структур хранения и индексов).

А если подумать - то момент внесения хранить для всех 15 000 не требуется - они заносятся у вас раз в 15 минут ведь?

Как-то схема отдаёт заточенностью под конкретный сценарий. Эдакий хронологический EAV, денормализованный ради производительности. Вам эти данные для анализа нужны ведь? Изменится частота опроса - огребётесь...

Как будут кстати данные загоняться? Bulk? Будут ли индексы и ограничения? Если будет нужен анализ и будете экономить на железе - придётся заводить ещё один сервер чисто для DWH и OLAPать по нему - регулярный балк с селектами не очень-то сочетается.

Как вариант можно ещё с разделением данных поиграться - вам же проще будет.

Сорри, если где не уловил фишку - по таким данным тяжко угадывать как-то.

ЗЫ... пора уже какой-то минимум для технических дискуссий вводить. Для MS SQL -Хендерсон + Дейт (для понтов) например.
...
Рейтинг: 0 / 0
19.02.2009, 07:25
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35826184
iv250973
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv250973
Участник
Тут это ... спор идёт о 10-ти хулиардах записей в таблице БД и 32-х разрядной платформе.
Хочу заметить, что виртуальное адресное пространство, отводимое ЛЮБОЙ операционкой процессу, ограничено 4-мя гигабайтами. из коих (ща речь веду о винде) тока 2Гб отводится под данные процесса, в случае использования AWE может быть увеличено до 3-х Гб, но никак не более. Так вот, на собственном опыте могу сказать, что ежели у вас такие большие таблицы и с ними идёт интенсивная работа с различного рода выборками, то очень даже можете наткнуться на нехватку памяти, даже в случае банальной переиндексации или изменения структуры таблицы.
...
Рейтинг: 0 / 0
19.02.2009, 07:43
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35826218
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
iv250973Хочу заметить, что виртуальное адресное пространство, отводимое ЛЮБОЙ операционкой процессу, ограничено 4-мя гигабайтами. из коих (ща речь веду о винде) тока 2Гб отводится под данные процесса, в случае использования AWE может быть увеличено до 3-х Гб, но никак не более.

Не совсем так. Для того, чтобы использовать память в отношении 3/1 - процессы/ОС никакого AWE не нужно. Достаточно ключа /3Gb в boot.ini. А вот с AWE уже будет доступно гараздо больше памяти, чем ограничения ВАП в 4 гига - до 64 гиг. Естественно, это все для 32bit.
...
Рейтинг: 0 / 0
19.02.2009, 08:36
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35826317
iv250973
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv250973
Участник
pkarklin
Не совсем так....
да, извиняюсь, запамятовал :-)
...
Рейтинг: 0 / 0
19.02.2009, 09:39
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35826328
iv250973
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv250973
Участник
P.S. правда тада нада иметь объём физической памяти больше 4Гб, поскольку страницы процирующие физ.память через AWE не могут быть выгружены в своп.
...
Рейтинг: 0 / 0
19.02.2009, 09:42
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35827349
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
iv250973
на собственном опыте могу сказать, что ежели у вас такие большие
таблицы и с ними идёт интенсивная работа с различного рода выборками, то
очень даже можете наткнуться на нехватку памяти, даже в случае банальной
переиндексации или изменения структуры таблицы.

"Имя, сестра, имя!" (с)
Какой именно сервер так делает? Мы сразу отсоветуем топикстартеру его
использовать.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.02.2009, 14:23
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35827531
Gava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gava
Участник
Dimitry Sibiryakov
Мы сразу отсоветуем топикстартеру его использовать.


если можно, то посоветуйте хоть на какие сервера смотреть на какие - нет)

для затравки- MSSQL Firebird DB2 Oracle MySQL PostgreSQL Sybase ....

желательно, если рассматривать БД, то ее бесплатный вариант))
...
Рейтинг: 0 / 0
19.02.2009, 15:09
| Ответить | Цитировать | Написать  
Помогите выбрать БД, плиз
    #35827556
iv250973
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv250973
Участник
Dimitry Sibiryakov
Какой именно сервер так делает?

Сталкивался с подобной хренью и на ms sqle(msde) и на оракле, в базе были таблиц по сотне миллионов строк.
...
Рейтинг: 0 / 0
19.02.2009, 15:16
| Ответить | Цитировать | Написать  
23 сообщений из 48, страница 2 из 2
  2  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Помогите выбрать БД, плиз
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=35823443&tid=1552988]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 41ms
get topic data:
 9ms
get forum data:
 3ms
get page messages:
 61ms
get tp. blocked users:
 1ms
others: 12ms
total:  158ms
созд. / загр.: 158ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]