Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / ASE15 Партиции / 7 сообщений из 7, страница 1 из 1
12.11.2010, 14:05
    #36951732
yourij_mw
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASE15 Партиции
Привет!. Вопрос по ASE15. Срочно нужно дать ответ руководству относительно нужности или ненужности партиций .
То есть стоит ли покупать это?, Вопрос немалых денег. По неизбежным моментам купить мы можем только сейчас, и не позже.
Тоесть ответ нужно дать прямо вот сейчас. Времени проводить експерименты нету. А я так и не разобрался.
Ну есть у нас 3 болиших аналитических таблиц по 170,50,11 мил.
Насколько сильны приемущества партиционирования? Ну поделим мы таблицу по кварталам допустим.
Я не очень уверен, но по тому представлению которе имею достаточно давно, если к примеру выбирать данные за месяц по индексу в котором участвет дата, то разницы большой не будет, Тоесть выбираю я данные за прошлую неделю с таблицы в которой 200 млн записей и данные за 5 лет или с таблицы в котой 20 млн., где данные за пол года. Количество строк неделю ведь одно и тоже.
Близко ли мое представление к истине, и также вывод , что самая большая доля приемуществ от партиций будет приходится на те случаи где используется индекс не с датой (индекс по коду товара или покупателю) , но дата также участвует в поиске?

Спасибо, очень жду ваших ответов.
...
Рейтинг: 0 / 0
12.11.2010, 14:46
    #36951861
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASE15 Партиции
On 12.11.2010 14:05, yourij_mw wrote:

> Привет!. Вопрос по ASE15. Срочно нужно дать ответ руководству относительно
> нужности или ненужности партиций .
> То есть стоит ли покупать это?, Вопрос немалых денег. По неизбежным моментам
> купить мы можем только сейчас, и не позже.
> Тоесть ответ нужно дать прямо вот сейчас. Времени проводить експерименты нету. А
> я так и не разобрался.

Так это от вашей БД зависит, от ваших данных и ваших запросов, от приложения.
Кто ж это кроме вас-то знает ?

> Ну есть у нас 3 болиших аналитических таблиц по 170,50,11 мил.
> Насколько сильны приемущества партиционирования? Ну поделим мы таблицу по
> кварталам допустим.

Запросы к отдельным кварталам есть ?

Есть запросы, которые скажем 20% данных из таблицы этой используют,
и эти данные как-то можно выделить (по дате, году и пр) ?


> Я не очень уверен, но по тому представлению которе имею достаточно давно, если к
> примеру выбирать данные за месяц по индексу в котором участвет дата, то разницы
> большой не будет, Тоесть выбираю я данные за прошлую неделю с таблицы в которой
> 200 млн записей и данные за 5 лет или с таблицы в котой 20 млн., где данные за
> пол года. Количество строк неделю ведь одно и тоже.

Это если индекс не используется, то разницы нет. А если ты из 20 млн по индексу
выбираешь 100, разница будет очень существенная. Правда, партицирование тут ни
при чём.

> Близко ли мое представление к истине,

Пока ничего светлого в мыслях твоих не вижу.

и также вывод , что самая большая доля
> приемуществ от партиций будет приходится на те случаи где используется индекс не

Партицирование может помочь запросам как с индексом, так и без индексов.
Вопросы конкретной пользы очень сложны, чтобы о них можно было бы говорить
так вот абстратно и в общем.

> с датой (индекс по коду товара или покупателю) , но дата также участвует в поиске?

Не только по датам можно партицировать. Условия произвольны.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
12.11.2010, 17:06
    #36952292
yourij_mw
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASE15 Партиции
MasterZiv

Это если индекс не используется, то разницы нет. А если ты из 20 млн по индексу
выбираешь 100, разница будет очень существенная. Правда, партицирование тут ни
при чём.



Наверное тут Вы меня не правильно поняли.
Тут я имел ввиду тот момент, что скорость поиска строки в таблице падает по логарифмическому закону, (ну я так понял когда-то).
Следовательно ищу я одно и то самое количесвто строк но в разных по размеру таблицах.
И по идее не большая беда в том, что в таблице данные за несколько прошлых лет, так выбираются данные по индексу, и их записи строго периоди никто не читает.

Я вижу паралель между партициями и горизонтальным разбиением данных.

Когда-то я задавал вопрос по эфективности горизонтального разбиениия.
/topic/579923&hl=
И на мой вопрос "
> Хотелось бы знать каие выгоды ,помимо связанных с размером таблицы и бд,
> можем получить в противовес трудностям
" тут имелось ввиду выгоды от горизонтльного разбиения
Вы ответили
"А какие выгоды связаны с размером таблиц ?
Я думаю - никаких доп. выгод нет.
"
На вопрос , о том как приблизительно вычислить выигрыш от уменьшения размера таблицы ,
Вы еще раз повторились, сказав
"по-моему , их нет, этих выгод. Если конечно вы все свои данные
не table scan-ами обрабатываете.
"
+ дали такое
"
Было N записей в таблице, после отделения станет n (N>n).
Выигрыш в скорости будет log(n) / log(N) раз.
"
использовав это для своих данных я получил значение +3% выиграша.

Подводя итог скажу, что мог Вас тогда и сечас не правильно понять или Вы меня. Теперь я провожу паралель с горизонтальным разбиением, потому как предполагаю, что оно уместно, но может я и тут не до конца прав.

Естественно запросы у нас разные, но в основном у нас выбириются за месяц.
В таблице теперь данные за 3 года. но только потому что данные за 2.5 года мы перенесли в отдельную базу, так было бы 5,5.

"
Близко ли мое представление к истине, и также вывод , что самая большая доля приемуществ от партиций будет приходится на те случаи где используется индекс не с датой (индекс по коду товара или покупателю) , но дата также участвует в поиске?
"
Тут я имел ввиду то что, потому как, в одной из аналитических таблиц много атрибутов по которым производится поиск - отсутсвует много сложных индексов с датой, которые бы пригодились. Но тут бы помогло партициирование по дате.
Например в таблице продаж есть дата продажи, товар, покупатель, торговый представитель .
есть индексы по этим полям по отдельности плюс сложный индекс по товар + дата продажи, но нет сложного индекса по торговый представитель + дата продажи.
Исходя из этого , если иметь парт. таблицу по дате с достаточно большим количеством партиций, то скорость запроса по продажам за месяц по торговому представителю может быть существенно выше.
...
Рейтинг: 0 / 0
12.11.2010, 17:13
    #36952309
yourij_mw
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASE15 Партиции
Теперь вот к чему я веду.., и какой вопрос для меня сейчас важен.
Если я теперь создам тот индекс по дате и торговому представителю, и по всем интересующим атрибутам , и если не брать во внимание выгоды от паралелелизма, производилтельность select догонит варианты с партициями.?
...
Рейтинг: 0 / 0
12.11.2010, 18:04
    #36952458
do not remember
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASE15 Партиции
yourij_mw,

Партиционировать в ASE 15 можно не только данные в таблице, но и индексы тоже (Local clustered, local nonclustered indexes).
http://infocenter.sybase.com/help/topic/com.sybase.infocenter.dc32300.1550/html/sqlug/sqlug459.htm
...
Рейтинг: 0 / 0
13.11.2010, 09:27
    #36953323
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASE15 Партиции
Дорогой товарищь yourij_mw,
мы не знаем ни структуры твоей БД, ни раскладки данных, ни что там у тебя за запрос.
Это знаешь только ты и возможно твои коллеги.

Тебе надо

1) попросить 15 ASE со временной лицензией ДО ПОКУПКИ у Sybase CIS (думаю дадут)
или поставить dev edition (с этого можно и начать, всё равно данные переливать долго).

2) поставить 15, перелить туда базы.

3) замерить производительность твоих запросов без партицирования (или можно это сделать на
старом сервере).

4) сделать партицирование, какое там вам нужно, заставить его работать и замерить производительность.

5) после этого решать, что вам лучше.


Замечу ещё что:

0) это всё нужно проделать очень тщательно и с пониманием дела, иначе это вообще всё не имеет смысла делать. Т.е. просто ливануть БД на 15-ку и посмотреть, что всё работает хреново, не имеет смысла, её надо будет хорошенько оттьюнить под вашу БД, добиться, чтобы всё хорошо работало. Для этого кстати и тесты нужны, не абстрактные, а имитирующие работу ВАШЕГО приложения. На это уйдёт много времени.

1) на 15-ку в любом случае нужно переходить по хорошему, т.к. 12.5 уже end of lifed.

2) Sybase CIS вполне могут в этих работах вам помочь, хотя я конечно за них не могу отвечать, и они не сделают всю работу за вас, вместо вас, только вместе с вами.

В общем успехов.
...
Рейтинг: 0 / 0
14.11.2010, 21:13
    #36955783
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASE15 Партиции
yourij_mw
Тут я имел ввиду тот момент, что скорость поиска строки в таблице падает по логарифмическому закону, (ну я так понял когда-то).


Скорость поиска вообще-то не меняется никогда. Время поиска в таблице -- падает с ростом таблицы.
По индексу как f(log N) , без -- как f( N )

yourij_mw
Я вижу паралель между партициями и горизонтальным разбиением данных.

партиции -- это и етсь горизонтальное разбиение, только выполняемое автоматом
сервером.


yourij_mw
Было N записей в таблице, после отделения станет n (N>n).
Выигрыш в скорости будет log(n) / log(N) раз.
"
использовав это для своих данных я получил значение +3% выиграша.


Ну да, так и есть.

yourij_mw
Естественно запросы у нас разные, но в основном у нас выбириются за месяц.
В таблице теперь данные за 3 года. но только потому что данные за 2.5 года мы перенесли в отдельную базу, так было бы 5,5.


как бы партицирование полезно, когда таблицы уже очень-очень большие, и
-- время поиска по индексу уже неприемлимо большое (оно растёт за счёт того, что индекс растёт в высоту)
-- кроме поиска по индексу есть ещё и сканы.


yourij_mw
Исходя из этого , если иметь парт. таблицу по дате с достаточно большим количеством партиций, то скорость запроса по продажам за месяц по торговому представителю может быть существенно выше.

Главное понимать, что условие партицирования должно быть в каждом запросе, иначе будут обрабатываться все партиции.
...
Рейтинг: 0 / 0
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / ASE15 Партиции / 7 сообщений из 7, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]