|
|
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
хозяин - барин. Но я таки не понимаю применения методов, требующих фулл скана, там где достаточно затопить на основе каунта (во вспомогательном запросе, расчитывающем занчения ключей в точках разбиения таблицы). Но и это все одно - не в тему, а около сомнительной идеи чего-то там разбиения. Ибо тартиться на (пере)запись - это даже суровее, чем на скан. правильно ли я понимаю, что вы не влезаете в 1(2)Гиг таблиц, который отпущен мдб по спецификации (и делите табличку между несколькими мдб)? Да или нет? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 15:49 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
Дык вот! Таблица - ежели все в одну свалить - получается 900 с чем-то Мег, а групировать ее Access уже отказывается! В смысле - не ругается, а задумывается сурьезно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 15:57 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
4321 затопить на основе каунта (во вспомогательном запросе, расчитывающем значения ключей в точках разбиения таблицы) ... - нету! Не получается проиндексировать единую таблицу. (Это - разъяснение к предыдущему) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 16:02 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
Иван FXS В смысле - не ругается, а задумывается сурьезно.дык может запрос так составлен? А могабыть ему и подумать надо (т.е. кол-во операций там таки весьма велико)? Или вы думаете, что он выбирает память и начинает активно свопить результаты вычислений? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 16:10 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
4321расчитывающем занчения ключей в точках разбиения таблицы - да в ней и ключа-то - в точном смысле - быть не может, если мы в нее сваливаем "сырые" записи для последующей группировки! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 16:11 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
Иван FXS - да в ней и ключа-то - в точном смысле - быть не может, если мы в нее сваливаем "сырые" записи для последующей группировки!гым. вот сиди и интуичь,что за сырьмо и как вы гребете. хорошо - пентературю, и на другие подвиги не способен. а так - хоть какое развлечение, + польза (а как самому чо понадобицца). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 16:14 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
4321[quot Иван FXS] Или вы думаете, что он выбирает память и начинает активно свопить результаты вычислений? - как раз наоборот: ему не удается оперативку загрузить хоть сколько-нибудь заметно (при том, что ему никто не мешает!). Я поэтому и понимаю, что - кранты ... При том, что и винчестер не "скрипит", то есть - вообще ничего не движется! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 16:26 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
4321 Иван FXS сваливаем "сырые" записи для последующей группировки!гым. вот сиди и интуичь,что за сырьмо и как вы гребете. - а что не понятно-то? Сваливаем записи - для того, чтобы ПОТОМ произвести группировку. То есть - в полях, по которым будем группировать, значения повторяются ... Иначе - какой смысл группировать-то? Значит - откуда возьмется ключ ... уникальный? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 16:31 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
Иван FXS - а что не понятно-то? а все непонятно. например зачем вам ключ, если вы его не пользуете. Только для дележа? А не жирно ли? например, что за группирующий запрос. Например у вас там манюсенький джойн прописан по гигабайтной таблице без индексов. И что , вы надеетесь что акс его (джойн) перелопатит в обозримое время? короче, а не привести ли вам свои потуги в текстах, т.с. Вот оно бы и прояснело. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 16:36 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
Да, я кажется несколько раз слово "ключ" употребил не очень аккуратно: имелся в виду не уникальный индекс в ИСХОДНОЙ таблице (таблицах), а поля (К1 и К2) по которым нужно произвести группировку. В таблице-результате группировки занчения полей, по коим эта группировка производилась, становятся ведь уникальными, так что эти поля - в этой таблице-результате группировки можно ДЕЛАТЬ ключом, а значит, можно и НАЗЫВАТЬ ключом ... Понятно выразился? __________________________________ Группирующий запрос: SELECT К1, К2, Агрегация(всяческие характеристик ) FROM [TTTTT] GROUP by К1, К2 - где TTTTT - некий набор таблиц, в которых присутсвует множество цеклочисленных полей, которые можно - попарно - интерпрентировать как пару (К1, К2). ___________________________________ Конкретно TTTTT это все - N-грамы словарные, в которых слова уже закодированы целыми числами (читай - пронумерованы); вместе с всяческими частотными характеристиками этих N-грам. N-грамы записаны - в 7 таблицах: от Би-грам до 8-грам. Смысл задачи - вычисление попарной "ассоциированности" слов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 18:02 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
Иван FXS FROM [TTTTT] GROUP by К1, К2 - где TTTTT - некий набор таблиц, в которых присутсвует множество цеклочисленных полей, которые можно - попарно - интерпрентировать как пару (К1, К2). ___________________________________ гм. а знает ли многоуважаемый джин слова "декартово произведение"? А представляет ли он себе размер множества произведения (квази) гигабайтных таблиц? воистинну, чудны дела твои оспидя ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 18:20 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
Да, да, - все знаю. Я работаю с РЕАЛЬНЫМИ, а не с АБСТРАКТНЫМИ таблицами. И хотя я их настойчиво пополняю, - из ушей компьютера они пока еще не полезли. Кстати, там выше, я соврал нечаяно: 16 мульенов - это количство N-грам (разных; сегодня) в моих таблицах. А словарный (словоформный реально) зоопарк у меня существенно скромнее: со всем мусором - меньше полутора мульенов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 18:27 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
Add : "реальными" означает, что декартовым произведением я ... того - не балуюсь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 18:30 |
|
||
|
Группировка в больших таблицах?
|
|||
|---|---|---|---|
|
#18+
Иван FXSДа, да, - все знаю. Я работаю с РЕАЛЬНЫМИ, а не с АБСТРАКТНЫМИ таблицами. И хотя я их настойчиво пополняю, - из ушей компьютера они пока еще не полезли.при чем тут реальность или абстрактность? !!!! если вы говорите SELECT ... FROM a,b GROUP BY a.af, b,bf - вы вычисляете группировку по множеству называемому декартовым произведение a на b. Если перечень таблиц у вас шире, (a,b,c,d) то и размер множества будет много больше. Таки стоит усечь группируемое мн-во заранее, и очень серьезно (предложением WHERE ,а совсем таки не HAVING) и т.д. и т.п. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2006, 18:36 |
|
||
|
|
start [/forum/search_topic.php?author=Alfer&author_mode=last_topics&do_search=1]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
get settings: |
7ms |
get forum list: |
14ms |
get settings: |
10ms |
get forum list: |
18ms |
get settings: |
7ms |
get forum list: |
12ms |
get settings: |
9ms |
get forum list: |
17ms |
get settings: |
9ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
139ms |
get topic data: |
8ms |
get first new msg: |
4ms |
get forum data: |
2ms |
get page messages: |
53ms |
get tp. blocked users: |
1ms |
| others: | 5088ms |
| total: | 5435ms |
| 0 / 0 |
