powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Группировка в больших таблицах?
15 сообщений из 40, страница 2 из 2
Группировка в больших таблицах?
    #33537511
4321
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хозяин - барин.
Но я таки не понимаю применения методов, требующих фулл скана, там где достаточно затопить на основе каунта (во вспомогательном запросе, расчитывающем занчения ключей в точках разбиения таблицы). Но и это все одно - не в тему, а около сомнительной идеи чего-то там разбиения. Ибо тартиться на (пере)запись - это даже суровее, чем на скан.


правильно ли я понимаю, что вы не влезаете в 1(2)Гиг таблиц, который отпущен мдб по спецификации (и делите табличку между несколькими мдб)? Да или нет?
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33537556
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дык вот! Таблица - ежели все в одну свалить - получается 900 с чем-то Мег, а групировать ее Access уже отказывается!

В смысле - не ругается, а задумывается сурьезно.
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33537575
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
4321 затопить на основе каунта (во вспомогательном запросе, расчитывающем значения ключей в точках разбиения таблицы) ...
- нету! Не получается проиндексировать единую таблицу.
(Это - разъяснение к предыдущему)
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33537611
4321
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS В смысле - не ругается, а задумывается сурьезно.дык может запрос так составлен? А могабыть ему и подумать надо (т.е. кол-во операций там таки весьма велико)? Или вы думаете, что он выбирает память и начинает активно свопить результаты вычислений?
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33537616
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
4321расчитывающем занчения ключей в точках разбиения таблицы
- да в ней и ключа-то - в точном смысле - быть не может, если мы в нее сваливаем "сырые" записи для последующей группировки!
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33537632
4321
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS - да в ней и ключа-то - в точном смысле - быть не может, если мы в нее сваливаем "сырые" записи для последующей группировки!гым. вот сиди и интуичь,что за сырьмо и как вы гребете.

хорошо - пентературю, и на другие подвиги не способен. а так - хоть какое развлечение, + польза (а как самому чо понадобицца).
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33537684
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
4321[quot Иван FXS] Или вы думаете, что он выбирает память и начинает активно свопить результаты вычислений?
- как раз наоборот: ему не удается оперативку загрузить хоть сколько-нибудь заметно (при том, что ему никто не мешает!). Я поэтому и понимаю, что - кранты ...
При том, что и винчестер не "скрипит", то есть - вообще ничего не движется!
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33537705
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
4321 Иван FXS сваливаем "сырые" записи для последующей группировки!гым. вот сиди и интуичь,что за сырьмо и как вы гребете.
- а что не понятно-то? Сваливаем записи - для того, чтобы ПОТОМ произвести группировку. То есть - в полях, по которым будем группировать, значения повторяются ... Иначе - какой смысл группировать-то?

Значит - откуда возьмется ключ ... уникальный?
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33537723
4321
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS - а что не понятно-то? а все непонятно. например зачем вам ключ, если вы его не пользуете. Только для дележа? А не жирно ли?
например, что за группирующий запрос. Например у вас там манюсенький джойн прописан по гигабайтной таблице без индексов. И что , вы надеетесь что акс его (джойн) перелопатит в обозримое время?

короче, а не привести ли вам свои потуги в текстах, т.с. Вот оно бы и прояснело.
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33537982
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, я кажется несколько раз слово "ключ" употребил не очень аккуратно: имелся в виду не уникальный индекс в ИСХОДНОЙ таблице (таблицах), а поля (К1 и К2) по которым нужно произвести группировку.

В таблице-результате группировки занчения полей, по коим эта группировка производилась, становятся ведь уникальными, так что эти поля - в этой таблице-результате группировки можно ДЕЛАТЬ ключом, а значит, можно и НАЗЫВАТЬ ключом ... Понятно выразился?
__________________________________

Группирующий запрос:
SELECT К1, К2, Агрегация(всяческие характеристик )
FROM [TTTTT]
GROUP by К1, К2

- где TTTTT - некий набор таблиц, в которых присутсвует множество цеклочисленных полей, которые можно - попарно - интерпрентировать как пару (К1, К2).
___________________________________

Конкретно TTTTT это все - N-грамы словарные, в которых слова уже закодированы целыми числами (читай - пронумерованы); вместе с всяческими частотными характеристиками этих N-грам.

N-грамы записаны - в 7 таблицах: от Би-грам до 8-грам.

Смысл задачи - вычисление попарной "ассоциированности" слов.
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33538032
4321
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS FROM [TTTTT]
GROUP by К1, К2

- где TTTTT - некий набор таблиц, в которых присутсвует множество цеклочисленных полей, которые можно - попарно - интерпрентировать как пару (К1, К2).
___________________________________
гм. а знает ли многоуважаемый джин слова "декартово произведение"? А представляет ли он себе размер множества произведения (квази) гигабайтных таблиц?

воистинну, чудны дела твои оспидя
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33538044
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, да, - все знаю. Я работаю с РЕАЛЬНЫМИ, а не с АБСТРАКТНЫМИ таблицами. И хотя я их настойчиво пополняю, - из ушей компьютера они пока еще не полезли.

Кстати, там выше, я соврал нечаяно: 16 мульенов - это количство N-грам (разных; сегодня) в моих таблицах. А словарный (словоформный реально) зоопарк у меня существенно скромнее: со всем мусором - меньше полутора мульенов.
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33538055
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Add : "реальными" означает, что декартовым произведением я ... того - не балуюсь.
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33538073
4321
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSДа, да, - все знаю. Я работаю с РЕАЛЬНЫМИ, а не с АБСТРАКТНЫМИ таблицами. И хотя я их настойчиво пополняю, - из ушей компьютера они пока еще не полезли.при чем тут реальность или абстрактность? !!!!


если вы говорите
SELECT ...
FROM a,b
GROUP BY a.af, b,bf
- вы вычисляете группировку по множеству называемому декартовым произведение a на b. Если перечень таблиц у вас шире, (a,b,c,d) то и размер множества будет много больше.
Таки стоит усечь группируемое мн-во заранее, и очень серьезно (предложением WHERE ,а совсем таки не HAVING)

и т.д. и т.п.
...
Рейтинг: 0 / 0
Группировка в больших таблицах?
    #33538116
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, извините, я неправильно Вам ответил! Ответ должен звучать:

при чем здесь "декартово произведение таблиц", у меня - в обсужаемых запросах - нет вообще никаких JOIN-ов!
...
Рейтинг: 0 / 0
15 сообщений из 40, страница 2 из 2
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Группировка в больших таблицах?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]