powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД для временного хранения данных из бинарного файла (под Delphi).
25 сообщений из 311, страница 4 из 13
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761127
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий , поздравляю вы на границе открытия , над которым ученные мужи ломают мозги уже десятки лет.


Dimitry Sibiryakov
В случае хэш-таблицы для любого j > i выполняется условие f(Xj) > f(Xi), где f - хэш
функция. Таким образом хэш-таблица удовлетворяет определению упорядоченного множества.



Dimitry SibiryakovА вероятность коллизий ты учитываешь?


ВИКИ чтобы при малейшем изменении аргумента значение функции сильно изменялось (лавинный эффект). В частности, значение хеша не должно давать утечки информации даже об отдельных битах аргумента


Единственное осталось , избавить вашу теорию от взаимоисключающих параграфов.
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761133
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДохтаРЕдинственное осталось , избавить вашу теорию от взаимоисключающих параграфов.

Это легко: достаточно заменить "f(Xj) > f(Xi)" на "f(Xj) >= f(Xi)".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761165
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovДохтаРЕдинственное осталось , избавить вашу теорию от взаимоисключающих параграфов.

Это легко: достаточно заменить "f(Xj) > f(Xi)" на "f(Xj) >= f(Xi)".


Еще раз :

ВИКИчтобы при малейшем изменении аргумента значение функции сильно изменялось (лавинный эффект). В частности, значение хеша не должно давать утечки информации даже об отдельных битах аргумента


Корреляцию пападения в взаимоисключающие параграфы видите ?

Ваши функции туда попадают чуть более более чем со 100% вероятностью )
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761184
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
On 04/19/2012 03:41 PM, ДохтаР wrote:

> Блин , это же научное открытие :)
>
> Предлагаю срочно внести в аналы
> < http://ru.wikipedia.org/wiki/%D0%A5%D0%B5%D1%88%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5>
> , что бы не потерялось не дай Бог.
> )

Внесите!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761188
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
On 04/19/2012 03:41 PM, Dimitry Sibiryakov wrote:

> MasterZiv
> Это неверное утверждение.
>
>
> Да неужели?.. И в чём же ты видишь его неверность?

В его содержании, естественно :-)
Это утверждение ложно.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761190
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сергей АрсеньевПод сортировкой можно подразумевать получение из неупорядоченного (произвольного) множества упорядочного.
Не просто "упорядоченного", а "упорядоченного по некоему заранее заданному критерию". При этом на практике применимость того или иного алгоритма сортировки определяется в том числе спектром критериев, которые он в состоянии обслужить.

Дмитрий же делает вид, что сортировкой является упорядочивание по некоему случайному критерию, определяемому в процессе собственно упорядочивания. Как это... "Сортирую слепым методом, 14 миллиардов элементов в секунду. Только такая фигня получается" (ц)
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761193
Сергей Арсеньев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
FreimaksВ качестве ключа я попытался использовать MD5, которая считается для строки X+Y+Z+Time.
Тыб еще SHA1024 взял. Тебе не надо обратной невосстановимости, тебе скорость нужна. Возми чего попроще (хоть CRC или последовательный XOR байтов).
Ну и по хешу надо запоминать список вариантов значений полей ему уодвлетворяющий.

Хотя в твоем случае если значений полей встречаются более-менее равномерно, то хеш тут совсем не нужен. Просто запоминаешь в ассоциативном массиве [Поле1][Поле2]...
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761203
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
On 04/19/2012 03:43 PM, Freimaks wrote:

> А не подскажите как этот массив сформировать? Учитывая, что совпадающими могут
> быть 4 поля?

НУ...
я дельфы не знаю, берёшь какой-то список или динамический массив,
берёшь делаешь структуру из пар (имя - значение)
и запихиваешь в этот массив или список пары (имя - значение).

Можно имя поля не использовать, а использовать соглашение,
что например это будет массив 4 значений,
1-ое значение -- поле 1
2-ое значение -- поле 2
и так далее.

Но тогда надо везде использовать именно этот порядок полей, чтобы поля
друг с другом не путать.

Ну и массив или список должен уметь содержать значения разных типов,
эти 4 поля наверное у тебя разных типов. Я не знаю, какие есть в дельфе
структуры данных для этого, типа variant-а что=то надо.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761208
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
On 04/19/2012 03:51 PM, Dimitry Sibiryakov wrote:

> Единственное осталось , избавить вашу теорию от взаимоисключающих параграфов.
>
>
> Это легко: достаточно заменить "f(Xj) > f(Xi)" на "f(Xj) >= f(Xi)".

Давай остановимся всё же на

f(Xj) <=> f(Xi)

(где <=> -- означает естественно "меньше, равно или больше"

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761213
Freimaks
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Щас переделал так:
В Type прописал новый объект TPair, состоящий из 4 полей (X,Y,Z,Time). Завел переменную Pair:TPair;
Далее при чтении файла заполняются эти 4 поля и в TDictionary используются как ключ в виде переменной Pair. Но памяти жрет опять же немерено - на файл в 126 Мб, отъедается около 400 Мб.
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761217
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
> Тыб еще SHA1024 взял. Тебе не надо обратной невосстановимости, тебе скорость
> нужна. Возми чего попроще (хоть CRC или последовательный XOR байтов).
> Ну и по хешу надо запоминать список вариантов значений полей ему уодвлетворяющий.

Блин, ещё один. Ему надо дубликаты искать, ему нельзя никакие свёртки
использовать. Надо сами значения уникальных полей.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761225
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
> В Type прописал новый объект TPair, состоящий из 4 полей (X,Y,Z,Time).

Да, похоже маразм -- это заразное... (чур меня, чур).

> Далее при чтении файла заполняются эти 4 поля и в TDictionary используются как
> ключ в виде переменной Pair. Но памяти жрет опять же немерено - на файл в 126
> Мб, отъедается около 400 Мб.

Ну а куда деваться -то ?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761234
Сергей Арсеньев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
softwarerНе просто "упорядоченного", а "упорядоченного по некоему заранее заданному критерию".
Хотелось бы пояснить, чем просто "упорядоченного" отличается от "упорядоченного по некоему заранее заданному критерию" и возможно ли первое без второго?

Дмитрий же хотел сказать, что построение hash таблицы есть частный случай неоднозначного упорядочивания (т.е. есть элементы у которых ключи упорядочивания равены), что иначе можно назвать группировкой.

Дискутировать на эту тему можно долго. И безпонтово. Как и о том, что эффективнее дерево или hash таблица. Первое сложно строить - второе может быть неэффективно на конкретных данных.
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761241
Freimaks
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
MasterZiv> В Type прописал новый объект TPair, состоящий из 4 полей (X,Y,Z,Time).
Да, похоже маразм -- это заразное... (чур меня, чур).
> Далее при чтении файла заполняются эти 4 поля и в TDictionary используются как
> ключ в виде переменной Pair. Но памяти жрет опять же немерено - на файл в 126
> Мб, отъедается около 400 Мб.

Ну а куда деваться -то ?

Сори, если что-то пропустил - уже столько всего тут написали. А как еще действовать если не так???
Т.е. грубо говоря - этот инструмент сам удаляет дубликаты, наличие дубликатов определяется по одинаковому ключу, соответственно этот ключ надо как-то сформировать. Единственное что мне пришло в голову - считать сумму, но подсказали по поводу пар - я переделал на пары... работает пошустрее конечно, но не идеально, кто же спорит.
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761324
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MasterZivЭто утверждение ложно.
Но привести доказательство его ложности Вы, конечно же, откажетесь...

softwarerНе просто "упорядоченного", а "упорядоченного по некоему заранее заданному
критерию". При этом на практике применимость того или иного алгоритма сортировки
определяется в том числе спектром критериев, которые он в состоянии обслужить.

Дмитрий же делает вид, что сортировкой является упорядочивание по некоему случайному
критерию, определяемому в процессе собственно упорядочивания.
Э-э-э... Александр, Вы хэш-функцию считаете "случайным критерием"? Утверждаете её
недетерминированность? Или на каком ещё основании Вы утверждаете, что в процессе
построения хэш-таблицы не происходит упорядочение множества по возрастанию значения хэшей
его элементов?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761362
Сергей Арсеньев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
FreimaksА как еще действовать если не так???
Вы пробовали построить массив массивов или нет?
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761379
Bazist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovMasterZivЭто утверждение ложно.
Но привести доказательство его ложности Вы, конечно же, откажетесь...

softwarerНе просто "упорядоченного", а "упорядоченного по некоему заранее заданному
критерию". При этом на практике применимость того или иного алгоритма сортировки
определяется в том числе спектром критериев, которые он в состоянии обслужить.

Дмитрий же делает вид, что сортировкой является упорядочивание по некоему случайному
критерию, определяемому в процессе собственно упорядочивания.
Э-э-э... Александр, Вы хэш-функцию считаете "случайным критерием"? Утверждаете её
недетерминированность? Или на каком ещё основании Вы утверждаете, что в процессе
построения хэш-таблицы не происходит упорядочение множества по возрастанию значения хэшей
его элементов?


В данном случае, единственное требование к хешфункции это более-менее равномерное распределение значений по диапазону,
что исключит частые коллизии.

Поэтому хеш от 1 может быть 45456456, а от 1000000000 может быть 54,
никаких требований "для сортировки" у хешфункции нет и быть не может.
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761385
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сергей АрсеньевХотелось бы пояснить, чем просто "упорядоченного" отличается от "упорядоченного по некоему заранее заданному критерию" и возможно ли первое без второго?
Конечно, возможно. Представьте себе, например, что мы вставили в некую таблицу 100 записей и затем выбираем их select-ом. Мы увидим их в каком-то порядке, но отсортирована ли выборка?

Сергей Арсеньев Дмитрий же хотел сказать, что построение hash таблицы есть частный случай неоднозначного упорядочивания
Дмитрий хотел сказать, что автомобиль содержит лошадиные силы и поэтому его утверждение, что мы постоянно ездим на лошадях, вполне истинно.
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761397
Сергей Арсеньев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BazistВ данном случае, единственное требование к хешфункции это более-менее равномерное распределение значений по диапазону,
что исключит частые коллизии.
Если быть точным, то лучше сформировать другое требование: время вычисления хеш функции и поиска записи ей соответствующей должно чаще всего быть меньше времени перебора коллизий.
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761401
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
softwarerПредставьте себе, например, что мы вставили в некую таблицу 100 записей и затем выбираем
их select-ом. Мы увидим их в каком-то порядке, но отсортирована ли выборка?

rownum в ней монотонно возрастает, нет?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761405
Сергей Арсеньев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
softwarerМы увидим их в каком-то порядке, но отсортирована ли выборка?
Вопрос не менее мощный чем основной вопрос философии (ну тот, про курицу и яйцо).
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761408
Сергей Арсеньев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakovrownum в ней монотонно возрастает, нет?..
Дмитрий, тут Вы перегинаете палку - отсортированный, это не тот который в определенном порядке, это тот, который отсортировали.
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761422
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сергей Арсеньевотсортированный, это не тот который в определенном порядке, это тот, который отсортировали.

<sarkazm on>Вы ещё добавьте "методом пузырька"...<sarkazm off>
Зачем такие ограничения на процесс? Главное - результат.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761440
Freimaks
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Сергей АрсеньевFreimaksА как еще действовать если не так???
Вы пробовали построить массив массивов или нет?
Чтобы не вводить в заблуждение, признаюсь - я даже не знаю что это такое.
...
Рейтинг: 0 / 0
СУБД для временного хранения данных из бинарного файла (под Delphi).
    #37761448
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovЭ-э-э... Александр, Вы хэш-функцию считаете "случайным критерием"?
Да, безусловно.

Dimitry SibiryakovУтверждаете её недетерминированность?
Её (не)детерминированность не имеет отношения к моему утверждению. Не надо демагогически подменять тему, ни здесь, ни в следующем предложении.

Dimitry SibiryakovИли на каком ещё основании Вы утверждаете,
На том основании, что когда я смотрю на данные, например

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
SQL> select object_id, object_name, object_type, last_ddl_time
  2  from dba_objects
  3  where last_ddl_time > date '2010-04-03' and rownum <= 10;
 
 OBJECT_ID OBJECT_NAME          OBJECT_TYP LAST_DDL_TIME
---------- -------------------- ---------- --------------------
       723 STREAMS$_DEF_PROC    TABLE      08.04.2011 12:35:53
       910 OLAP_DESCRIPTIONS$   TABLE      08.04.2011 12:35:53
      1138 IDGEN1$              SEQUENCE   08.04.2011 12:32:49
      4891 DBMS_LOCK            PACKAGE    14.03.2012 11:15:53
      5048 UTL_RECOMP_SORTED    TABLE      08.04.2011 12:36:22
      5049 UTL_RECOMP_COMPILED  TABLE      08.04.2011 12:36:22
      6174 WRH$_FILESTATXS      TABLE      18.04.2012 23:34:22
      6198 WRH$_SQLSTAT         TABLE      18.04.2012 23:34:23
      6221 WRH$_SYSTEM_EVENT    TABLE      18.04.2012 23:34:24
      6233 WRH$_WAITSTAT        TABLE      18.04.2012 23:34:24

я могу сказать, к какому результату приведёт сортировка по тому или иному (простому) критерию. Например, я знаю, какой результат даст сортировка по полю OBJECT_NAME, не зная при этом деталей реализации алгоритма сортировки и допуская замену его на какой-либо другой.

Когда я дам Вам интерфейс к некоей реализации хэш-таблицы, и

Вы сможете предсказать, как она упорядочит данные

Вы сможете, опираясь на неё и без использования других средств сортировки отсортировать данные, например, по полю OBJECT_NAME

Ваша реализация выдержит замену хэш-таблицы на другую с тем же интерфейсом и другой реализацией

Вы убедительно докажете, что хэширование является сортировкой. Поскольку это Вам не под силу - я имею полное основание утверждать, что Вы в очередной раз занимаетесь безответственным словоплётством.
...
Рейтинг: 0 / 0
25 сообщений из 311, страница 4 из 13
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД для временного хранения данных из бинарного файла (под Delphi).
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]