|
|
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Приветствую. Напомните плиз, вызов HASH() для бинарного блоба не несет за собой каких-то подводных камней? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 14:37 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
DarkMaster, вроде нет, кроме того что текущая HASH использует не очень качественный алгоритм хеширования В 4.0 можно использовать более криптографические алгоритмы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 14:40 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Симонов Денис, Спасибо. Ну у меня собственно задача обеспечения уникальности хэша не стоит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 14:43 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Прочитал "более криптографические", подумал про себя "более криптостойкие". Прочитал далее о низких требованиях к уникальности хэша и понял, что ничего из вашего диалога не понял. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 16:34 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
WildSery, Да там все просто - есть файлы, которые пользователи у меня пихают в БД через web морду. У разных пользователей эти файлы могут быть идентичны. Эти файлы (в базе - блобы) потом отдаются на обработку внешнему сервису, за который мы платим денежку. Чтобы немного снизить количество обращений к сервису с уже обработанными (такими же загруженными ранее файлами) - хочу прикрутить HASH() рядом с блобом. Т.е. по размеру файла + хэшу я просто проверяю, не был ли раньше уже загружен такой же файл и нужно ли его отдавать на обработку сервису или достаточно достать уже обработанные результаты. Думаю для этого уникальности HASH() хватит. Если не хватит - прикручу что-то еще. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 16:49 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
DarkMaster, Для описанной задачи уникальность хеша как раз ОЧЕНЬ поможет. Поскольку увидев, что на сервере уже лежит файл с таким же хешем, его обязательно надо скачать, и сравнить уже побайтово у себя. Чем больше коллизий - тем больше скачивать файлов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 16:55 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
WildSeryDarkMaster, Для описанной задачи уникальность хеша как раз ОЧЕНЬ поможет. Поскольку увидев, что на сервере уже лежит файл с таким же хешем, его обязательно надо скачать, и сравнить уже побайтово у себя. Чем больше коллизий - тем больше скачивать файлов. Помойму это будет настолько редко, что этой лишней работой можно пренебречь. Разве что из любви к искусству. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:06 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
....а можно два хэша держать, например какая вероятность, что одновременно совпадут размер, md4 и sha256 (да, беру устаревшие хэши, для демонстрации)? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:17 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Ariochкакая вероятность, что одновременно совпадут размер, md4 и sha256 (да, беру устаревшие хэши, для демонстрации)? Ненулевая. Но если аффтару этого достаточно... Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:20 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Arioch, какая разница в Firebird до 4.0 нет ни того ни другого DarkMasterДумаю для этого уникальности HASH() хватит. коллизии всё равно будут, но раз цель не полностью убрать повторную обработку, а лишь снизить количество обращений к сервису, то пойдёт ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:22 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Симонов Денискакая разница в Firebird до 4.0 нет ни того ни другого UDF же.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:24 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Arioch, ну раз UDF то алгоритм можно любой использовать, необязательно "устаревший" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:27 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Симонов Денисколлизии всё равно будут, но раз цель не полностью убрать повторную обработку, а лишь снизить количество обращений к сервису... то не выйдет. Если хэши разные, то файлы гарантированно отличаются, но если хэши одинаковые, то файлы надо проверить по-байтово. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:30 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov, ключевое слово здесь снизить, а не исключить. Если надо совсем исключить, то ты прав ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:36 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Basil A. SidorovСимонов Денисколлизии всё равно будут, но раз цель не полностью убрать повторную обработку, а лишь снизить количество обращений к сервису... то не выйдет. Если хэши разные, то файлы гарантированно отличаются, но если хэши одинаковые, то файлы надо проверить по-байтово. Повторяю. Мне НЕ нужен 100% уникальный хэш. Если будет 1-2-10 ложных срабатываний на 10000 - меня это вполне устроит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:42 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
DarkMasterПовторяю. Мне НЕ нужен 100% уникальный хэш. Если будет 1-2-10 ложных срабатываний на 10000 - меня это вполне устроит. То есть тебя устраивает, что для 1-2-10 файлов результаты обработки будут неправильные?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:47 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
ой блин. Протупил и правда не выйдет. Хеши одинаковые, размеры одинаковые, но файлы разные. Новый файл не закачен ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:50 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovDarkMasterПовторяю. Мне НЕ нужен 100% уникальный хэш. Если будет 1-2-10 ложных срабатываний на 10000 - меня это вполне устроит. То есть тебя устраивает, что для 1-2-10 файлов результаты обработки будут неправильные?.. Меня устраивает их повторная обработка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:52 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
DarkMasterПовторяю. Мне НЕ нужен 100% уникальный хэш. Если будет 1-2-10 ложных срабатываний на 10000 - меня это вполне устроит.Тогда вполне. Думаю, будет меньше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:54 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
DarkMasterDimitry Sibiryakovпропущено... То есть тебя устраивает, что для 1-2-10 файлов результаты обработки будут неправильные?.. Меня устраивает их повторная обработка. У тебя будут ложные отказы, а не ложные срабатывания. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:55 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Ребят, вы куда-то не в ту степь поскакали :) Мне просто нужно проверить в первом приближении , обрабатывался уже файл или нет. В любом случае есть вариант "обработать принудительно". Пользователя же просто спрашивают "смотри, вот тут у нас уже что-то похожее есть" - это оно? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:56 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Котовасия, Если обработка занимает заметно больше скачки/закачки, то плюс будет заметный. Если нет - то только лишний геморрой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:56 |
|
||
|
Применение HASH()
|
|||
|---|---|---|---|
|
#18+
Котовасия У тебя будут ложные отказы, а не ложные срабатывания. Ой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.04.2018, 17:57 |
|
||
|
|
start [/forum/topic.php?fid=40&fpage=35&tid=1561183]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
34ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
62ms |
get tp. blocked users: |
2ms |
| others: | 10ms |
| total: | 152ms |
| 0 / 0 |
