Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
04.01.2016, 10:57
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
Есть куча записей с привязанными к ним URL. Записи не должны дублироваться - по одной записи на URL. За сим вопрос, какой ключ лучше выбрать - задавать UNIQUE сразу по URL, делать с него MD5 в качестве уникального ключа или есть варианты ключей получше, о которых я не в курсе, не сильно бьющие по перфомансу при их вычислении? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 11:14
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
QuAzI_NODEделать с него MD5 в качестве уникального ключане надо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 12:01
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
Одноклассник Императора, Почему? Поиск по 16-байтовому полю будет дольше, чем поиск по тексту рандомной длины? Записей ОЧЕНЬ много, поэтому перфоманс важен, иначе бы не было и вопроса ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 12:16
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
QuAzI_NODE, Ладно, начнём издалека. Вы, уважаемый новичок (а вы ведь новичок, не так ли?), знаете ли что такое MD5 ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 12:36
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
Одноклассник Императора, Более-менее уникальный хэш, который в данном случае будет вычисляться добавляющим запись клиентом, не средствами СУБД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 13:16
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
QuAzI_NODEПоиск по 16-байтовому полю будет дольше, чем поиск по тексту рандомной длины? Нет. Но и быстрее он тоже не будет. QuAzI_NODEЗаписей ОЧЕНЬ много, поэтому перфоманс важен, иначе бы не было и вопроса "ОЧЕНЬ много" это сколько миллиардов? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 13:34
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
QuAzI_NODEделать с него MD5 в качестве уникального ключа вощем я хотел плавно подвести вас к мысли, что ни хрена MD5 не уникальный, и запросто может оказаться, что md5(одной строки)=md5(совсем другой строки) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 13:47
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
Dimitry Sibiryakov, Почему быстрее не будет? Меньше ярда, я ж не гуголь (пока ещё ;-) ), но MySQL и MS SQL начинают знатно тупить при вставке уже на миллионе, а у меня по боле будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 13:48
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
Одноклассник Императора, В принципе что-то в этом есть. Хотя пока не попадалось таких радостей. Но как тогда иначе это дело маленько оптимизировать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 14:23
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
QuAzI_NODEПочему быстрее не будет? Потому что индексы так устроены. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 15:33
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
QuAzI_NODE, Использовать Md5 + identity ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 15:36
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
DarkMaster, Хотя стоп, походу фигню сморозил. Identity не спасет от коллизии по md5 сумме. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 15:38
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
DarkMasterQuAzI_NODE, Использовать Md5 + identity ? То ли я не понял, то ли одно из двух. Как будет выглядеть реализация оного? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 15:48
|
|||
|---|---|---|---|
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
QuAzI_NODEМеньше ярдаА поточнее? Использование MD5, возможно, и имеет смысл. Но, чтобы понять это, нужны подробности. И, кстати, уникальность URL определяется строго по его тексту или как-то еще? Например, для веб-сайта следующие URL-ы будут идентичными по сути, несмотря на текстовое расхождение: http://site.ru/page.php?a=1&b=2 http://site.ru/page.php?b=2&a=1 http://site.ru/page.php?a=1&b=2#ttt ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 15:59
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
miksoft, >6260000 записей и будет расти 18567167 Определяются сейчас строго по тексту, хотя на счёт разного порядка аргументов мысль конечно здравая, надо будет потом переупорядочить аргументы в алфавитном порядке. Но смысл сабжа от этого мало изменится ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 16:26
|
|||
|---|---|---|---|
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
QuAzI_NODE>6260000 записей и будет растиИндекс по MD5 от такого количества с хорошим запасом уместится в кэш в оперативной памяти (при современных размерах ОП). Индекс по URL - уже вряд ли, но надо считать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 16:37
|
|||
|---|---|---|---|
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
Кстати, раз данные уже есть, интересно было бы проверить, есть там коллизии по MD5 или нет. Если MD5 покажется мало, то можно использовать SHA1() и SHA2(), вплоть до 512 бит, включая их комбинации. Я бы еще попробовал на реальные данные натравить функцию COMPRESS(). Вдруг что-то даст... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 16:59
|
|||
|---|---|---|---|
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
Итак у вас есть Код: sql 1. Что именно вы оптимизируете? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.01.2016, 17:37
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
Начнем с того, что строка URL может не уместиться в максимальный размер ключа и для MS SQL, и, как подсказывает гугл, для mySQL. Использование MD5 в качестве ключа недавно обсуждали ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
06.01.2016, 10:03
|
|||
|---|---|---|---|
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
QuAzI_NODEDimitry Sibiryakov, Почему быстрее не будет? Меньше ярда, я ж не гуголь (пока ещё ;-) ), но MySQL и MS SQL начинают знатно тупить при вставке уже на миллионе, а у меня по боле будет. MS SQL начинает тупить при вставке уже на миллионе А по теме, возможно я не понял вопрос, но, что мешает добавить еще поле и сделать его уникальным идентификатором? Например, добавляем поле identity bigint и радуемся. Но опять таки повторюсь, возможно не понял, что именно хочет автор) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
06.01.2016, 11:42
|
|||
|---|---|---|---|
|
|||
Что использовать в качестве уникального ключа для URL |
|||
|
#18+
wizliА по теме, возможно я не понял вопрос, но, что мешает добавить еще поле и сделать его уникальным идентификатором? Например, добавляем поле identity bigint и радуемся. Но опять таки повторюсь, возможно не понял, что именно хочет автор) Автор хочет контроля уникальности url-ей. Контроль уникальности при помощи unique constraint "из коробки" получится только если забить на коллизии хэша (ну либо искусственно ограничить длину URL), иначе надо делать некоторые телодвижения дополнительно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=32&tablet=1&tid=1540410]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
162ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
54ms |
get tp. blocked users: |
2ms |
| others: | 10ms |
| total: | 270ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
