ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Опытным монстрам SQL
44 сообщений из 44, показаны все 2 страниц
  все  
Опытным монстрам SQL
    #32068242
aproximate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aproximate
Гость
Ктонить сталкивался с такой проблемой -
в таблице очень много записей (порядка 300 000 000), есть поле ID(Pk, identity) как быстро найти максимальный Id? Если писать в лоб Select Max(Id) from tabl1 работает достаточно долго - в районе 6 минут. Нужно чтобы хотябы секунд в 30 укладывалось
...
Рейтинг: 0 / 0
15.11.2002, 11:38:30
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068245
nandji
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nandji
Участник
SELECT IDENT_CURRENT('table_name')
...
Рейтинг: 0 / 0
15.11.2002, 11:44:03
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068247
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
select ident_current('tablename') работает правильно, если последние ID не удалялись.

select top 1 ID from table order by id desc может попроще будет
...
Рейтинг: 0 / 0
15.11.2002, 11:47:44
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068253
aproximate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aproximate
Гость
select top 1 ID from table order by id desc - пробовал работает еще дольше.... :(
...
Рейтинг: 0 / 0
15.11.2002, 11:52:15
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068261
Фотография Lexis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lexis
Участник
попробуй создать некластерный индекс по тому же полю, а в запросе укажи его хинтом
...
Рейтинг: 0 / 0
15.11.2002, 12:00:54
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068262
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
может так получше будет:
select top 1 ID from table option (fast 1) order by id desc
...
Рейтинг: 0 / 0
15.11.2002, 12:03:01
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068265
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
2 Lexis: а некластерный индекс размером будет порядка гигабайта. :)
...
Рейтинг: 0 / 0
15.11.2002, 12:04:15
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068266
Фотография Lexis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lexis
Участник
идея использования некластерного индекса в том, что в этом случае считывать SQL будет меньшее количество блоков данных..полагаю
так как кластерный привязан к таблице и храниться собственно в ней
...
Рейтинг: 0 / 0
15.11.2002, 12:06:06
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068276
aproximate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aproximate
Гость
Ускорение при использовании не кластерного индексе приблизительно в 2 раза... уже лучше - но все таки уже лучше

а вот select top 1 ID from table option (fast 1) order by id desc... не совсем понял что здесь значит fast 1
...
Рейтинг: 0 / 0
15.11.2002, 12:16:17
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068279
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
Тогда еще вариант - PK можно некластерным сделать. Но это все равно лишний гиг размера. :(

fast 1 - это указание оптимизатору выбрать такой план выполнения запроса, который максимально быстро вернет первую строку.
...
Рейтинг: 0 / 0
15.11.2002, 12:18:16
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068281
funikovyuri
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
funikovyuri
Участник
зачем нужен fast 1 если и так присутсвует top 1
...
Рейтинг: 0 / 0
15.11.2002, 12:21:01
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068282
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
И если уж создан некластерный индекс - то может быть будет быстрее, если сделать его desc (только на 2000).
...
Рейтинг: 0 / 0
15.11.2002, 12:21:11
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068288
Фотография Lexis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lexis
Участник
пусть будет гигабайт, но он же древовидный :)
еще можно положить его в отдельный файл, файл положить на другой диск...
...
Рейтинг: 0 / 0
15.11.2002, 12:27:17
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068292
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
Может проще триггера повесить и держать это значение еще где-нибудь? Если уж ident_current совсем не подходит.
...
Рейтинг: 0 / 0
15.11.2002, 12:32:53
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068294
Фотография Lexis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lexis
Участник
2. вариант
сделать триггер на вставку и т.п, который будет постоянно обновлять max(id), хранящееся в другом месте....в какой нить служебный таблице
3. вариант
если Identity, то можно вот:
IDENT_CURRENT('table_name')
...
Рейтинг: 0 / 0
15.11.2002, 12:33:29
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068296
aproximate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aproximate
Гость
По идее размер индекса меня абсолютно не пугает... fast 1 дает такую же скорость что и без него. Всеравно всем спасибо.
...
Рейтинг: 0 / 0
15.11.2002, 12:34:37
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068302
aproximate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aproximate
Гость
а тригера здесь не подходят - данные в онлайне льются очень быстро... порядка 30 000 000 в день.
...
Рейтинг: 0 / 0
15.11.2002, 12:37:43
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068310
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
Как льются, по одной записи или пачками?
...
Рейтинг: 0 / 0
15.11.2002, 12:41:18
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068312
aproximate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aproximate
Гость
так и так....
...
Рейтинг: 0 / 0
15.11.2002, 12:42:33
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068315
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
Удаляются часто? Пачками или по одной?
...
Рейтинг: 0 / 0
15.11.2002, 12:45:22
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068317
aproximate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aproximate
Гость
удаляются редко... и в основном штучно
...
Рейтинг: 0 / 0
15.11.2002, 12:47:15
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068329
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
Ну если так вижу такие варианты:

1) Использовать ident_current, наплевать на возможную ошибку в одну-две записи и молиться.

2) сделать триггер на делете:
if (select max(id) from deleted)=ident_current('tablename')
DBCC CHECKIDENT (tablename,RESEED)
и использовать после этого ident_current наплевав на возможность повторного появления уже однажды удаленных ID.
...
Рейтинг: 0 / 0
15.11.2002, 13:03:30
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068333
aproximate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aproximate
Гость
...
Рейтинг: 0 / 0
15.11.2002, 13:08:29
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068334
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
Хотя второй вариант не пройдет - dbcc нверное будет блокировать таблицу на долгое время.
...
Рейтинг: 0 / 0
15.11.2002, 13:11:45
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068347
Фотография akuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
akuz
Участник
Интересно, где же ответ Glory?

Или он себя не считает опытным монстрам SQL?!
...
Рейтинг: 0 / 0
15.11.2002, 13:43:43
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068358
Фотография VVG_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VVG_
Участник
Вот, придумал пока обедал:

Сделать табличку (LastDeletedID bigint) и в триггере на удаление заносить туда max(id) from deleted, а в выборке max(ID) использовать максимум из ident_current и LastDeletedID. Будет всегда правильное значение!
...
Рейтинг: 0 / 0
15.11.2002, 14:03:30
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068360
mishgan2000
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishgan2000
Гость
А если так:
select max(ID) from table (NOLOCK)
...
Рейтинг: 0 / 0
15.11.2002, 14:05:26
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068378
Glory
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Glory
Участник
Если смотреть на планы выполнения, то
и
Select Max(Id) from tabl1
и
select top 1 ID from table order by id desc
- либо table scan, при отсутствии индексов на id
- либо (clustered) index scan при наличии индекса на id.

Поэтому просто упираемся в скорость чтения таблицы(индекса). А так как таблица очень большая, то нужно вести речь о скорости чтения дисков.
Другими словами
- либо увеличиваем производительность дисков
- либо решаем это решаем проблему через дополнительные таблицы. Можно рассмотреть и вариант VVG_, но если вы утверждаете что записи "удаляются редко... и в основном штучно", то вообще можно в триггере "запоминать" все удаленные ID. Рядом с 300 000 000 таблицей даже пара тысяч будет смотреться "жалко".

ЗЫ
2akuz
я не монстр - это точно :-)
...
Рейтинг: 0 / 0
15.11.2002, 14:37:56
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068441
Фотография MiCe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MiCe
Участник
я тоже не монстр... но мне приходилось отказываться от identity вообще.... поле генерировал на лету на клиенте....
от текущего maxid....
...
Рейтинг: 0 / 0
15.11.2002, 16:13:59
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068513
genie_vats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
genie_vats
Гость
А если вставить запись в транзакции получить ID и откатить?
(:
...
Рейтинг: 0 / 0
15.11.2002, 18:00:30
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068536
Tracer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Tracer
Участник
А почему бы не использовать кластерный индекс по id (desc) ? Или вставка будет очень долго занимать ?
...
Рейтинг: 0 / 0
15.11.2002, 18:41:36
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068545
Фотография MiCe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MiCe
Участник
нужно использовать обычный сластерный индекс по полю id.... не desc конечно... ;))
так как поле ID identity - добовлятся будет всегда в конец...
вот такой запрос должен работать быстро...( по кластерному индексу)
select top 1 ID from table option(nolock) order by id desc
или select max(ID) from table option(nolock) group by id
если выполняется долго нужно смотреть статистику....
...
Рейтинг: 0 / 0
15.11.2002, 19:08:14
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068548
Фотография MarchCat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MarchCat
Участник
Мне кажется, что проблема в ТАКОЙ организации хранения данных. Наверняка в этой табле хранятся данные за все года или события различающиеся по одному признаку, которые ни чего не стоит развести и по таблям, и по файлам, и по дискам.
Именно это даст ощутимый прирост скорости и позволит в дальнейшем правильно развивать хранилище. Многие автоматические навороты для мини хранилищ абсолютно противопоказаны монстрам.

ЗЫ Убей свои иллюзии и перестань думать, что ты монстр. Фсе. МЯФ!
...
Рейтинг: 0 / 0
15.11.2002, 19:46:50
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068564
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cat2
Участник
Как всегда, я предпочитаю не решать проблемы, а снимать их.
У меня жуткие сомнения, что этот поиск нафиг не нужен.
Обрисуйте, для чего используется этот max.
...
Рейтинг: 0 / 0
15.11.2002, 22:34:11
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068723
Фотография MarchCat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MarchCat
Участник
Два кота! Ну, ты вообще правду матку рубанул, прям в глаза. Ты аккуратнее с людьми они такие ранимые.
...
Рейтинг: 0 / 0
17.11.2002, 14:18:32
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068728
Фотография Lexis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lexis
Участник
to
Tracer
MiCe
если написано
>есть поле ID(Pk, identity)
то значит кластерный индекс скорее всего есть и его уже попробовали
поиск по некластерному индексу будет быстрее в сило его физической организации
...
Рейтинг: 0 / 0
17.11.2002, 14:42:38
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068746
VAT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VAT
Участник
Сделал таблицу:
CREATE TABLE [t] (
[f1] [int] IDENTITY (1, 1) NOT NULL ,
[f2] [int] NULL ,
CONSTRAINT [PK_t] PRIMARY KEY CLUSTERED
(
[f1]
) ON [PRIMARY]
) ON [PRIMARY]

Вставил 301545854 записей.

select max(f1) from t --время выполнения =0.
Что я делаю не так?
Как получить 6 минут?
...
Рейтинг: 0 / 0
17.11.2002, 18:31:06
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068747
VAT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VAT
Участник
Да, размер данных - 5Гиг, индекс - 13мег
...
Рейтинг: 0 / 0
17.11.2002, 18:34:08
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068753
Фотография Lexis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lexis
Участник
to VAT
все дело в волшебных пузырьках...
скорее всего таблица, по которой запрос идет 6 минут имеет не 2 поля, а с десяток и поэтому на одном блоке данных помещается всего несколько ROWs. Хотя 6 минут и 0 все равно непонятно...пусть покажут нам исходные данные :)
...
Рейтинг: 0 / 0
17.11.2002, 19:41:14
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068760
Фотография MarchCat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MarchCat
Участник
Да хрень какая-то ... не может этого быть, чтобы так долго было. Ищите ошибку не к коде... Маразм какой-то ...

PS При вычислении примера 2+2 запрос выполнятся 6 мин. Пожалуйста помогите написать правильно!
...
Рейтинг: 0 / 0
17.11.2002, 20:58:28
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068769
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cat2
Участник
Автор топика сбежал куда-то. Ну подумайте, народ, а зачем ищется этот самый max? Что-бы прибавить к нему единичку и получить уникальный ключ? Так есть GUID и identity.

А где это участвует? Строки кластерного индекса нумеруются? А нафиг это надо?

Это номер документа? Так нумерацию, во-первых, можно каждый год или даже месяц начинать с единицы.
Во-вторых, если это все-же номер документа и нумерацию сбрасывать нельзя, то с уверенностью в 99.9% модно предположить, что там есть поле DateTime. и при ежедневной вставке в 30 000 000 (неужели правда?), максимальное значение будет в интервале getdate() - 1/24 (час).
...
Рейтинг: 0 / 0
18.11.2002, 00:33:18
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068788
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cat2
Участник
А стоит ли так долго говорить о таблице, которая при таких объемах вставки загнется через 70 дней от переполнения поля int?
...
Рейтинг: 0 / 0
18.11.2002, 07:11:24
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32068792
Опытный монстр SQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Опытный монстр SQL
Гость
кто-то сказал неправильно про identcurrent() и все поверили. попробуй:

create table t (id int identity primary key)
insert into t default values
insert into t default values
insert into t default values
select * from t
delete t where id>1
SELECT IDENT_CURRENT('t')
drop table t
...
Рейтинг: 0 / 0
18.11.2002, 08:04:37
| Ответить | Цитировать | Написать  
Опытным монстрам SQL
    #32069097
Фотография MiCe
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MiCe
Участник
все проблемы упираются в скорость...
если данные вливаются непрерывно.... через булк ...
порциями...
и с базой еще и работают...
2 Опытный монстр SQL
а ты пробовал свой код именно в этой ситуации?
и 2 All
есть таблица.... пусть тяжелая....
есть ключ.... идент...
рассмотрим 2 варианта...
кластерный и не кластерный индекс...
при кластерном - добавлятся будет всегда в конец набора данных..... потерь на добавление нет....
а вот на вставку и удаление - есть.....
при обычном индексе - равномерная нагрузка на добавление и вставку.... но нагрузка только на этот идекс...
дык вот при огромных размерах данных , с постоянным добавлением и редким удалением - кластерный индекс
именно то что нужно.....
а вот причина почему 6 мин. ....
обычный индекс персчитывается после булк....
а кластерному пересчитываться при этом не нужно....
макс нужен чтобы сделать идентити инсерт в таблу...
иначе сервер может захлебнуться....
...
Рейтинг: 0 / 0
18.11.2002, 16:17:20
| Ответить | Цитировать | Написать  
44 сообщений из 44, показаны все 2 страниц
  все  
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Опытным монстрам SQL
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=46&tid=1818726]:
 0ms
get settings:
 7ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 41ms
get topic data:
 6ms
get forum data:
 1ms
get page messages:
 39ms
get tp. blocked users:
 1ms
others: 193ms
total:  309ms
созд. / загр.: 309ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]