Коллеги,
к сожалению, мой опыт работы с Sybase совсем мизерный, поэтому хочу прибегнуть к Вашей помощи - есть БД, обьем средний (основная таблица - около 800 тыс. записей), часть индексов почему-то стала "подозрительной", при попытке запустить реиндекс на основную таблицу сервак думает часа 1.5, при этом на 100% загрузке процессора ... возможно что-то не верно в конфигурации... или это обычное поведение для Sybase ?

MasterZiv
Чем кончается -то ? Вполне может быть, что и нормально.


ну вообще говоря на одной таблице после нескольких часов раздумий завершилось нормально, но мне кажется это не совсем нормальная ситация, когда индексы строятся настолько долго... это мой первый опыт с sybase, до этого в основном оракл и mssql, там были базы гораздо крупнее, но такого не было ни разу ...

komrad
+ характеристики железки и дисковой подсистемы


select @@version
go


'Adaptive Server Enterprise/15.0/EBF 12783 GA/P/NT (IX86)/Windows 2000/ase150/2158/32-bit/OPT/Fri Aug 19 18:42:50 2005'


sp_configure
go

Parameter NameDefaultMemory UsedConfig ValueRun ValueUnitType'allow remote access'' 1'' 0'' 1'' 1''switch''dynamic''max concurrently recovered db'' 0'' 0'' 0'' 0''number''dynamic''number of checkpoint tasks'' 1'' 0'' 1'' 1''number''dynamic''print recovery information'' 0'' 0'' 0'' 0''switch''dynamic''recovery interval in minutes'' 5'' 0'' 5'' 5''minutes''dynamic''tape retention in days'' 0'' 0'' 0'' 0''days''dynamic'

sp_cacheconfig
go

Cache NameStatusTypeConfig ValueRun Value'default data cache''Active''Default'' 100.00 Mb'' 100.00 Mb'


Сервер безусловно не слишком хорош, потому как девелоперский - P4, 2Gb RAM, 160GB HDD
Но, в той же самой конфигурации на на MSSql жил абсолютно нормально...

morisВ ASE15 в отличие от предыдущих версий ASE, во много раз больше операций выполняется в памяти (группировки, сортировки). Для этого резервируется место в процедурном кеше. Поэтому ув. тов. afonasov также кроме конфигурации data кешей, еще выдайте нам размер процедурного кеша




procedure cache size = 200000

moris
100 (data cache)+390Gb(procedure cache) ~500Mb . И это при 2 Gb всего RAM. Т.е. 1,5Gb просто простаивают...??

Не совсем так, потому что сервер девелоперский и там стоит еще application server и много еще чего, именно поэтому есть ограничения на 500 Mb ... Какой из кэшей вы посоветовали бы увеличить ?

moris
И полный конфиг бы тоже не помешал. (можете просто выложить файл <Имя Сервера>.cfg)

[Configuration Options]

[General Information]

[Backup/Recovery]
recovery interval in minutes = DEFAULT
print recovery information = DEFAULT
tape retention in days = DEFAULT
max concurrently recovered db = DEFAULT
number of checkpoint tasks = DEFAULT

[Cache Manager]
number of oam trips = DEFAULT
number of index trips = DEFAULT
memory alignment boundary = DEFAULT
global async prefetch limit = DEFAULT
global cache partition number = DEFAULT
extended cache size = DEFAULT

[Named Cache:default data cache]
cache size = 100M
cache status = default data cache
cache replacement policy = DEFAULT
local cache partition number = DEFAULT

[Meta-Data Caches]
number of open databases = DEFAULT
number of open objects = DEFAULT
open object spinlock ratio = DEFAULT
number of open indexes = 10000
open index hash spinlock ratio = DEFAULT
open index spinlock ratio = DEFAULT
partition groups = DEFAULT
partition spinlock ratio = DEFAULT
number of open partitions = 5000

[Disk I/O]
disk i/o structures = DEFAULT
number of large i/o buffers = DEFAULT
page utilization percent = DEFAULT
number of devices = DEFAULT
disable disk mirroring = DEFAULT
allow sql server async i/o = DEFAULT

[Languages]
disable character set conversions = DEFAULT

[Unicode]
enable unicode normalization = DEFAULT
enable surrogate processing = DEFAULT
enable unicode conversions = DEFAULT
size of unilib cache = DEFAULT

[Network Communication]
default network packet size = DEFAULT
max network packet size = DEFAULT
remote server pre-read packets = DEFAULT
number of remote connections = 100
number of remote logins = 100
number of remote sites = 50
max number network listeners = DEFAULT
tcp no delay = DEFAULT
send doneinproc tokens = DEFAULT
allow sendmsg = DEFAULT
syb_sendmsg port number = DEFAULT
allow remote access = DEFAULT

[O/S Resources]
max async i/os per engine = DEFAULT
max async i/os per server = DEFAULT

[Query Tuning]
optimization goal = DEFAULT
allow backward scans = DEFAULT
abstract plan load = DEFAULT
abstract plan dump = DEFAULT
abstract plan replace = DEFAULT
abstract plan cache = DEFAULT
sampling percent = DEFAULT
number of histogram steps = DEFAULT
enable sort-merge join and JTC = DEFAULT
number of worker processes = DEFAULT
memory per worker process = DEFAULT
max parallel degree = DEFAULT
max scan parallel degree = DEFAULT
max repartition degree = DEFAULT
max resource granularity = DEFAULT
enable metrics capture = DEFAULT
optimization timeout limit = DEFAULT

[Physical Resources]

[Physical Memory]
max memory = 500000
additional network memory = DEFAULT
shared memory starting address = DEFAULT
allocate max shared memory = DEFAULT
dynamic allocation on demand = DEFAULT
lock shared memory = DEFAULT
heap memory per user = DEFAULT

[Processors]
max online engines = DEFAULT
number of engines at startup = DEFAULT
statement cache size = DEFAULT

[SQL Server Administration]
procedure cache size = 200000
default database size = DEFAULT
identity burning set factor = DEFAULT
allow nested triggers = DEFAULT
allow updates to system tables = DEFAULT
default fill factor percent = DEFAULT
default exp_row_size percent = DEFAULT
number of mailboxes = DEFAULT
number of messages = DEFAULT
number of alarms = DEFAULT
number of pre-allocated extents = DEFAULT
event buffers per engine = DEFAULT
cpu accounting flush interval = DEFAULT
i/o accounting flush interval = DEFAULT
sql server clock tick length = DEFAULT
runnable process search count = DEFAULT
i/o polling process count = DEFAULT
time slice = DEFAULT
cpu grace time = DEFAULT
number of sort buffers = DEFAULT
size of auto identity column = DEFAULT
identity grab size = DEFAULT
housekeeper free write percent = DEFAULT
enable housekeeper GC = DEFAULT
sysstatistics flush interval = DEFAULT
allow resource limits = DEFAULT
number of aux scan descriptors = DEFAULT
SQL Perfmon Integration = DEFAULT
license information = DEFAULT
text prefetch size = DEFAULT
enable HA = DEFAULT
i/o batch size = DEFAULT
enable semantic partitioning = DEFAULT
enable xml = DEFAULT
enable webservices = DEFAULT
enable job scheduler = DEFAULT
job scheduler tasks = DEFAULT
job scheduler interval = DEFAULT
percent database for history = DEFAULT
percent history free = DEFAULT
percent database for output = DEFAULT
percent output free = DEFAULT
maximum job output = DEFAULT

[User Environment]
number of user connections = DEFAULT
stack size = DEFAULT
stack guard size = DEFAULT
permission cache entries = DEFAULT
user log cache size = DEFAULT
user log cache spinlock ratio = DEFAULT
max native threads per engine = DEFAULT
messaging memory = DEFAULT
enable real time messaging = DEFAULT
histogram tuning factor = DEFAULT
rtm thread idle wait period = DEFAULT

[Lock Manager]
number of locks = DEFAULT
deadlock checking period = DEFAULT
lock spinlock ratio = DEFAULT
lock address spinlock ratio = DEFAULT
lock table spinlock ratio = DEFAULT
lock hashtable size = DEFAULT
lock scheme = DEFAULT
lock wait period = DEFAULT
read committed with lock = DEFAULT
print deadlock information = DEFAULT
deadlock retries = DEFAULT
page lock promotion HWM = DEFAULT
page lock promotion LWM = DEFAULT
page lock promotion PCT = DEFAULT
row lock promotion HWM = DEFAULT
row lock promotion LWM = DEFAULT
row lock promotion PCT = DEFAULT

[Security Related]
systemwide password expiration = DEFAULT
audit queue size = DEFAULT
curread change w/ open cursors = DEFAULT
allow procedure grouping = DEFAULT
select on syscomments.text = DEFAULT
auditing = DEFAULT
current audit table = DEFAULT
suspend audit when device full = DEFAULT
enable row level access = DEFAULT
check password for digit = DEFAULT
minimum password length = DEFAULT
maximum failed logins = DEFAULT
enable ssl = DEFAULT
unified login required = DEFAULT
use security services = DEFAULT
msg confidentiality reqd = DEFAULT
msg integrity reqd = DEFAULT
enable pam user auth = DEFAULT
enable ldap user auth = DEFAULT
secure default login = DEFAULT

[Extended Stored Procedure]
esp unload dll = DEFAULT
esp execution priority = DEFAULT
esp execution stacksize = DEFAULT
xp_cmdshell context = DEFAULT
start mail session = DEFAULT

[Error Log]
event logging = DEFAULT
log audit logon success = DEFAULT
log audit logon failure = DEFAULT
event log computer name = DEFAULT

[Rep Agent Thread Administration]
enable rep agent threads = DEFAULT

[Component Integration Services]
enable cis = DEFAULT
cis connect timeout = DEFAULT
cis bulk insert batch size = DEFAULT
max cis remote connections = DEFAULT
cis packet size = DEFAULT
cis cursor rows = DEFAULT
enable snmp = DEFAULT
enable file access = DEFAULT
cis bulk insert array size = DEFAULT
enable full-text search = DEFAULT
cis rpc handling = DEFAULT

[Java Services]
enable java = DEFAULT
size of process object heap = DEFAULT
size of shared class heap = DEFAULT
size of global fixed heap = DEFAULT
number of java sockets = DEFAULT
enable enterprise java beans = DEFAULT

[DTM Administration]
enable DTM = DEFAULT
enable xact coordination = DEFAULT
xact coordination interval = DEFAULT
number of dtx participants = DEFAULT
strict dtm enforcement = DEFAULT
txn to pss ratio = DEFAULT
dtm lock timeout period = DEFAULT
dtm detach timeout period = DEFAULT

[Diagnostics]
dump on conditions = DEFAULT
maximum dump conditions = DEFAULT
number of dump threads = DEFAULT
number of ccbs = DEFAULT
caps per ccb = DEFAULT
average cap size = DEFAULT

[Monitoring]
enable monitoring = DEFAULT
sql text pipe active = DEFAULT
sql text pipe max messages = DEFAULT
plan text pipe active = DEFAULT
plan text pipe max messages = DEFAULT
statement pipe active = DEFAULT
statement pipe max messages = DEFAULT
errorlog pipe active = DEFAULT
errorlog pipe max messages = DEFAULT
deadlock pipe active = DEFAULT
deadlock pipe max messages = DEFAULT
wait event timing = DEFAULT
process wait events = DEFAULT
object lockwait timing = DEFAULT
SQL batch capture = DEFAULT
statement statistics active = DEFAULT
per object statistics active = DEFAULT
max SQL text monitored = DEFAULT
performance monitoring option = DEFAULT

komradпокажите еще вот это:



sp_monitorconfig 'all'

NameNum_freeNum_activePct_actMax_UsedNum_Reuse'additional network memory'5507961639056' 74.85'16390560'audit queue size'1000' 0.00'00'disk i/o structures'2560' 0.00'2560'heap memory per user'40960' 0.00'00'max cis remote connection'1000' 0.00'00'max memory'199603300397' 60.08'3003970'max number network listen'41' 20.00'10'max online engines'01'100.00'10'memory per worker process'10240' 0.00'00'number of alarms'2713' 32.50'140'number of aux scan descri'2560' 0.00'140'number of devices'64' 40.00'40'number of dtx participant'5000' 0.00'00'number of java sockets'820' 0.00'00'number of large i/o buffe'60' 0.00'10'number of locks'4859141' 2.82'1830'number of mailboxes'291' 3.33'10'number of messages'640' 0.00'00'number of open databases'66' 50.00'60'number of open indexes'9824176' 1.76'1760'number of open objects'42872' 14.40'730'number of open partitions'4824176' 3.52'1760'number of remote connecti'1000' 0.00'10'number of remote logins'1000' 0.00'00'number of remote sites'500' 0.00'10'number of sort buffers'5000' 0.00'4460'number of user connection'205' 20.00'50'number of worker processe'00' 0.00'00'partition groups'10240' 0.00'00'permission cache entries'150' 0.00'01106'procedure cache size'1970862914' 1.46'46840'size of global fixed heap'1500' 0.00'00'size of process object he'15000' 0.00'00'size of shared class heap'15360' 0.00'00'size of unilib cache'2607784016' 1.52'40160'txn to pss ratio'4000' 0.00'00

morisДля полноты картины разместите здесь еще

sp_help <имя таблицы на которой создаются индексы>
sp_spaceused <имя таблицы на которой создаются индексы>
SQL создания индекса/ов - которые отрабатывают 1,5 часа

sp_help CalloutStatus
NameOwnerObject_typeCreate_date'CalloutStatus''konect''user table'2007-06-19 13:45:34.756

Column_nameTypeLengthPrecScaleNullsDefault_nameRule_nameAccess_Rule_nameComputed_Column_objectIdentity'DTYPE''nvarchar'31falsefalse'Id''numeric'9190falsetrue'CreationDate''datetime'8truefalse'CreationUser''nvarchar'255truefalse'ModificationDate''datetime'8truefalse'ModificationUser''nvarchar'255truefalse'Version''int'4truefalse'UniqueIdentifier''nvarchar'36falsefalse'Reason''nvarchar'254truefalse'InputDate''datetime'8truefalse'StatusType''nvarchar'255truefalse'TerminalNumber''nvarchar'12truefalse'eta''datetime'8truefalse'CancelledDescription''nvarchar'255truefalse'etc''datetime'8truefalse'CHFitterRealloc''tinyint'1truefalse'CHPlannedDate''datetime'8truefalse'GuidKey''nvarchar'255truefalse'HFitterRealloc''tinyint'1truefalse'HPlannedDate''datetime'8truefalse'EmployeeId''numeric'9190truefalse'ServiceOrderStatusCodeId''numeric'9190truefalse'ServiceOrderId''numeric'9190truefalse'ArrivalCodeId''numeric'9190truefalse'CancelledCodeId''numeric'9190truefalse'CustomerHoldReasonCodeId''numeric'9190truefalse'CustomerHoldToCodeId''numeric'9190truefalse'HoldReasonCodeId''numeric'9190truefalse'HoldToCodeId''numeric'9190truefalse'RejectReasonCodeId''numeric'9190truefalse

index_nameindex_keysindex_descriptionindex_max_rows_per_pageindex_fillfactorindex_reservepagegapindex_createdindex_local'CalloutSta_6818185101'' Id''clustered unique'0002007-06-19 13:45:34.756'Global Index''CalloutSta_Unique_6818185102'' UniqueIdentifier''nonclustered unique'0002007-06-19 13:45:34.756'Global Index''IDX_EmployeeId'' EmployeeId''nonclustered'0012007-07-12 14:52:35.856'Global Index''IDX_ServiceOrderId'' ServiceOrderId''nonclustered'0012007-07-12 14:56:13.123'Global Index'

index_ptn_nameindex_ptn_seg'CalloutSta_6818185101_681818510''default''CalloutSta_Unique_6818185102_681818510''default''IDX_EmployeeId_681818510''default''IDX_ServiceOrderId_681818510''default'

nametypepartition_typepartitionspartition_keys'CalloutStatus''base table''roundrobin'1

partition_namepartition_idpagessegmentcreate_date'CalloutStatus_681818510'68181851010286'default'2007-06-19 13:45:34.756

Partition_ConditionsNULL

Avg_pagesMax_pagesMin_pagesRatio(Max/Avg)Ratio(Min/Avg)1028610286102861.01.0

exp_row_sizereservepagegapfillfactormax_rows_per_pageidentity_gap00000

concurrency_opt_thresholdoptimistic_index_lockdealloc_first_txtpg000


sp_spaceused CalloutStatus

namerowtotalreserveddataindex_sizeunused'CalloutStatus''634364''136216 KB''82288 KB''52528 KB''1400 KB'

moris
SQL создания индекса/ов - которые отрабатывают 1,5 часа

create nonclustered index IDX_EmployeeId
on konect.konect.CalloutStatus(EmployeeId)
with reservepagegap=1
go


create nonclustered index IDX_ServiceOrderId

on konect.konect.CalloutStatus(ServiceOrderId)

with reservepagegap=1

morisТак для инфо.
На обычной пользовательской машине на ASE15.0.2 NT сразу же после перезгрузки (т.е. кеш пустой) индекс на поле int для не широкой таблички (60 bytes - длина всех полей) (1 млн строк) - создается ~ 30сек.

Именно такое поведение я и ожидал, но увы...

Я, если честно, совсем не понимаю логики работы с индексами в sybase - например недавно было получено такое сообщение об ошибке

com.sybase.jdbc3.jdbc.SybSQLException: Table id 839059094 contains suspect indexes. This table is only available for read-only purposes until the DBCC REINDEX command has been run on the indicated table to rebuild its suspect indexes.

Почему из-за индекса таблица вдруг стала "read-only" ?!

komrad afonasovЯ, если честно, совсем не понимаю логики работы с индексами в sybase - например недавно было получено такое сообщение об ошибке

com.sybase.jdbc3.jdbc.SybSQLException: Table id 839059094 contains suspect indexes. This table is only available for read-only purposes until the DBCC REINDEX command has been run on the indicated table to rebuild its suspect indexes.

Почему из-за индекса таблица вдруг стала "read-only" ?!

А как Вы себе представляете корректировку битого индекса при вставке/удалении записей?
Поэтому сервер и предлагает только чтение, пока индекс не будет перестроен.

На мой взгляд индекс не является критичной сущностью - если система не может построить индекс, то надо нотифицировать об этом, но таблицу при этом позволять модифицировать, иначе получается что из за индекса может "встать" всё приложение... Из двух вариантов
1.система не работает
2.система работает, но медлено потому что нет оптимизации за счет индекса
я все же предпочитаю второй... Индекс для меня это всегда производная, вторичная сущность(даже не смотря на форейн кеи и провеку целостности, которые хоть и более медленно, но все же можно сделать и без индекса), а табличные данные - первичка, потеря котрой может повлечь существенные проблемы...

Я надеюсь, что в sybase есть некая опция, которая позволяла бы в случае проблем с индексами автоматически их перестраивать...

komrad
2 afonasov: как Вы себе представляете автоматическое online перестроение кластерного (или даже некластерного) индекса на (много-)гигабайтной таблице?


Приложения, как водится, бывают разными. И обьемы данных безусловно тоже, и я не вижу проблему в том, что бы для определенных приложений залочить таблицу на 30 сек (а именно столько согласно приведенной выше статистике происходит создание на таблице с 1 мил. записей) и пересоздать индекс, обеспечив при этом нормальную работу в дальнейшем...

komrad
В случае повреждения индекса вы можете выбрать данные их таблицы принудильно отключив индекс из рассмотрения оптимизатором посредством хинта в запросе.
Вопрос как раз не в том, можно или нельзя использовать индекс, а в том, что если индекс поврежден, то нельзя использовать операции CRUD для всей таблицы...

morisТаблица всего 136 Мб из них 50 Mb используются индексами. Тут вообще непонятно, что у Вас ASE делает 1,5 часа при пересоздании 2 индексов.... Даже при вашем небольшом data кеше (100Mb)

Кстати по поводу 1,5 часа на пересоздание 2х индексов.

У вас в выводе sp_help видно, что индекс 'IDX_ServiceOrderId' закончил создаваться в 2007-07-12 14:56 :13.123. А перед этим закончил создаваться 'IDX_EmployeeId' 2007-07-12 14:52 :35.856. Т.е. если резонно предположить, что IDX_ServiceOrderId начал создаваться после того как IDX_EmployeeId' был сделан, то получается что создавался он минуты 3....

Т.е. что получатеся если у вас раньше 2 индекса создавались за минут 5-6, а потом после того как они стали suspect, они пересоздавались 1,5 часа ?????

Вот и мне это совершенно не понятно, почему так происходит :(
Будем пробовать переходить на более стабильную версию, это пожалуй единственный выход, который видится в этом случае....

Огромное спасибо всем за помошь !