Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Битовые строки
|
|||
|---|---|---|---|
|
#18+
в нашем приложении для поиска объектов по запросам используются индекс с массивами битовых строк до недавнего времени проблем с этим не было, обычно количество объектов у клиентов не превышало и полмиллиона но есть клиент у которого количество этих объектов уже больше 7 миллионов, меньше чем за год работы, а дальше только больше и в итоге, когда мы получаем на некий запрос выборку из нескольких миллионов записей в битовых строках, получается массив строк размером в несколько мегабайт, причем как выяснилось как локальная переменная данные на 7MB занимают все 15MB, а с учетом того что памяти на процесс мы не можем выделить больше чем 47MB, сложно проводить логические операции с такими массивами как с локальными переменными, постоянно натыкаемся на <STORE>, приходится местами переходить на буфера в глобалах, что соответственно плохо сказывается на быстродействии итак, вопрос, кто может что-нибудь порекомендовать, как иметь возможность работать с такими массивами в памяти а не в глобалах и при этом не падать в STORE ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.11.2011, 10:26 |
|
||
|
Битовые строки
|
|||
|---|---|---|---|
|
#18+
DAiMor, можно проверить синтаксис ^||имя(). должно работать с той же скоростью, что и локальные массивы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.11.2011, 11:56 |
|
||
|
Битовые строки
|
|||
|---|---|---|---|
|
#18+
пробовал такой скорость ближе к работе с глобалами нежели с локалами, полагаю это из-за того что это все таки глобал и маппится он в CacheTemp проверял на версии 2008.1 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.11.2011, 13:45 |
|
||
|
Битовые строки
|
|||
|---|---|---|---|
|
#18+
DAiMorпробовал такой скорость ближе к работе с глобалами нежели с локалами, полагаю это из-за того что это все таки глобал и маппится он в CacheTemp проверял на версии 2008.1 У меня получался значительный прирост в скорости по сравнению с обычными глобалами, но строки были короткими. В Вашем случае, видимо, длинные строки весь выигрыш съедают. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.11.2011, 15:12 |
|
||
|
Битовые строки
|
|||
|---|---|---|---|
|
#18+
DAiMorпробовал такой скорость ближе к работе с глобалами нежели с локалами, полагаю это из-за того что это все таки глобал и маппится он в CacheTemp проверял на версии 2008.1 Приветствую в 2010.2 анансированно увеличение скорости работы с большими локальными переменными и массивами (те как я догадываюсь ранее если локали не влезали в партишен выделеный под процесс они все пихали в CacheTemp (те біл переход от работі с памятью к работе с диском) и вот наконецто чтото поменялось...... См смотрите/пробуйте ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.11.2011, 16:21 |
|
||
|
Битовые строки
|
|||
|---|---|---|---|
|
#18+
gr_vlесли локали не влезали в партишен выделеный под процесс они все пихали в CacheTempВашими бы устами... при нехватке памяти процесс просто вылетает по ошибке <STORE>, ровно так, как это описал DAiMor. А упомянутое Вами ускорение в 2010.2 звучит так: Large Local ArraysIn previous releases, the performance of operations on local arrays could worsen as the array grew larger. This version of Cache implements a highly optimized algorithm for handling large local arrays that greatly speeds up performance when saving and retrieving values from such large in-memory (local) arrays.Действительно, где-то начиная с размера около 5MB локальные массивы всегда начинали проигрывать глобальным по скорости доступа. В 2010.2 заявлено улучшение, но даже если оно существенно, привыкшие к небольшому (< 48MB) разделу программисты всё равно будут продолжать бояться использовать большие локальные массивы, просто из-за опасения <STORE>, и будут правы, пока ISC не пойдёт на существенное увеличение размера раздела. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.11.2011, 15:42 |
|
||
|
|
start [/forum/topic.php?fid=39&msg=37531847&tid=1557601]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
27ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
57ms |
get tp. blocked users: |
2ms |
| others: | 265ms |
| total: | 390ms |
| 0 / 0 |
