ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Битовые значения
25 сообщений из 127, страница 3 из 6
  3  все
Битовые значения
    #39609105
WildSery
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WildSery
Участник
rdb_dev,

Скорее, веником. А иногда и совочком.
...
Рейтинг: 0 / 0
01.03.2018, 15:07
| Ответить | Цитировать | Написать  
Битовые значения
    #39609141
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
WildSery, а как ты хотел? Иногда за гостями и прибраться нужно.
...
Рейтинг: 0 / 0
01.03.2018, 15:48
| Ответить | Цитировать | Написать  
Битовые значения
    #39637025
akrush
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
akrush
Участник
Чтобы не плодить темы, хочу продолжить тут.
Суть вопроса. Мне надо, как выразился WildSery
WildSery... нужно кларион отфайрбёрдить ...

Пользуюсь компонентом SMImport. Его я обсуждать не хочу. Компонент нормально импортирует данные, поля массивы передает как стринг с разделителем ; и мне этого достаточно.
Но возникла такая проблема.
1. Кларион хранит дату как число дней от 28/12/1800, т.е. сегодняшнее число, 26/04/2018, хранится как 79377.
для того чтобы преобразовать в нормальное число формата ФБ мне надо выполнить dateadd(day,-36161,ZVDATA)
2. При импорте, если поле пустое, компонент ничего не передает и в поле, соответственно null - для стринга мне надо сделать просто пусто '', делаю это так: update ADDSUM set OWN_NUM='' where OWN_NUM is null;

В целом все нормально, но на больших таблицах эта обработка ЖУТКО тормозит. Посмотреть статистику вижу в версиях количество равное количеству строк в таблице.

Суть вопроса следующая: должна ли создаваться версия если я единственный подключенный пользователь.
Думал компонент глючит, проверил. Компонент комитит каждую строку (это я обсуждать пока не буду, автору напишу).
После импорта даже пробовал отключаться и подключаться к БД.
Все равно создаются версии.

Может я что-то напутал и версии ДОЛЖНЫ создаваться. Пните в нужном направлении.
...
Рейтинг: 0 / 0
26.04.2018, 21:42
| Ответить | Цитировать | Написать  
Битовые значения
    #39637027
akrush
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
akrush
Участник
akrush,
Забыл уточнить - версия ФБ Firebird-3.0.2.32703_0_Win32
...
Рейтинг: 0 / 0
26.04.2018, 21:44
| Ответить | Цитировать | Написать  
Битовые значения
    #39637033
akrush
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
akrush
Участник
akrush,
С версиями вопрос отпал. В Эксперте попробовал выполнить тот же набор команд на апдейт - версии тоже появились. Так что сам где-то что-то напутал.
...
Рейтинг: 0 / 0
26.04.2018, 22:01
| Ответить | Цитировать | Написать  
Битовые значения
    #39637036
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
akrushПните в нужном направлении.

http://www.ibase.ru/transactions/ обязательное чтение. До просветления.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.04.2018, 22:08
| Ответить | Цитировать | Написать  
Битовые значения
    #39637055
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
akrushВ целом все нормально, но на больших таблицах эта обработка ЖУТКО тормозит.Размер кеша какой ?
...
Рейтинг: 0 / 0
26.04.2018, 23:35
| Ответить | Цитировать | Написать  
Битовые значения
    #39637071
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
akrushВсе равно создаются версии.
что за стенания? при update записи создается версия. И при delete. А как иначе?
Обновили 100к записей - будет 100к записей и 100к версий. Это нормально. Ненормально, это когда активные транзакции препятствуют превращению версий в мусор и их уборке, и когда у одной записи десятки, сотни, тысячи или вообще миллионы версий.
Вот тогда - да, может тормозить.

akrushСуть вопроса следующая: должна ли создаваться версия если я единственный подключенный пользователь.
У Firebird нет "однопользовательского" режима. Один, сто, тыща юзеров - все делается всегда одинаково.
...
Рейтинг: 0 / 0
27.04.2018, 01:03
| Ответить | Цитировать | Написать  
Битовые значения
    #39637098
Фотография LocksmithPC
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LocksmithPC
Участник
akrush, "...нужно кларион отфайрбёрдить..."

В 96-м году встала такая задача. В итоге появилась консольная прога, которая берет произвольный файл *.dat и конвертит его в *.txt (за исключением memo-полей).

Плюсом рожает файлик со следующим содержимым:

Код: sql
1.
2.
3.
4.
5.
6.
create table tmp08A1c external file 'D:\Database\Dbtemp\Cvt_asci\Pens_arm\2008\A1c.txt' (
  fRN char(9),
  fSP char(1),
  fEOL char(3));

commit;



Скармливаем этот файл фаеру и получаем внешнюю таблицу. Все дальнейшее зависит от фантазии. К примеру:

Код: sql
1.
2.
insert into tbInternalTable (fField0, fField1)
select fRN, fSP from tmp08A1c where fSP <> '5'



Итог работы:
...
Рейтинг: 0 / 0
27.04.2018, 07:17
| Ответить | Цитировать | Написать  
Битовые значения
    #39637111
akrush
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
akrush
Участник
hvlad,
Влад, все по умолчанию.
Импортируется суммарно, в данном тесте, более 10млн строк в 25 таблиц. Могут быть варианты и где будет более 20млн.
Подскажите какие настройки подправить чтобы ускорить процесс, если возможно
...
Рейтинг: 0 / 0
27.04.2018, 08:09
| Ответить | Цитировать | Написать  
Битовые значения
    #39637112
akrush
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
akrush
Участник
LocksmithPC,
Спасибо за подсказку. Попробую.
...
Рейтинг: 0 / 0
27.04.2018, 08:10
| Ответить | Цитировать | Написать  
Битовые значения
    #39637140
Фотография LocksmithPC
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LocksmithPC
Участник
akrushПопробую.

ftp://locksmithpc.asuscomm.com/dat2txt.7z
...
Рейтинг: 0 / 0
27.04.2018, 09:23
| Ответить | Цитировать | Написать  
Битовые значения
    #39637184
KreatorXXI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KreatorXXI
Участник
akrush,

А у Вас тип файла БД dat или tps? Эксперт dat закачивает сам.
...
Рейтинг: 0 / 0
27.04.2018, 10:23
| Ответить | Цитировать | Написать  
Битовые значения
    #39637187
Фотография LocksmithPC
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LocksmithPC
Участник
KreatorXXI, эксперт вроде дох как раз на полях массивах.
...
Рейтинг: 0 / 0
27.04.2018, 10:25
| Ответить | Цитировать | Написать  
Битовые значения
    #39637195
KreatorXXI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KreatorXXI
Участник
LocksmithPC,

Я знаю, что работает. Глубоко не копал, массивы редко используют. И вообще, ИМХО, использовать массивы в БД - дурацкое дело.
...
Рейтинг: 0 / 0
27.04.2018, 10:33
| Ответить | Цитировать | Написать  
Битовые значения
    #39637199
Фотография LocksmithPC
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LocksmithPC
Участник
KreatorXXI, пробую сейчас грузить 600 Мб dat-файл. скорость примерно 100 записей в секунду. печаль.
...
Рейтинг: 0 / 0
27.04.2018, 10:37
| Ответить | Цитировать | Написать  
Битовые значения
    #39637213
KreatorXXI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KreatorXXI
Участник
LocksmithPC,

Что Вы там в 600 мегов запихали? Есть офигительные МЕМО-поля?
...
Рейтинг: 0 / 0
27.04.2018, 10:55
| Ответить | Цитировать | Написать  
Битовые значения
    #39637224
Фотография LocksmithPC
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LocksmithPC
Участник
KreatorXXI, никаких мемо, только цифры. большой архив со времен царя гороха
...
Рейтинг: 0 / 0
27.04.2018, 11:02
| Ответить | Цитировать | Написать  
Битовые значения
    #39637226
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
akrushВ целом все нормально, но на больших таблицах эта обработка ЖУТКО тормозит
...
Подскажите какие настройки подправить чтобы ускорить процессУвеличить кеш, подумать о наличии лишних индексов, триггеров.
Избавиться от коммита каждой строки.
Убедиться, что используются препарированные запросы.
FW=OFF на время импорта, если нет противопоказаний.

Всё это банально и давно всем известно.
...
Рейтинг: 0 / 0
27.04.2018, 11:04
| Ответить | Цитировать | Написать  
Битовые значения
    #39637234
KreatorXXI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KreatorXXI
Участник
LocksmithPC,

Сколько записей? Мне просто интересно. Было принято делить на периоды. Конечно для файл-серверной системы 600 мегов - запредельно много.
...
Рейтинг: 0 / 0
27.04.2018, 11:11
| Ответить | Цитировать | Написать  
Битовые значения
    #39637251
Фотография LocksmithPC
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LocksmithPC
Участник
KreatorXXI, ~700 к записей. 122 поля. 99% double precision
...
Рейтинг: 0 / 0
27.04.2018, 11:23
| Ответить | Цитировать | Написать  
Битовые значения
    #39637274
KreatorXXI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KreatorXXI
Участник
LocksmithPCKreatorXXI, ~700 к записей. 122 поля. 99% double precision

Реально круто! Особенно, 122 поля. Эксперту ой как тяжело это переварить.
...
Рейтинг: 0 / 0
27.04.2018, 11:39
| Ответить | Цитировать | Написать  
Битовые значения
    #39637310
Фотография LocksmithPC
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LocksmithPC
Участник
KreatorXXI, наверняка не предел по кол-ву полей. лень смотреть остальные таблицы
...
Рейтинг: 0 / 0
27.04.2018, 12:04
| Ответить | Цитировать | Написать  
Битовые значения
    #39637491
akrush
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
akrush
Участник
hvladakrushВ целом все нормально, но на больших таблицах эта обработка ЖУТКО тормозит
...
Подскажите какие настройки подправить чтобы ускорить процессУвеличить кеш, подумать о наличии лишних индексов, триггеров.
Избавиться от коммита каждой строки.
Убедиться, что используются препарированные запросы.
FW=OFF на время импорта, если нет противопоказаний.

Всё это банально и давно всем известно.

Так как это у меня промежуточная таблица только для импорта Кларион-ФБ индексов нет совсем. Вообще нет ничего кроме таблиц. ни ограничений на поля, ничего.

Подскажите - какие параметры надо поменять чтобы увеличить кеш.
Подскажите точное название параметра FW
комит выставил каждые 5000 записей. Раньше я ошибся был каждые 300
Данные (даты, нул в строках) редактирую через скрипт, просто список команд которые надо выполнить. Последняя команда commit;
...
Рейтинг: 0 / 0
27.04.2018, 14:27
| Ответить | Цитировать | Написать  
Битовые значения
    #39637495
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
akrush,

при инсерте кэш никак не влияет. Кэш вообще надо выставлять сообразно архитектуре и экспериментально - классик от 512 до 2048, суперклассик от 512 до 4096, суперсервер от 8192 до половины RAM.
...
Рейтинг: 0 / 0
27.04.2018, 14:30
| Ответить | Цитировать | Написать  
25 сообщений из 127, страница 3 из 6
  3  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Битовые значения
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&msg=39637195&tid=1561125]:
 0ms
get settings:
 8ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 45ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 52ms
get tp. blocked users:
 1ms
others: 13ms
total:  149ms
созд. / загр.: 149ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]