ReSQL.ru
     
powered by simpleCommunicator - 2.0.37     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Импорт экспорт данных в Cache
9 сообщений из 34, страница 2 из 2
  2  все
Импорт экспорт данных в Cache
    #39225980
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
servit
Участник
Alexey Maslov+ имеем gz-файл в нестандартном формате: утилитой gzip его уже не распакуешь, а для нас важно было уйти от проприетарных решений.У меня WinRar, Far нормально распознают полученный *.gz и распаковывают.
7za, думаю, тоже должен справиться.

PS: даже gzip32 1.2.4 (18 Aug 93 ) справляется с ним.
...
Рейтинг: 0 / 0
27.04.2016, 17:46
| Ответить | Цитировать | Написать  
Импорт экспорт данных в Cache
    #39225987
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
servit
Участник
Alexey MaslovНа вскидку: размер файла (до, да и после сжатия) в случае "нативного" формата "V" значительно больше, чем в ff, т.к. отсутствует компрессия ключейЕсли нужна скорость и минимизация размера от 7-го типа и при этом гибкость от 5-го типа, то конечно без своего типа не обойтись. Или написать в WRC.
...
Рейтинг: 0 / 0
27.04.2016, 17:53
| Ответить | Цитировать | Написать  
Импорт экспорт данных в Cache
    #39226062
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Maslov
Участник
servitУ меня WinRar, Far нормально распознают полученный *.gz и распаковывают.
7za, думаю, тоже должен справиться...Вы абсолютно правы, нашёл старый код, который формирует файл совместимого с gzip формата. Мелкое отличие моего кода от вашего: у меня используется искусственный запуск gzip:
Код: javascript
1.
	w line(i),line(i+1),*-99 ; искусственный более редкий запуск компрессии, чтобы улучшить степень сжатия (?)

уже не помню, где подсмотрел, и зачем это было нужно - но работает.
...
Рейтинг: 0 / 0
27.04.2016, 18:47
| Ответить | Цитировать | Написать  
Импорт экспорт данных в Cache
    #39226303
Шваров Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шваров Евгений
Участник
servitМожет быть кому-нибудь пригодится: Chapter 10 — Additional Global Utilities
То же самое можно выполнить программно через методы класса %Global, например:
 
Экспорт части данных двух глобалов из разных областей в файл с упаковкой
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
#include %systemInclude

#dim ex As %Exception.AbstractException
try {
 $$$AddAllRoleTemporaryInTry
 new $namespace
 set $namespace="SAMPLES"

 s fileName="C:\Temp\export.go"

 s glbList("Sample.PersonD(:3)")=""
 s glbList("Sample.PersonD(10:12)")=""
 s glbList("Sample.PersonD(198:)")=""
 s glbList("|""DOCBOOK""|DocBook.Config")=""
 
 d $system.OBJ.DisplayError(##class(%Global).Export(,.glbList,fileName,,,"-d","UTF8",.skipped))

 ;zw skipped
 
 s source=##class(%Stream.FileBinary).%New()
 s source.Filename=fileName
 
 s fileGz=##class(%Stream.FileBinaryGzip).%New()
 s fileGz.Filename=fileName_".gz"
 d fileGz.CopyFromAndSave(source)
   
}catch(ex) {
 w ex.DisplayString(),!
}
PS: обратите внимание на утилиту %GCHANGE, позволяющую искать/заменять значение в глобале или выполнять произвольный код над найденными узлами.
В Портале также имеется подобный функционал .
Браво, servit!
Вот это сниппет, что называется в memories!
Оказывается все уже есть, если знать где искать и как применять.
А в DC можете его опубликовать?
...
Рейтинг: 0 / 0
28.04.2016, 08:34
| Ответить | Цитировать | Написать  
Импорт экспорт данных в Cache
    #39226304
Шваров Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шваров Евгений
Участник
Alexey Maslovservit,

Если соберусь писать статью, сравню разные подходы к задаче, спасибо за ваш.
Алексей, да, было бы здорово в вашей статье увидеть сравнение двух подходов.
...
Рейтинг: 0 / 0
28.04.2016, 08:35
| Ответить | Цитировать | Написать  
Импорт экспорт данных в Cache
    #39226408
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
servit
Участник
Шваров ЕвгенийОказывается все почти уже есть , если знать где искать и как применять .+1Шваров ЕвгенийА в DC можете его опубликовать?Пока рано, сперва нужно кое-что решить (детали у Николая Жохова).
...
Рейтинг: 0 / 0
28.04.2016, 10:52
| Ответить | Цитировать | Написать  
Импорт экспорт данных в Cache
    #39240806
D_De1mos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
D_De1mos
Участник
У нас самописная система сбора данных для выгрузки/загрузки связанных данных "Электронное дело".
Получаем на вход целевой объект из БД (в принципе можно и выборку) и начинаем по этим данным формировать дерево связей и по нему выгружать все это дело в xml
На принимающей стороне аналогичный загрузчик - собираем по xml дерево и вносим его в БД
+ проверки выгрузки справочников (чтобы за ними всю базу не утянуть), ту и всякие там проверки на циклы и т.д.

Сейчас в разработке еще один механизм для формирования и передачи витрин данных для аналитики
...
Рейтинг: 0 / 0
22.05.2016, 00:18
| Ответить | Цитировать | Написать  
Импорт экспорт данных в Cache
    #39241229
Шваров Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шваров Евгений
Участник
servitМожет быть кому-нибудь пригодится: Chapter 10 — Additional Global Utilities
То же самое можно выполнить программно через методы класса %Global, например:
 
Экспорт части данных двух глобалов из разных областей в файл с упаковкой
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
#include %systemInclude

#dim ex As %Exception.AbstractException
try {
 $$$AddAllRoleTemporaryInTry
 new $namespace
 set $namespace="SAMPLES"

 s fileName="C:\Temp\export.go"

 s glbList("Sample.PersonD(:3)")=""
 s glbList("Sample.PersonD(10:12)")=""
 s glbList("Sample.PersonD(198:)")=""
 s glbList("|""DOCBOOK""|DocBook.Config")=""
 
 d $system.OBJ.DisplayError(##class(%Global).Export(,.glbList,fileName,,,"-d","UTF8",.skipped))

 ;zw skipped
 
 s source=##class(%Stream.FileBinary).%New()
 s source.Filename=fileName
 
 s fileGz=##class(%Stream.FileBinaryGzip).%New()
 s fileGz.Filename=fileName_".gz"
 d fileGz.CopyFromAndSave(source)
   
}catch(ex) {
 w ex.DisplayString(),!
}
PS: обратите внимание на утилиту %GCHANGE, позволяющую искать/заменять значение в глобале или выполнять произвольный код над найденными узлами.
В Портале также имеется подобный функционал .

А что-то не работают ссылки на документацию... Интересно.
...
Рейтинг: 0 / 0
23.05.2016, 10:52
| Ответить | Цитировать | Написать  
Импорт экспорт данных в Cache
    #39241251
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
servit
Участник
Шваров ЕвгенийА что-то не работают ссылки на документацию...Исправил, уже работают.Шваров ЕвгенийИнтересно.Ничего интересного. Просто экспериментируют с rewrite url.
...
Рейтинг: 0 / 0
23.05.2016, 11:13
| Ответить | Цитировать | Написать  
9 сообщений из 34, страница 2 из 2
  2  все
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Импорт экспорт данных в Cache
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=39&gotonew=1&tid=1556472]:
 0ms
get settings:
 11ms
get forum list:
 11ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 28ms
get topic data:
 10ms
get first new msg:
 7ms
get forum data:
 2ms
get page messages:
 57ms
get tp. blocked users:
 1ms
others: 294ms
total:  429ms
созд. / загр.: 429ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]