Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
Хочу поделиться опытом. Может пригодится кому-нибудь : -) Нужно было загрузить файлик с примерно миллионом записей. С виду обычный текст. BCP возвращало ошибку переполнения буфера при переводе текста из формата клиента в формат сервера. Чего только не пробовал: -с, -n, все поля в целевой таблице varchar(255), уменьшал размеры батчей, "пилил" загрузку на несколько команд - ничего не помогало. Оказалось, что нужно было ключик -Jutf8 поставить. Всё сразу заработало :-) Странно, что ASE не смог автоматически распознать юникодовский файл. Версия ASE12.5.4 под Linux ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.11.2007, 22:08 |
|
||
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
К вам такой вопрос - А на каком основании ASE это должен был распознать???? Что он должен был парсировать каждую текстовую переменную, на наличе в ней unicode символов?? ASE не делает такого, как впрочем и другие сервера БД. Клиент должен явно указать тип кодировки через флаг -J или ASE возьмет дефолтную кодировку из locales.dat ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.11.2007, 11:11 |
|
||
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
moris пишет: > К вам такой вопрос - А на каком основании ASE это должен был > распознать???? Что он должен был парсировать каждую текстовую > переменную, на наличе в ней unicode символов?? Так главное - это НЕВОЗМОЖНО сделать вообще ! Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.11.2007, 12:26 |
|
||
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
morisК вам такой вопрос - А на каком основании ASE это должен был распознать???? Что он должен был парсировать каждую текстовую переменную, на наличе в ней unicode символов?? ASE не делает такого, как впрочем и другие сервера БД. Клиент должен явно указать тип кодировки через флаг -J или ASE возьмет дефолтную кодировку из locales.dat ну хочется Kru, чтобы там был эвристический анализатор, ну хочется ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.11.2007, 14:14 |
|
||
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
Совсем маленькое количество строк всё-таки можно загрузить и символы читабельные. Получается, что сервер их смог сконвертировать в свою кодировку, т.е. он как-то "понял" что это был юникод. Судя по тому, что на немного большем количестве записей подобная конвертация выедает всю память, такое "понимание" очень дорого обходится. Но всё-таки - если дают текстовый файл который нужно загрузить BCP на сервер, получается, что кодирову очень желательно выяснить заранее. Как понять, что это Unicode или какая-нибудь другая кодировка распознавание которой будет накладным? Те, кому приходится грузить файлы из разных источников, поделитесь опытом подготовки к загрузке. Заранее спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.11.2007, 18:03 |
|
||
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
договориться чтобы присылали только utf8 например. или чтобы вместе с файлами присылали и кодировку с которой выгрузили данные. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.11.2007, 18:43 |
|
||
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
Dmitry.договориться чтобы присылали только utf8 например. или чтобы вместе с файлами присылали и кодировку с которой выгрузили данные. А имея файл можно как-нибудь ( недорого : -) ) узнать его кодировку? Спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.11.2007, 22:11 |
|
||
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
Kru Dmitry.договориться чтобы присылали только utf8 например. или чтобы вместе с файлами присылали и кодировку с которой выгрузили данные. А имея файл можно как-нибудь ( недорого : -) ) узнать его кодировку? Спасибо имхо, в общем случае это довольно проблематично, если у текстового файла нет закголовка с указанием кодировки ;) например, файл с цифрами - как вы определите DOS или WIN кодировка ? все перекодировщики, которые я видел, оставляли принятие решения о правильности выбора кодировки на суд хомо сапиенса. тулза ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.11.2007, 01:15 |
|
||
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
Kru Dmitry.договориться чтобы присылали только utf8 например. или чтобы вместе с файлами присылали и кодировку с которой выгрузили данные. А имея файл можно как-нибудь ( недорого : -) ) узнать его кодировку? если задача различить utf8 и 1251 например то есть алгоритм который может ответить если файл содержит корректную utf8 кодировку. здесь см ф-ю isLegalUTF8. но например различить iso_1 roman8 1251 практически невозможно разве что делать словарь итд... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.11.2007, 11:46 |
|
||
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
Есть такая тулзень которая определяет кодировку на основе словаря. Называется Штирлиц ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.11.2007, 15:49 |
|
||
|
bcp -Jutf8
|
|||
|---|---|---|---|
|
#18+
komrad Kru Dmitry.договориться чтобы присылали только utf8 например. или чтобы вместе с файлами присылали и кодировку с которой выгрузили данные. А имея файл можно как-нибудь ( недорого : -) ) узнать его кодировку? Спасибо имхо, в общем случае это довольно проблематично, если у текстового файла нет закголовка с указанием кодировки ;) например, файл с цифрами - как вы определите DOS или WIN кодировка ? все перекодировщики, которые я видел, оставляли принятие решения о правильности выбора кодировки на суд хомо сапиенса. тулза Спасибо за ссылку. Прикольная тулза :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.11.2007, 16:45 |
|
||
|
|
start [/forum/topic.php?fid=55&fpage=57&tid=2011791]: |
0ms |
get settings: |
7ms |
get forum list: |
17ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
31ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
31ms |
get tp. blocked users: |
1ms |
| others: | 250ms |
| total: | 353ms |
| 0 / 0 |
