ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / 1С [игнор отключен] [закрыт для гостей] / Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
25 сообщений из 27, страница 1 из 2
  1  все
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38819080
_Серега_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Серега_
Участник
Выполняю импорт из текстового файла в справочник. В справочнике 5 текстовых полей.
После 5-10 мин работы-сообщение об ошибке: "недостаточно памяти". За это время в цикле добавляется 19 000 +- записей. В диспетчере задач Windows у процесса 1сv8 память постоянно увеличивается, доходит до 1,5 Гб и появляется сообщение об ошибке.
код программы:

Текст=Новый ЧтениеТекста(ИмяФайла, КодировкаТекста.ОЕМ);
Стр=Текст.ПрочитатьСтроку();
Пока СТР<>Неопределено Цикл
Стр=Текст.ПрочитатьСтроку();

//обработать
ЭлСпр=Справочники.Справочник1.СоздатьЭлемент();
//заполнить поля
ЭлСпр.Записать();
КонецЦикла;



даже без обработки строк и заполнения полей справочника память выделяется и не освобождается.Использую MsSql Server2008 r2, 1c v8.2.18.61
...
Рейтинг: 0 / 0
28.11.2014, 10:05
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38819191
Титов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Титов
Участник
_Серега_,

а ты на серве делаешь!?
...
Рейтинг: 0 / 0
28.11.2014, 11:11
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38819254
javapecker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
javapecker
Участник
Титов, а ты на серве делаешь!? А почему нет?
...
Рейтинг: 0 / 0
28.11.2014, 11:36
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38819260
Титов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Титов
Участник
javapecker,

не понял вопроса!
...
Рейтинг: 0 / 0
28.11.2014, 11:40
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38819919
Программист 1с
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программист 1с
Участник
Текст=Новый ЧтениеТекста(ИмяФайла, КодировкаТекста.ОЕМ);
Стр=Текст.ПрочитатьСтроку();
Пока СТР<>Неопределено Цикл
Стр=Текст.ПрочитатьСтроку();
КонецЦикла;


Это вызывает обрушение?
...
Рейтинг: 0 / 0
28.11.2014, 18:28
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38820184
_Серега_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Серега_
Участник
Программист 1с,

Как раз этот код и не приводит к постоянному выделению памяти.
Если в цикле выполнить добавление записи-график сразу ползет вверх.

ЭлСпр=Справочники.Справочник1.СоздатьЭлемент();
ЭлСпр.Записать();

Вообще, добавлять несколько миллионов записей по одной-это не правильно в принципе. В 1С есть способ пакетной загрузки данных?
Типа Select...Insert

Пробую решить задачу средствами MSSQL. Получается на три порядка быстрее.
В 1С за 10мин 15-20 тис. записей
На скл за 13 - 1.5 млн
...
Рейтинг: 0 / 0
29.11.2014, 10:10
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38820324
Программист 1с
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программист 1с
Участник
В транзакции по 1000 записей добавляйте. Не должно вылетать.
...
Рейтинг: 0 / 0
29.11.2014, 17:46
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38820510
wamaco
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wamaco
Участник
_Серега_Выполняю импорт из текстового файла в справочник. В справочнике 5 текстовых полей.
После 5-10 мин работы-сообщение об ошибке: "недостаточно памяти". За это время в цикле добавляется 19 000 +- записей. В диспетчере задач Windows у процесса 1сv8 память постоянно увеличивается, доходит до 1,5 Гб и появляется сообщение об ошибке.
код программы:

Текст=Новый ЧтениеТекста(ИмяФайла, КодировкаТекста.ОЕМ);
Стр=Текст.ПрочитатьСтроку();
Пока СТР<>Неопределено Цикл
Стр=Текст.ПрочитатьСтроку();

//обработать
ЭлСпр=Справочники.Справочник1.СоздатьЭлемент();
//заполнить поля
ЭлСпр.Записать();
КонецЦикла;



даже без обработки строк и заполнения полей справочника память выделяется и не освобождается.Использую MsSql Server2008 r2, 1c v8.2.18.61

все просто. зацикл идет и все!
надо так:

Текст = Новый ТекстовыйДокумент;
Текст.Прочитать(ИмяФайла);

Для НомерСтроки = 1 По Текст.КоличествоСтрок() Цикл
Стр = Текст.ПолучитьСтроку(НомерСтроки);
//обработать
ЭлСпр=Справочники.Справочник1.СоздатьЭлемент();
//заполнить поля
ЭлСпр.Записать();
КонецЦикла;
...
Рейтинг: 0 / 0
30.11.2014, 02:01
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38820767
Программист 1с
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программист 1с
Участник
wamaco, что такое зацикл?

и чем пример автора отличается от канонического написанного в хелпе?
...
Рейтинг: 0 / 0
30.11.2014, 17:43
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38820930
wamaco
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wamaco
Участник
Программист 1сwamaco, что такое зацикл?

и чем пример автора отличается от канонического написанного в хелпе?

зацикл - это зацикливание цикла!

Стр=Текст.ПрочитатьСтроку();
Пока СТР<>Неопределено Цикл
Стр=Текст.ПрочитатьСтроку();

2 раза читает строку...
...
Рейтинг: 0 / 0
01.12.2014, 00:05
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38820949
javapecker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
javapecker
Участник
wamaco, а зацикливание то где? у автора ошибка в цикле только в том, что чтение следующей строки должно быть в конце цикла а не в начале.
...
Рейтинг: 0 / 0
01.12.2014, 01:24
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38821219
Программист 1с
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программист 1с
Участник
javapeckerwamaco, а зацикливание то где? у автора ошибка в цикле только в том, что чтение следующей строки должно быть в конце цикла а не в начале.+1.

Насколько я понимаю у автора просто не читается первая строка. А все остальные замечательно читаются.
...
Рейтинг: 0 / 0
01.12.2014, 11:50
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38821337
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AHDP
Участник
Программист 1с,

думаю он просто пропускает заголовки. Но вместо завершения цикла получит ошибку, обратившись через точку к переменной Неопределено.
...
Рейтинг: 0 / 0
01.12.2014, 13:29
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38821358
Программист 1с
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программист 1с
Участник
AHDPПрограммист 1с,

думаю он просто пропускает заголовки. Но вместо завершения цикла получит ошибку, обратившись через точку к переменной Неопределено.Но тогда он не ругался бы об ошибке переполнение памяти. А последний элемент просто создался с пустым наименованием.
...
Рейтинг: 0 / 0
01.12.2014, 13:56
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38821362
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AHDP
Участник
На память он ругается в середине цикла. До этой ошибки он ещё не дошёл. Хотя конечно он может и дважды проверять на Неопределено, но это уже изврат.
...
Рейтинг: 0 / 0
01.12.2014, 14:01
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38821364
javapecker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
javapecker
Участник
в любом случае, в этом коде память не должна отжираться. Наверное нам чего-то не договаривают.
...
Рейтинг: 0 / 0
01.12.2014, 14:02
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38821832
Программист 1с
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программист 1с
Участник
javapeckerв любом случае, в этом коде память не должна отжираться. Наверное нам чего-то не договаривают.Как вариант открытая транзакция. Либо версия платформы?
...
Рейтинг: 0 / 0
01.12.2014, 19:27
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38821952
wamaco
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wamaco
Участник
javapeckerwamaco, а зацикливание то где? у автора ошибка в цикле только в том, что чтение следующей строки должно быть в конце цикла а не в начале.

я не сказал, что зацикливание видно в его представленном коде. я просто уверен, что пожирание памяти связано
с бесконечным циклом, в куске кода, который автор не показывает!
...
Рейтинг: 0 / 0
01.12.2014, 21:05
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38821953
wamaco
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wamaco
Участник
Программист 1сjavapeckerwamaco, а зацикливание то где? у автора ошибка в цикле только в том, что чтение следующей строки должно быть в конце цикла а не в начале.+1.

Насколько я понимаю у автора просто не читается первая строка. А все остальные замечательно читаются.

поэтому я и предложил вариант

Текст = Новый ТекстовыйДокумент;
Текст.Прочитать(ИмяФайла);

Для НомерСтроки = 1 По Текст.КоличествоСтрок() Цикл
Стр = Текст.ПолучитьСтроку(НомерСтроки);
//обработать
ЭлСпр=Справочники.Справочник1.СоздатьЭлемент();
//заполнить поля
ЭлСпр.Записать();
КонецЦикла;

он понятнее и исключает потенциальные логические ошибки новичков!
...
Рейтинг: 0 / 0
01.12.2014, 21:07
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38822047
javapecker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
javapecker
Участник
wamaco,
он понятнее и исключает потенциальные логические ошибки новичков!Понятнее - это субъективно. А вот то что исключает ошибки это верно - кроме этих двух строчек других ошибок и не надоТекст = Новый ТекстовыйДокумент;
Текст.Прочитать(ИмяФайла); 3 гига в память попробуем загнать сразу, и даже до цикла не дойдем). Да и бесконечный цикл вовсе не означает утечку памяти.
...
Рейтинг: 0 / 0
01.12.2014, 23:37
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38822083
wamaco
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wamaco
Участник
javapeckerwamaco,
Текст = Новый ТекстовыйДокумент;
Текст.Прочитать(ИмяФайла); 3 гига в память попробуем загнать сразу, и даже до цикла не дойдем). Да и бесконечный цикл вовсе не означает утечку памяти.

строчка Текст.Прочитать(ИмяФайла); - не означает, что мы "загоняем" все 3 Гига в память!

"Бесконечный цикл вовсе не означает утечку памяти." - полностью согласен! Но у 1С это так!
Попробуйте сделать бесконечный цикл и посмотрите Диспетчер задач, как растет объем используемой памяти!
Это сугубо эксперимент. Почему так, не хочу даже понимать и разбираться!
Поэтому и предположил такой расклад!
...
Рейтинг: 0 / 0
02.12.2014, 01:48
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38822119
Титов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Титов
Участник
wamaco,

нифига подобного у 1С не всегда это так!!! я рекурсией рассчитываю себестоимость память как была на одном уровне так и осталась!
мне кажется что здесь проблема кроется в переменной СТР автора где-то что-то в обработке он накосячил.
...
Рейтинг: 0 / 0
02.12.2014, 06:23
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38822243
javapecker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
javapecker
Участник
wamaco,строчка Текст.Прочитать(ИмяФайла); - не означает, что мы "загоняем" все 3 Гига в память! Очень интересно, что же это по вашему означает. Попробуйте сделать бесконечный цикл и посмотрите Диспетчер задач, как растет объем используемой памяти!
Это сугубо эксперимент Я то как раз пробовал, и справку читал.
...
Рейтинг: 0 / 0
02.12.2014, 10:29
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38822245
Последний выдох ГПЖ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Последний выдох ГПЖ
Участник
а вычленить что конкретно вызывает утечку удалось? чтение файла или создание запись элементов?

первое можно вычленить из списка подозреваемых заменив на чтение через fso
...
Рейтинг: 0 / 0
02.12.2014, 10:29
| Ответить | Цитировать | Написать  
Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
    #38822249
Последний выдох ГПЖ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Последний выдох ГПЖ
Участник
помню были еще какие-то феньки влекущие за собой утечку но там надо было устроить "зацикливание" из кода и реквизитов формы
...
Рейтинг: 0 / 0
02.12.2014, 10:34
| Ответить | Цитировать | Написать  
25 сообщений из 27, страница 1 из 2
  1  все
Форумы / 1С [игнор отключен] [закрыт для гостей] / Недостаточно памяти при выполнении импорта текстового файла большого размера (3 ГБ)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/search_topic.php?author=Dr+Firs&author_mode=last_posts&do_search=1]:
 0ms
get settings:
 9ms
get forum list:
 14ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 78ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 60ms
get tp. blocked users:
 1ms
others: 441ms
total:  648ms
созд. / загр.: 648ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]