ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / C++ [игнор отключен] [закрыт для гостей] / Как быстро вставить 500М из текстового файла?
25 сообщений из 42, страница 1 из 2
  1  все
Как быстро вставить 500М из текстового файла?
    #33960563
anonymous99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
anonymous99
Гость
Интересует методология.
Клиенту на C++ надо из текстового файла вставить данные. Допустим там 3 поля через запятую.
Подскажите или ткните, где прочитать об этом
...
Рейтинг: 0 / 0
03.09.2006, 12:22
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33960863
сикока
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
сикока
Гость
"быстро"

что под этим понимается?

если имеется ввиду максимально возможная скорость, то скорее всего это будет сильно зависеть от того, куда вставлять, скореость чтение будет ограничено скоростью работы носителя, на всякий случай, при открытии файла поставь флажок (не помню как называется), оптимизирует последовательный доступ.
...
Рейтинг: 0 / 0
03.09.2006, 21:56
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33960905
Карабас Барабас
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Карабас Барабас
Участник
anonymous99 a> Интересует методология.
a> Клиенту на C++ надо из текстового файла вставить данные.
a> Допустим там 3 поля через запятую
Ты не указал среду разрабоки. Ты не указал ОС. Так же не раскрыта тема "вставить". Куда ? Зачем ? Что вставлять ?
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
03.09.2006, 22:30
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33961343
Akh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akh
Участник
Общая рекомендация для таких вопросов - читать большими блоками, кратными размеру кластера.
...
Рейтинг: 0 / 0
04.09.2006, 10:37
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33961844
maXmo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
maXmo
Участник
на виндах можно ещё буферизацию отключить для пущей важности (последовательный доступ, увы, тормозит ощутимо), но для этого, гы, придётся приложить усилия :)
...
Рейтинг: 0 / 0
04.09.2006, 12:51
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962143
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kolobok0
Участник
anonymous99Интересует методология.
Клиенту на C++ надо из текстового файла вставить данные. Допустим там 3 поля через запятую.
Подскажите или ткните, где прочитать об этом

тут рекомендуют большими блоками - не верьте, это враки... размер блоков ДОЛЖНЫ быть подобраны так, чтобы их ЧТЕНИЕ и ОБРАБОТКА занимала бы одинаковое время. по поводу мега-супер длинных блоков, сам когда то (лет 15 назад) думал..оказалось - не оказалось...тогда блок обработки данных оказался "всего" 1500-2000 байт...это время обработки блока данных был приблизительно равен чтению его с винта...

как это добиться...
очень просто...
делаете настраиваемый параметр - длину блока и начинаете с ним играться...результат Вас удивит :)

с уважением
(круглый)
...
Рейтинг: 0 / 0
04.09.2006, 14:08
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962205
Akh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akh
Участник
kolobok0 anonymous99Интересует методология.
Клиенту на C++ надо из текстового файла вставить данные. Допустим там 3 поля через запятую.
Подскажите или ткните, где прочитать об этом

тут рекомендуют большими блоками - не верьте, это враки... размер блоков ДОЛЖНЫ быть подобраны так, чтобы их ЧТЕНИЕ и ОБРАБОТКА занимала бы одинаковое время. по поводу мега-супер длинных блоков, сам когда то (лет 15 назад) думал..оказалось - не оказалось...тогда блок обработки данных оказался "всего" 1500-2000 байт...это время обработки блока данных был приблизительно равен чтению его с винта...

как это добиться...
очень просто...
делаете настраиваемый параметр - длину блока и начинаете с ним играться...результат Вас удивит :)

с уважением
(круглый)

Ничем не обосновано.

Если обработка данных у вас занимает значительное время, тогда используйте двойную буферизацию.
...
Рейтинг: 0 / 0
04.09.2006, 14:19
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962207
сикока
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
сикока
Гость
для начала необходимо определиться с понятием "быстро".
может быть файл открывается не как бинарный, а как текстовый и чтение идёт по строчкам и тормозняки связаны с неоптимальной обработкой данных функцией считывания.

а может быть начинают читать всё сразу в память, а там памяти не хватает и своп начинает работать.

опять же куда вставлять - если в локальную БД, то она может начать тормозить так, что все остальные разговоры окажутся бессмысленными, а может быть вставка идёт по записи, а может быть вставка через сеть, которая тормозит.

:)
...
Рейтинг: 0 / 0
04.09.2006, 14:19
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962257
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kolobok0
Участник
Akh...Ничем не обосновано....Если обработка данных у вас занимает значительное время, тогда используйте двойную буферизацию.

Вы не поняли уважаемый...
1) Обосновано чиссо научным подходом к осмыслению полученных реальных результатов...
2) То, что сказал я - НЕ зависит ОТ способа, алгоритма, кол-во кэшей, буферов и т.д. и т.п..
3) Если Вы чего то не понимаете или не знаете - это не значит, что этого нет :) (С)

Пример...
Если Вы сделаете двадцатипятерную супер-мега буфферизацию, и будете читать по супер-мега блоками...И обрабатывать эти супер-мега блоки по 30 минут - то лично я ЗАЯВЛЯЮ - данный алгоритм НЕ ОПТИМАЛЕН...


И как говорил один профессор математики, выводя на память очередное док-во на доске...-"Кто не верит - пусть проверит."


с уважением
(круглый)
...
Рейтинг: 0 / 0
04.09.2006, 14:27
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962280
anonymous99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
anonymous99
Гость
Меня интересует базовый подходы. OC - Unix. Как оптимизация должна быть сделана на стороне клиента? Какие алгоритмы надо использовать при обработки больших файлов?
Абстрагируясь от скорости БД, скорости работы носителя.
Вставить надо в SQL-ную таблицу, в которой 3 поля. Ф.И.О.
Вставлять надо из текстового файлы, где поля разделены запятой.
...
Рейтинг: 0 / 0
04.09.2006, 14:30
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962281
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kolobok0
Участник
Akh...тогда используйте двойную буферизацию.


в догонку вопрос...
индексные страницы никогда не строили , уважаемый ?
если да - расскажите пожалуйста каков размер был их... и каков размер индексных страниц в аналогичной бд ?


гы..
(круглый)
...
Рейтинг: 0 / 0
04.09.2006, 14:30
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962295
Akh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akh
Участник
kolobok0Вы не поняли уважаемый...
1) Обосновано чиссо научным подходом к осмыслению полученных реальных результатов...
2) То, что сказал я - НЕ зависит ОТ способа, алгоритма, кол-во кэшей, буферов и т.д. и т.п..
3) Если Вы чего то не понимаете или не знаете - это не значит, что этого нет :) (С)

Пример...
Если Вы сделаете двадцатипятерную супер-мега буфферизацию, и будете читать по супер-мега блоками...И обрабатывать эти супер-мега блоки по 30 минут - то лично я ЗАЯВЛЯЮ - данный алгоритм НЕ ОПТИМАЛЕН...


И как говорил один профессор математики, выводя на память очередное док-во на доске...-"Кто не верит - пусть проверит."


с уважением
(круглый)

Теперь выше предложение напоминает американскую пропоганду товаров, где пол часа рассказывают одно и тоже пытаясь добиться, чтобы им поверили.

Пункт 1 - голословен.
...
Рейтинг: 0 / 0
04.09.2006, 14:33
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962306
Akh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akh
Участник
kolobok0 Akh...тогда используйте двойную буферизацию.


в догонку вопрос...
индексные страницы никогда не строили , уважаемый ?
если да - расскажите пожалуйста каков размер был их... и каков размер индексных страниц в аналогичной бд ?


гы..
(круглый)

На вертолете не летали?
...
Рейтинг: 0 / 0
04.09.2006, 14:35
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962317
сикока
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
сикока
Гость
anonymous99Какие алгоритмы надо использовать при обработки больших файлов?
Абстрагируясь от скорости БД, скорости работы носителя.


алгоритмы чего?
разделения текстовой строки на три поля?
...
Рейтинг: 0 / 0
04.09.2006, 14:35
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962324
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kolobok0
Участник
AkhНа вертолете не летали?

было дело...это относиться к теме ?

(круглый)
ЗЫ
Я так понимаю, пошло словоблудие...
...
Рейтинг: 0 / 0
04.09.2006, 14:37
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962327
Akh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akh
Участник
anonymous99Абстрагируясь от скорости БД, скорости работы носителя.

Вопрос в опитимизации Линукс и БД? Тогда вам в соответствующие форумы.
...
Рейтинг: 0 / 0
04.09.2006, 14:37
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962339
Akh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akh
Участник
kolobok0 AkhНа вертолете не летали?

было дело...это относиться к теме ?

(круглый)
ЗЫ
Я так понимаю, пошло словоблудие...

По всей видимости, мы говорим про разные проблемы.
...
Рейтинг: 0 / 0
04.09.2006, 14:39
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962360
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kolobok0
Участник
AkhПо всей видимости, мы говорим про разные проблемы.

OFF
кстати говоря - вертолёт не плохая весчь. и прыгать с него...и летать... тех, кого проектирует сие дивные машины в обиходе называют шестерёнщиками...щестерёнок там много... несколько тысяч...от так вот...

кстати, ышо красиво взлетают и садятся гидросамолёты... особенно единственный в мире советский а40...


(круглый)
...
Рейтинг: 0 / 0
04.09.2006, 14:42
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962404
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kolobok0
Участник
kolobok0...кстати, ышо красиво взлетают и садятся гидросамолёты... особенно единственный в мире советский а40...

OFF
ышо не плохо сидеть на месте штурмана в момент взлёта и посадки в ил76тд - зрелище ещё то...спать в его заглушках мона, но на диванчике ан8 то же мона...яки трясуться при взлёте, но перегрузки на них прикольно переносить...


не давайте лучше по программирование...или электронику например...
вот помню в дестве лет 30 назад передатчики лепили, всего на одном мп39 и феритовом стержне...хана всем приёмникам в радиусе несколько метров...


(круглый)
ЗЫ
что то я енто...обо всём :)
...
Рейтинг: 0 / 0
04.09.2006, 14:52
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962462
Akh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akh
Участник
kolobok0 kolobok0...кстати, ышо красиво взлетают и садятся гидросамолёты... особенно единственный в мире советский а40...

OFF
ышо не плохо сидеть на месте штурмана в момент взлёта и посадки в ил76тд - зрелище ещё то...спать в его заглушках мона, но на диванчике ан8 то же мона...яки трясуться при взлёте, но перегрузки на них прикольно переносить...


не давайте лучше по программирование...или электронику например...
вот помню в дестве лет 30 назад передатчики лепили, всего на одном мп39 и феритовом стержне...хана всем приёмникам в радиусе несколько метров...


(круглый)
ЗЫ
что то я енто...обо всём :)

Все нормально? ;)

ЗЫ: у яков 40-х какой-то шланг, возле правого крыла, при посадке переодически отпаливается. Заправочный что ли...
...
Рейтинг: 0 / 0
04.09.2006, 15:04
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962467
anonymous99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
anonymous99
Гость
Понимаете, я же не могу сделать строку const char * или string бесконечной длины. Это будет не эффективно. Мне нужно знать как разбить на запросы этот процесс вставки? По какому принципу?
Разбор строки по запятой не интересует.
...
Рейтинг: 0 / 0
04.09.2006, 15:05
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962554
Карабас Барабас
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Карабас Барабас
Участник
anonymous99По какому принципу?
выделяешь кусок данных, соответствующий одной записи
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
04.09.2006, 15:24
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962590
anonymous99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
anonymous99
Гость
По одной записи что ли вставлять?
...
Рейтинг: 0 / 0
04.09.2006, 15:32
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962619
Карабас Барабас
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Карабас Барабас
Участник
anonymous99По одной записи что ли вставлять?куда вставлять-то ?
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
04.09.2006, 15:38
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33962665
Dmitrii K.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dmitrii K.
Участник
anonymous99Меня интересует базовый подходы. OC - Unix. Как оптимизация должна быть сделана на стороне клиента? Какие алгоритмы надо использовать при обработки больших файлов?
Абстрагируясь от скорости БД, скорости работы носителя.
Вставить надо в SQL-ную таблицу, в которой 3 поля. Ф.И.О.
Вставлять надо из текстового файлы, где поля разделены запятой.
БД какая? Некоторые из них умеют "заливаться" данными при помощи специализированных утилит (например SQL*Loader для Oracle), причём делают это вполне эффективно.
Возможно, стоит пойти именно таким путём...


OFFTOP:
to Горячие финские парни: Вы чего разошлись-то? Да ещё с понедельника...
...
Рейтинг: 0 / 0
04.09.2006, 15:52
| Ответить | Цитировать | Написать  
25 сообщений из 42, страница 1 из 2
  1  все
Форумы / C++ [игнор отключен] [закрыт для гостей] / Как быстро вставить 500М из текстового файла?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=57&fpage=336&tid=2030546]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 26ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 63ms
get tp. blocked users:
 2ms
others: 242ms
total:  370ms
созд. / загр.: 370ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]