ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Загрузка и обработка данных из текстового файла большого размера
25 сообщений из 53, страница 2 из 3
  2  все
Загрузка и обработка данных из текстового файла большого размера
    #39006118
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
saxixавторCSV Import
...

Так тоже медленно работает?

С sqlite не работал, собирался потестить но так и не собрался. Читал немного, если не путаю, там есть вариант переключения в режим без фиксации изменений на диск, надежность исчезает, зато получается скорость. Для вставки больших объемов то что надо.
...
Рейтинг: 0 / 0
13.07.2015, 16:14
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006124
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
saxixПопробовал sqlLite и грузить данные через insert into....скорость около 1000 записей в минуту (((
Тут пишут миллион за полминуты
...
Рейтинг: 0 / 0
13.07.2015, 16:19
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006126
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Изопропил
Участник
saxixВообще пока нет представления о размере файла и алгоритме обработки,
может сначала лучше определиться ?

а потом технологию подбирать
...
Рейтинг: 0 / 0
13.07.2015, 16:20
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006134
saxix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
saxix
Участник
ИзопропилsaxixВообще пока нет представления о размере файла и алгоритме обработки,
может сначала лучше определиться ?

а потом технологию подбирать
попросили ))))
...
Рейтинг: 0 / 0
13.07.2015, 16:29
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006137
saxix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
saxix
Участник
Dima TsaxixПопробовал sqlLite и грузить данные через insert into....скорость около 1000 записей в минуту (((
Тут пишут миллион за полминуты
Попробую с transaction. У меня еще полей в файле полсотни
...
Рейтинг: 0 / 0
13.07.2015, 16:30
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006145
saxix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
saxix
Участник
saxixDima Tпропущено...

Тут пишут миллион за полминуты
Попробую с transaction. У меня еще полей в файле полсотни
Хрень какая-то. 2000 записей за 2 секунды. Поставил commit на каждой сотой записи и так скорость возросла. Спасибо за подсказку
...
Рейтинг: 0 / 0
13.07.2015, 16:39
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006158
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
saxixsaxixпропущено...

Попробую с transaction. У меня еще полей в файле полсотни
Хрень какая-то. 2000 записей за 2 секунды. Поставил commit на каждой сотой записи и так скорость возросла. Спасибо за подсказку
Это стандартный прием для любой СУБД, т.к. без транзакции фиксация изменений происходит после каждой записи.
Попробуй с разобраться с CSV Import, думаю еще быстрее будет.

Советую профильный форум почитать, поспрашивать, может еще чего подскажут. Немного почитал, предлагают CSV Import использовать в подобных ситуациях.
...
Рейтинг: 0 / 0
13.07.2015, 16:49
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006169
saxix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
saxix
Участник
Dima Tsaxixпропущено...

Хрень какая-то. 2000 записей за 2 секунды. Поставил commit на каждой сотой записи и так скорость возросла. Спасибо за подсказку
Это стандартный прием для любой СУБД, т.к. без транзакции фиксация изменений происходит после каждой записи.
Попробуй с разобраться с CSV Import, думаю еще быстрее будет.

Советую профильный форум почитать, поспрашивать, может еще чего подскажут. Немного почитал, предлагают CSV Import использовать в подобных ситуациях.
Да как-то не хочется дергать внешние программы. Но если записей будет много, то придется.
...
Рейтинг: 0 / 0
13.07.2015, 16:58
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006185
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Изопропил
Участник
saxixДа как-то не хочется дергать внешние программы
по религиозным мотивам?
...
Рейтинг: 0 / 0
13.07.2015, 17:04
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006207
saxix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
saxix
Участник
ИзопропилsaxixДа как-то не хочется дергать внешние программы
по религиозным мотивам?
Что-то типа того. Это ж придется дополнительные программы таскать с дистрибутивом. И для каждой платформы свой дистрибутив (я на Java пишу )))))
...
Рейтинг: 0 / 0
13.07.2015, 17:15
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006537
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Неплохая статья про тюнинг sqlite http://habrahabr.ru/post/149635/
...
Рейтинг: 0 / 0
14.07.2015, 09:03
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006549
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Изопропил
Участник
saxixя на Java пишу )))
в мне показалось, что топик в разделе дотнет
...
Рейтинг: 0 / 0
14.07.2015, 09:11
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006626
dvim
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dvim
Участник
saxix,
Порядок размера файла есть?

Просто до нескольких гигабайт - вполне можно хранить в памяти и вовсю использовать тот же Linq для запросов.
Быстро, просто и относительно беспроблемно.

embedded СУБД применить нужно
Имхо если хранить данные не надо и в память влезает - то смысла нет.
Если данные надо хранить, тогда да.
Обычно embedded при больших базах работают, имхо, не идеально
...
Рейтинг: 0 / 0
14.07.2015, 09:49
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006634
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Изопропил
Участник
dvimИмхо если хранить данные не надо и в память влезаеттопикстартер не уверен в том, что данные уместятся в памяти
и неизвестно что с данными делать придётся

при таких исходных данных - только гипотезы можно строить
...
Рейтинг: 0 / 0
14.07.2015, 09:59
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006658
saxix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
saxix
Участник
Изопропилsaxixя на Java пишу )))
в мне показалось, что топик в разделе дотнет
Знаете, в данном случае разницы нет
Но здесь быстрее ответят )
...
Рейтинг: 0 / 0
14.07.2015, 10:18
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006682
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Изопропил
Участник
saxixЗнаете, в данном случае разницы нет
попробуй как derby себя поведёт со штатным SYSCS_UTIL.SYSCS_IMPORT_TABLE
...
Рейтинг: 0 / 0
14.07.2015, 10:36
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006701
saxix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
saxix
Участник
ИзопропилsaxixЗнаете, в данном случае разницы нет
попробуй как derby себя поведёт со штатным SYSCS_UTIL.SYSCS_IMPORT_TABLE
Derby поддерживает меньшее кол-во ОС
...
Рейтинг: 0 / 0
14.07.2015, 10:59
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39006932
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Изопропил
Участник
saxixDerby поддерживает меньшее кол-во ОС
ты точно на Java пишешь?
...
Рейтинг: 0 / 0
14.07.2015, 13:43
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39011244
saxix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
saxix
Участник
ИзопропилsaxixDerby поддерживает меньшее кол-во ОС
ты точно на Java пишешь?
Угу.
Короче. Загрузил я за 50 мин. 12 млн. записей. На select count запрос встал "ра..". Полей больше полусотни
...
Рейтинг: 0 / 0
20.07.2015, 12:57
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39011569
mikron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mikron
Участник
saxixИзопропилпропущено...

ты точно на Java пишешь?
Угу.
Короче. Загрузил я за 50 мин. 12 млн. записей. На select count запрос встал "ра..". Полей больше полусотни
Я как-то интересовался этим вопросом теоретически (читал исходники) без практического приментния. По старой памати: дерби это проверка академихеских концептов на практике. Больщего от неё не ожидайте. Смотреть надо на H2
...
Рейтинг: 0 / 0
20.07.2015, 16:26
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39011595
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Winnipuh
Участник
mikronsaxixпропущено...

Угу.
Короче. Загрузил я за 50 мин. 12 млн. записей. На select count запрос встал "ра..". Полей больше полусотни
Я как-то интересовался этим вопросом теоретически (читал исходники) без практического приментния. По старой памати: дерби это проверка академихеских концептов на практике. Больщего от неё не ожидайте. Смотреть надо на H2

H2 какая-то "одна из". В чем ее прелесть? Почему надо на нее смотреть? а не на Cassandra или типа того?
...
Рейтинг: 0 / 0
20.07.2015, 16:50
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39011621
mikron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mikron
Участник
Я не настаиваю. ИМХО это наиболее эквиваленто тому что делает автор сейчас - встроенная ДБ на той-же платформе. На касандре это уже другое архитектурное решение решение.
...
Рейтинг: 0 / 0
20.07.2015, 17:25
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39012663
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cat2
Модератор форума
saxixИзопропилпропущено...

ты точно на Java пишешь?
Угу.
Короче. Загрузил я за 50 мин. 12 млн. записей. На select count запрос встал "ра..". Полей больше полусотни
Потому что надо для таких количеств использовать нормальные базы, а не то "что бы без установки и что бы ничего не делать админам"
...
Рейтинг: 0 / 0
21.07.2015, 19:00
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39013085
saxix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
saxix
Участник
Cat2saxixпропущено...

Угу.
Короче. Загрузил я за 50 мин. 12 млн. записей. На select count запрос встал "ра..". Полей больше полусотни
Потому что надо для таких количеств использовать нормальные базы, а не то "что бы без установки и что бы ничего не делать админам"
ТЗ - есть ТЗ. Сам уже наткнулся на кучу "проблем". Если хочу использовать в скрипте функции SQRT и подобные .... математические - надо долго бубном стучать.
...
Рейтинг: 0 / 0
22.07.2015, 10:30
| Ответить | Цитировать | Написать  
Загрузка и обработка данных из текстового файла большого размера
    #39013114
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Изопропил
Участник
saxixТребуется по определенному алгоритму (пока не известен, но не в этом суть)
saxixТЗ - есть ТЗ.

у меня когнитивный диссонанс
...
Рейтинг: 0 / 0
22.07.2015, 10:47
| Ответить | Цитировать | Написать  
25 сообщений из 53, страница 2 из 3
  2  все
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Загрузка и обработка данных из текстового файла большого размера
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=20&msg=39006169&tid=1401345]:
 0ms
get settings:
 10ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 44ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 55ms
get tp. blocked users:
 1ms
others: 16ms
total:  158ms
созд. / загр.: 158ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]