Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Как сохранять строки в бинарных файлах?
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 14:54 |
|
||
|
Как сохранять строки в бинарных файлах?
|
|||
|---|---|---|---|
|
#18+
AlekseySQLДа и дело не столько в считывании данных, сколько в их преобразовании в int, long, bool... А в чём проблема-то? Считал строку, преобразовал, обработал, выкинул. И память не забивается и быстродействие высокое. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 15:02 |
|
||
|
Как сохранять строки в бинарных файлах?
|
|||
|---|---|---|---|
|
#18+
AlekseySQLЕсть набор больших текстовых файлов, которые для ускорения работы я конвертирую в удобный формат: парсю отдельные строки, укладываю преобразованные значения в поля в структуры, структуры укладываю в массив, а массив записываю в базу данных..... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 15:08 |
|
||
|
Как сохранять строки в бинарных файлах?
|
|||
|---|---|---|---|
|
#18+
AlekseySQLСоискатель С++Я бы все хранил в SQLite. Очень просто и очень удобно. Из минусов, по сравнению с самописным форматом, только скорость линейного чтения, но это уже от задачи зависит. Вот это меня в SQL и напрягает: можно выбирать либо построчно, либо все гаком. А мне надо кусками по 10 000 записей, чтобы оперативка не забилась от всей выборки данных. Конечно, есть и свои плюсики: быстрые отборы, сортировка, но это не моя задача. Не понял, что вас напрягает. Выбирайте по 10 000 записей. Можно даже проиндексировать эти группы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 15:12 |
|
||
|
Как сохранять строки в бинарных файлах?
|
|||
|---|---|---|---|
|
#18+
Amiri Код: plaintext 1. 2. 3. С учетом того, что автор собирается один раз сгенерить файл, а потом только читать его (может быть даже на разных платформах), насколько красиво завязываться на изменчивую длину int-а в таком случае? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 15:38 |
|
||
|
Как сохранять строки в бинарных файлах?
|
|||
|---|---|---|---|
|
#18+
Я взял несколько постов Алексея и просто объединил их в один. И вот какая картина у меня в голове получается. Есть набор больших текстовых файлов, которые для ускорения работы я конвертирую в удобный формат: парсю отдельные строки, укладываю преобразованные значения в поля в структуры, структуры укладываю в массив, а массив записываю в бинарный файл :) Как быть с текстовыми полями: 1. Если в структуре объявить поле типа char [250], то это будет очень расточительно (не всем значениям нужна такая длина). 2. Если в структуре объявить поле std::string, то структура перестанет быть POD- объектом и работать с ней как с последовательностью битов уже будет нельзя. Как следствие отваливается возможность сохранения данных в файл. Есть какие-то симпатичное решения сохранения текстовых данных в бинарных файлах? 1. Сначала 1 раз записать, потом все оставшиеся разы только читать. 2. ~60ГБ csv- файлов. Судя по постановке - это типичная bigdata. У нас есть неструктурированные данные. Один раз сгенерированы и мы их только читаем. Как с ними быть? Всё идет не от структур данных типа char[250] или string. Все это шелуха и на больших данных не имеет значения. А от того какие отчоты надо с этого получить. Далее - по технологиям, Spark (Python/Java/Scala), Hadoop (C++/Java/Python) и различные коробочные бизнес-продукты для анализа данных (Витрины данных/DataMart/OLAP). В последнем - я не глубокий специалист. Пускай коллеги накидают ссылок если знают. Но убежден что таких продуктов - масса. И они замечательно справляются с такими задачами. Из витрин данных я использовал Qliki, но не уверен что qliki проглотит 60Гб. Надо почитать про limitations. Возможно автор просто подменяет "нужное" интересным и хочет порабоать с C++ и данными - ну дык это его личное пожелание. Мы естественно помешать не сможем. Дай бох. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 23:33 |
|
||
|
|

start [/forum/topic.php?fid=57&msg=39581786&tid=2018001]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
184ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
46ms |
get tp. blocked users: |
1ms |
| others: | 285ms |
| total: | 560ms |

| 0 / 0 |
