ReSQL.ru
     
powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Запись во множество файлов
25 сообщений из 32, страница 1 из 2
  1  все
Запись во множество файлов
    #38653011
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
Подскажите советом.
Необходимо писать данные сразу в 1000 файлов, как лучше организовать. Вот код:
Код: c#
1.
2.
3.
4.
5.
6.
7.
for(int g=0; g<3000;g++) 
                {
                    l = g % 1000;
                    var file = new FileStream("file"+l, FileMode.Append, FileAccess.Write, FileShare.ReadWrite | FileShare.Delete | FileShare.Read | FileShare.Write);
                    Serializer.Serialize(file1, aa);
                    file.Close();
                }


В каждом цикле открывает файл, записывает и закрывает и это все будет крутится в бесконечном цикле.
Мой вариант считаю не верным т.к. приходится постоянно открывать и закрывать файл, можно ли иначе?
Притом, что в другом потоке могут эти файлы считывать.
...
Рейтинг: 0 / 0
27.05.2014, 12:00
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653057
Фотография Belavik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Belavik
Участник
А как можно записать в файл не открыв его? Делайте запрет на чтение/запись если файл используется и ждите пока "освободится"
...
Рейтинг: 0 / 0
27.05.2014, 12:29
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653058
Фотография Нахлобуч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нахлобуч
Участник
База данных, например?

Вообще, не хватает информация. Что за данные пишутся, кто пишет, кто читает, как долго читает...
...
Рейтинг: 0 / 0
27.05.2014, 12:29
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653076
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
НахлобучБаза данных, например?

Вообще, не хватает информация. Что за данные пишутся, кто пишет, кто читает, как долго читает...
Как раз пишу логику в замен базы данных, чтоб оптимизировать ресурсы.
Данные это показания с промышленных датчиков, 1000 уникальных датчиков с дискретностью 500ms, под каждый датчик файл. Читает эти файлы другой поток.
Сейчас придумал кое что, держу массив с открытыми файлами.
Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
FileStream[] f= new FileStream[1000];
                for(int g=0; g<3000;g++) 
                {
                    l = g % 1000;
                    if(f[l]==null)
                        f[l]= new FileStream("file"+l, FileMode.Append, FileAccess.Write, FileShare.ReadWrite | FileShare.Delete | FileShare.Read | FileShare.Write);
                    Serializer.Serialize(f[l], aa);
                    f[l].Flush();
                }


Уже лучше 600 мс, нов се равно много.
...
Рейтинг: 0 / 0
27.05.2014, 12:38
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653081
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
Это какое то безумие, Вы что желаете, из одного потока передать данные на обработку в другой поток?
...
Рейтинг: 0 / 0
27.05.2014, 12:39
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653091
Фотография Нахлобуч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нахлобуч
Участник
ldarКак раз пишу логику в замен базы данных, чтоб оптимизировать ресурсы.
Тогда прямая дорога в RabbitMQ, например.

Поставщик заталкивает данные в очередь, а потребители (один или несколько) из нее читают и обрабатывают.
...
Рейтинг: 0 / 0
27.05.2014, 12:42
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653095
Фотография Belavik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Belavik
Участник
ldarНахлобучБаза данных, например?

Вообще, не хватает информация. Что за данные пишутся, кто пишет, кто читает, как долго читает...
Как раз пишу логику в замен базы данных, чтоб оптимизировать ресурсы.
Данные это показания с промышленных датчиков, 1000 уникальных датчиков с дискретностью 500ms, под каждый датчик файл. Читает эти файлы другой поток.
Сейчас придумал кое что, держу массив с открытыми файлами.
Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
FileStream[] f= new FileStream[1000];
                for(int g=0; g<3000;g++) 
                {
                    l = g % 1000;
                    if(f[l]==null)
                        f[l]= new FileStream("file"+l, FileMode.Append, FileAccess.Write, FileShare.ReadWrite | FileShare.Delete | FileShare.Read | FileShare.Write);
                    Serializer.Serialize(f[l], aa);
                    f[l].Flush();
                }



Уже лучше 600 мс, нов се равно много.
А писать данные с каждого датчика в отдельный файл - это наилучший вариант?
...
Рейтинг: 0 / 0
27.05.2014, 12:43
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653123
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
Belavik, Да, таким образом я файл размещаю в смысловые директории и таки образом экономлю 12 байт с каждой записи...Если все в один писать, то тогда лучше все разместить в БД только размер данных уже получится в 2 раза больше...
а это > 5 миллиардов записей в месяц, 116 Гигабайт в месяц или 57 Гигабайт...
...
Рейтинг: 0 / 0
27.05.2014, 12:51
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653129
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
Где-то в степиЭто какое то безумие, Вы что желаете, из одного потока передать данные на обработку в другой поток?
Один поток пишет файлы, архивирует. Другой поток или потоки читают эти файлы (запросы пользователей).
...
Рейтинг: 0 / 0
27.05.2014, 12:53
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653131
Фотография Belavik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Belavik
Участник
ldarBelavik, Да, таким образом я файл размещаю в смысловые директории и таки образом экономлю 12 байт с каждой записи...Если все в один писать, то тогда лучше все разместить в БД только размер данных уже получится в 2 раза больше...
а это > 5 миллиардов записей в месяц, 116 Гигабайт в месяц или 57 Гигабайт...
И все эти данные всегда должны быть доступны для чтения, или какая-то часть становится неактуальной, устаревает? Какой средний размер файла?
...
Рейтинг: 0 / 0
27.05.2014, 12:54
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653133
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
Нахлобуч, почитаю, чет не слышал о этой платформы.
...
Рейтинг: 0 / 0
27.05.2014, 12:54
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653148
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
BelavikldarBelavik, Да, таким образом я файл размещаю в смысловые директории и таки образом экономлю 12 байт с каждой записи...Если все в один писать, то тогда лучше все разместить в БД только размер данных уже получится в 2 раза больше...
а это > 5 миллиардов записей в месяц, 116 Гигабайт в месяц или 57 Гигабайт...
И все эти данные всегда должны быть доступны для чтения, или какая-то часть становится неактуальной, устаревает? Какой средний размер файла?
Файлы еще делятся по времени, по суткам, каждый файл ~2 метра
...
Рейтинг: 0 / 0
27.05.2014, 12:58
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653153
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
ldarBelavik, Да, таким образом я файл размещаю в смысловые директории и таки образом экономлю 12 байт с каждой записи...Если все в один писать, то тогда лучше все разместить в БД только размер данных уже получится в 2 раза больше...
а это > 5 миллиардов записей в месяц, 116 Гигабайт в месяц или 57 Гигабайт...
это кто так поставил задачу? старший?
имхо, зачем вам вся история с такой дискретностью? кто ее будет читать?
...
Рейтинг: 0 / 0
27.05.2014, 13:00
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653176
Фотография Нахлобуч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нахлобуч
Участник
ldarНахлобуч, почитаю, чет не слышал о этой платформы.
Заодно почитай как устроен Graphite и Whisper . Хранить прошлогодние данные с точностью до секунды вряд ли надо.
...
Рейтинг: 0 / 0
27.05.2014, 13:16
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653191
Pallaris
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Pallaris
Участник
ldarа это > 5 миллиардов записей в месяц, 116 Гигабайт в месяц или 57 Гигабайт...

Отслеживать последнее записанное в БД значение датчика, и если новое значение превысило некий порог, то записать его
...
Рейтинг: 0 / 0
27.05.2014, 13:25
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653234
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
Я мысленно представил себе ( время стремится в бесконечность)
Россия встала с колен, люди освоили Марс, половина России покрыта сплошными датацентрами, все так же крутятся
эти 1000 датчиков и пишут в файлы, только размеры файлов уже под тысячи петабайтов, половина россиян обслуживаю эти центры
в которых размещаются эти файлы, эта задача ( запись в файл) дала импульс энергетике появилось много атомных и гидро электростанций для питания этих центров, остальная половина качает нефть, что бы ее продать а на вырученные деньги построить новые центры...
...
Рейтинг: 0 / 0
27.05.2014, 13:45
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653235
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
Где-то в степиldarBelavik, Да, таким образом я файл размещаю в смысловые директории и таки образом экономлю 12 байт с каждой записи...Если все в один писать, то тогда лучше все разместить в БД только размер данных уже получится в 2 раза больше...
а это > 5 миллиардов записей в месяц, 116 Гигабайт в месяц или 57 Гигабайт...
это кто так поставил задачу? старший?
имхо, зачем вам вся история с такой дискретностью? кто ее будет читать?
Для анализа дынных, нужно около 6 месяцев хранить. Некоторые возможно и не понадобятся.
...
Рейтинг: 0 / 0
27.05.2014, 13:45
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653242
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
Где-то в степиЯ мысленно представил себе ( время стремится в бесконечность)
Россия встала с колен, люди освоили Марс, половина России покрыта сплошными датацентрами, все так же крутятся
эти 1000 датчиков и пишут в файлы, только размеры файлов уже под тысячи петабайтов, половина россиян обслуживаю эти центры
в которых размещаются эти файлы, эта задача ( запись в файл) дала импульс энергетике появилось много атомных и гидро электростанций для питания этих центров, остальная половина качает нефть, что бы ее продать а на вырученные деньги построить новые центры...
Фантазия конечно на высшем уровне. Если брать СКАДА системы, то все они хранят сырые данные и даже с меньшей дискретностью.
...
Рейтинг: 0 / 0
27.05.2014, 13:48
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653245
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
Pallarisldarа это > 5 миллиардов записей в месяц, 116 Гигабайт в месяц или 57 Гигабайт...

Отслеживать последнее записанное в БД значение датчика, и если новое значение превысило некий порог, то записать его
Кстати тоже обдумываю этот вариант. А есть еще методы по сжатию?
...
Рейтинг: 0 / 0
27.05.2014, 13:50
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653249
Pallaris
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Pallaris
Участник
ldarКстати тоже обдумываю этот вариант. А есть еще методы по сжатию?

В течении минуты вычислять среднее значение и записывать его в конце минуты, например
...
Рейтинг: 0 / 0
27.05.2014, 13:51
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653261
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
ldar,
биржевые данные, минимальная единица - тик.
Но зачем хранить данные с датчиков? так часто.
достаточно и раз в минуту или пять минут
если рассматривать с точки зрения аварийности, должны быть критерии аварийности данных и писать только
при их наличии, другой вопрос срезы по данным - как говорит П. - замаетесь пыль глотать бегая по файлам выколупывая значения..
...
Рейтинг: 0 / 0
27.05.2014, 13:55
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653293
Фотография Нахлобуч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нахлобуч
Участник
ldarКстати тоже обдумываю этот вариант. А есть еще методы по сжатию?Run-Length Encoding.

Но вообще -- очередь и даунсамплинг/агрегирование данных.
...
Рейтинг: 0 / 0
27.05.2014, 14:08
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653303
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
Где-то в степи,
Для большинства задач вы правы, но иногда, это в редко конечно нужны именно с маленькой дискретностью, к примеру отслеживать скачки вибрации или ток с напряжением.
...
Рейтинг: 0 / 0
27.05.2014, 14:13
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653312
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
ldarГде-то в степи,
Для большинства задач вы правы, но иногда, это в редко конечно нужны именно с маленькой дискретностью, к примеру отслеживать скачки вибрации или ток с напряжением.
Вы себе как это представляете - отследить вибрацию за последний месяц.
Обычно с малой дискретностью - на малых периодах, или на периодах с экстремальными величинами ( аварийная ситуация)
...
Рейтинг: 0 / 0
27.05.2014, 14:18
| Ответить | Цитировать | Написать  
Запись во множество файлов
    #38653324
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ldar
Гость
Где-то в степи,
Вы правы, за месяц не нужно просматривать, а только за определенные периоды.
...
Рейтинг: 0 / 0
27.05.2014, 14:28
| Ответить | Цитировать | Написать  
25 сообщений из 32, страница 1 из 2
  1  все
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Запись во множество файлов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=20&msg=38653129&tid=1402886]:
 0ms
get settings:
 12ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 38ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 55ms
get tp. blocked users:
 1ms
others: 325ms
total:  462ms
созд. / загр.: 462ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]