ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / FDMemTable как вставить 800000 записей с 1500 столбцов
25 сообщений из 92, страница 2 из 4
  2  все
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036392
SergeyKNP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SergeyKNP
Гость
"что-то уж очень экзотическое."
ничего экзотического...
есть около 600 000 строк реестра по транспорту
в каждой строке есть две даты...начало работы путевого листа и конец
02.02.2020 10.02.2020
12.02.2020 14.02.2020 и т.д.

так вот Заказчик хочет получить анализ работы за год например по каждой машине за каждый день

Февраль
1|2|3|4|5|6|7|8|9|10|11|12|13|14|15|16|17|18|19|20|21*
1 1 1 1 1 1 1
......................................1 1 1

ничего экзотического...Заказчик всегда прав :(

единицы нужны для того, что бы итоги по дню посчитать и т.д.
...
Рейтинг: 0 / 0
16.01.2021, 16:41
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036394
black-manatee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
black-manatee
Гость
SergeyKNP
"что-то уж очень экзотическое."
ничего экзотического...
есть около 600 000 строк реестра по транспорту
в каждой строке есть две даты...начало работы путевого листа и конец
02.02.2020 10.02.2020
12.02.2020 14.02.2020 и т.д.

так вот Заказчик хочет получить анализ работы за год например по каждой машине за каждый день

Февраль
1|2|3|4|5|6|7|8|9|10|11|12|13|14|15|16|17|18|19|20|21*
1 1 1 1 1 1 1
1 1 1 .

ничего экзотического...Заказчик всегда прав :(

единицы нужны для того, что бы итоги по дню посчитать и т.д.


И заказчик будет задумчиво листать табличку с миллионом строк и тысячей столбцов ? Ну хрень же.

Ну как бы то ни было, если по другому нельзя, то единственный вариант: как я писал выше подтягивать данные в столбцы динамически.
Создавать табличку в SQLite конечно можно, но сдается мне, что миллиард ячеек будет заполняться очень не быстро. И после просмотра ее тут же удалять. Ох....
...
Рейтинг: 0 / 0
16.01.2021, 16:47
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036395
SergeyKNP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SergeyKNP
Гость
да...мало того, Заказчик будет (и делает) фильтровать по госномеру и с задумчивым видом анализировать...так-то

пока только приходит на ум писать сразу в Excel
...
Рейтинг: 0 / 0
16.01.2021, 16:49
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036431
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
SergeyKNPпока только приходит на ум писать сразу в Excel

Он гикнется уже на 65000 строк.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.01.2021, 18:16
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036432
ъъъъъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ъъъъъ
Гость
SergeyKNP,

у тебя размер записи фиксированный: используй файлы данных ("типизированные файлы паскаля").
Создай класс с интерфейсом массива ([строка, столбец]), и транслируй обращение к элементу в обращение к файлу. Работы на час, потом оценишь - что не так, быстродействие там или удобство.
...
Рейтинг: 0 / 0
16.01.2021, 18:28
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036435
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
Я бы вообще отказался от базы данных и делал все в обычной памяти.

Ну или как минимум как тут ранее советовали: через расчитываемые поля в таблице.
...
Рейтинг: 0 / 0
16.01.2021, 18:37
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036440
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
Коррекция: под базой данных имелись в виду все виды датасетов.
...
Рейтинг: 0 / 0
16.01.2021, 18:57
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036443
Michael Longneck
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Michael Longneck
Участник
Можно сделать скользящее окно в базе. TFDTable такое умеет. И фильтровать и всё остальное будет, если правильно настроить
...
Рейтинг: 0 / 0
16.01.2021, 19:26
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036448
SergeyKNP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SergeyKNP
Гость
количество столбцов динамическое

что значит " и делал все в обычной памяти."?
что значит "скользящее окно"?

по подробнее можно?
...
Рейтинг: 0 / 0
16.01.2021, 20:13
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036452
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
Dimitry Sibiryakov
SergeyKNPпока только приходит на ум писать сразу в Excel

Он гикнется уже на 65000 строк.
с 2007-го Excel поддерживает миллион строк на листе

ПыСы. И это правильно - выгружать в Excel.
И пусть заказчик крутит там данные как угодно, тем более, что Excel для этого и предназначен
...
Рейтинг: 0 / 0
16.01.2021, 20:19
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036460
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
defecator,

А если эксель не сможет эту всю красоту открыть и завалится - сказать: "обращайтесь в майкрософт" ?:)
...
Рейтинг: 0 / 0
16.01.2021, 21:22
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036463
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
rgreat
defecator,

А если эксель не сможет эту всю красоту открыть и завалится - сказать: "обращайтесь в майкрософт" ?:)


так это проблемы Экселя, правда ведь ?
...
Рейтинг: 0 / 0
16.01.2021, 21:59
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036469
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
defecator,

Таки да, но без денег будет не весело.
...
Рейтинг: 0 / 0
16.01.2021, 22:43
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036471
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
rgreat
defecator,

Таки да, но без денег будет не весело.

можно на двадцать страниц экселя понавыгружать, а там пусть заказчик трахается, раз ему так хочется
...
Рейтинг: 0 / 0
16.01.2021, 23:06
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036496
Aleksandr Sharahov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aleksandr Sharahov
Участник
Достаточно просто уметь работать с файлом исходных данных.
Не нужен ни эксель, ни мемтабле.
Нужен программист.
...
Рейтинг: 0 / 0
17.01.2021, 01:54
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036509
ъъъъъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ъъъъъ
Гость
defecator
rgreat
defecator,

А если эксель не сможет эту всю красоту открыть и завалится - сказать: "обращайтесь в майкрософт" ?:)


так это проблемы Экселя, правда ведь ?

Это проблема Майкрософта...
...
Рейтинг: 0 / 0
17.01.2021, 06:20
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036516
DmSer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DmSer
Участник
defecator
Dimitry Sibiryakov
пропущено...

Он гикнется уже на 65000 строк.

с 2007-го Excel поддерживает миллион строк на листе

ПыСы. И это правильно - выгружать в Excel.
И пусть заказчик крутит там данные как угодно, тем более, что Excel для этого и предназначен


Ещё эксель умеет очень быстро открывать гигантские html-файлы с таблицами, на которых любой браузер тупо виснет.
...
Рейтинг: 0 / 0
17.01.2021, 08:58
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036551
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
DmSer
Ещё эксель умеет очень быстро открывать гигантские html-файлы с таблицами, на которых любой браузер тупо виснет.
Опыт - штука очень индивидуальная, у всех разный. html-формат Excel может
и спокойно сожрёт (сильно большие не пробовал открывать), но вспоминая
работу с родными файлами на сотни мегабайт... ничего приятного, в общем.
...
Рейтинг: 0 / 0
17.01.2021, 14:43
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036554
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
SergeyKNP> форум для этого и предназначен, что бы
SergeyKNP> задавать вопросы, если что-то не получается

Для этого надо задавать конкретные вопросы, а не
просить готовое решение, да ещё несколько раз...

В частности, опишите получше исходную задачу -
например, зачем в гриде отображать 800000 записей
с 1500 столбцов (и даже если зачем-то нужно - зачем
промежуточный memtable), почему нельзя записывать
данные как ArrayDML или просто пачками и т.д.


Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
17.01.2021, 14:47
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036570
Aleksandr Sharahov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aleksandr Sharahov
Участник
SergeyKNP,

опиши входные и выходные данные - так всем будет легче
...
Рейтинг: 0 / 0
17.01.2021, 16:00
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036589
ъъъъъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ъъъъъ
Гость
DmSer
defecator
пропущено...

с 2007-го Excel поддерживает миллион строк на листе

ПыСы. И это правильно - выгружать в Excel.
И пусть заказчик крутит там данные как угодно, тем более, что Excel для этого и предназначен



Ещё эксель умеет очень быстро открывать гигантские html-файлы с таблицами, на которых любой браузер тупо виснет.


У ТС "чисто данных" - многие гигабайты, а уж в html формате вообще грустно будет. Маловероятно, что иксель такое осилит.
...
Рейтинг: 0 / 0
17.01.2021, 17:09
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036606
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
Я хз, почему нельзя сделать табличку в бд и из нее делать по запросу клиента выборки по одному госномеру и диапозону дат.

Листинг всего и сразу тут явно ни к чему.

Да и 1500 столбцов в ширину выглядят явно избыточными.
Ну невозможно адекватно анализировать нечто не влезающее даже в десяток экранов по ширине.
...
Рейтинг: 0 / 0
17.01.2021, 18:05
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036609
Фотография X-Cite
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
X-Cite
Участник
SergeyKNP
да...мало того, Заказчик будет (и делает) фильтровать по госномеру и с задумчивым видом анализировать...так-то

пока только приходит на ум писать сразу в Excel


Так пусть скажет что надо в результате анализа и сделайте ему десяток отчетов результатов...
...
Рейтинг: 0 / 0
17.01.2021, 18:14
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036675
SergeyKNP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SergeyKNP
Гость
входные данные конкретны: FDMemTable как вставить 800000 записей с 1500 столбцов
вопрос "зачем" не стоит, так хочет Заказчик

делаю выгрузку сразу в Excel

СПС всем адекватным, за ответы по делу и вообще за желание помочь.

Удачи всем, вопрос закрыт.
...
Рейтинг: 0 / 0
18.01.2021, 01:29
| Ответить | Цитировать | Написать  
FDMemTable как вставить 800000 записей с 1500 столбцов
    #40036682
Фотография Exteris
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Exteris
Участник
Входные данные это Заказчик хочет получить анализ работы за год например по каждой машине за каждый день

А таблица с миллиардом ячеек - скорее уже ваш идиотизм.
...
Рейтинг: 0 / 0
18.01.2021, 07:54
| Ответить | Цитировать | Написать  
25 сообщений из 92, страница 2 из 4
  2  все
Форумы / Delphi [игнор отключен] [закрыт для гостей] / FDMemTable как вставить 800000 записей с 1500 столбцов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=58&msg=40036392&tid=2037693]:
 0ms
get settings:
 11ms
get forum list:
 21ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 192ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 70ms
get tp. blocked users:
 1ms
others: 251ms
total:  564ms
созд. / загр.: 564ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]