|
|
|
Обработка большой таблицы
|
|||
|---|---|---|---|
|
#18+
Добрый день! На работе встала проблема обработки большой таблицы данных. Есть самописная программа для обработки взаимодействия с клиентом. Написана не мной и задолго до меня. Из программы можно выгружать данные в виде текстового файа с разделителем, либо в виде xml. В файле 1500 полей. Раньше выгружали кусками и обрабатывали в Access. Теперь руководство хочет выгружать все. Access воспринимает только первые 255 полей. В принцыпе на работе стоит SAS, но я с ним не работал никогда. Чем можно обработать данный файл или как сделать это в SAS. Необходимы простенькие SQL запросы. Заранее благодарен за помощь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2008, 09:31 |
|
||
|
Обработка большой таблицы
|
|||
|---|---|---|---|
|
#18+
VinnylВ файле 1500 полей.Полей???? Не записей а полей? С ума сошли? Возьмите какую-нибудь настоящую базу (а не Акцесс), они такие таблицы в принципе могут обрабатывать, но производительность в любом случае будет чрезвычайно печальной. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2008, 17:20 |
|
||
|
Обработка большой таблицы
|
|||
|---|---|---|---|
|
#18+
Загрузи в 6 таблиц по 250 полей + 1 поле (назовем его ID), индитификатор записи: например, порядковый номер записи в первоначальной таблице. Таблицы проиндексируй по этому полю. SQL Access поддерживает join. Так что можно таскать данные из разных таблиц. Можешь вколотить в отдельную таблицу соответствие <имя поля> - <имя таблицы> и написать приладу, которая формировала запросы сама, в зависимости от выбранных полей. Связь между таблицами полю ID. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2008, 05:23 |
|
||
|
Обработка большой таблицы
|
|||
|---|---|---|---|
|
#18+
White OwlПолей???? Не записей а полей? С ума сошли? Возьмите какую-нибудь настоящую базу (а не Акцесс), они такие таблицы в принципе могут обрабатывать, но производительность в любом случае будет чрезвычайно печальной. Не сошел. Кто-то "умный" решил так хранить, а мне теперь расхлебывать. :( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2008, 14:50 |
|
||
|
Обработка большой таблицы
|
|||
|---|---|---|---|
|
#18+
golsaЗагрузи в 6 таблиц по 250 полей + 1 поле (назовем его ID), индитификатор записи: например, порядковый номер записи в первоначальной таблице. Таблицы проиндексируй по этому полю. SQL Access поддерживает join. Так что можно таскать данные из разных таблиц. Можешь вколотить в отдельную таблицу соответствие <имя поля> - <имя таблицы> и написать приладу, которая формировала запросы сама, в зависимости от выбранных полей. Связь между таблицами полю ID. Это возможно. Вопрос как это сделать с наименьшими временными потерями. Файл весит около 1 Гб. В Access один такой файл на 6 таблиц делить я думаю очень долго, поэтому и хотелось как-то одной таблицей обойтись. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2008, 14:53 |
|
||
|
Обработка большой таблицы
|
|||
|---|---|---|---|
|
#18+
VinnylЭто возможно. Вопрос как это сделать с наименьшими временными потерями. Файл весит около 1 Гб. В Access один такой файл на 6 таблиц делить я думаю очень долго, поэтому и хотелось как-то одной таблицей обойтись.Не надо его делить в Акцессе, раздели лучше внешней программой, выгрузи данные в csv и натрави на этот csv ну хотя бы cut. Что-нибудь в духе: cut -d, 1-200 source.csv > fields_1_200.csv cut -d, 201-400 source.csv > fields_201_400.csv etc В конце концов можно и самому подобную программку написать. А еще лучше будет разобраться с исходными данными и сделать программку которая будет получать на вход тот-же source.csv или source.xml, нормализовывать данные и заливать в нормальную базу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2008, 17:12 |
|
||
|
|
start [/forum/topic.php?fid=56&gotonew=1&tid=2015964]: |
0ms |
get settings: |
10ms |
get forum list: |
17ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
70ms |
get topic data: |
10ms |
get first new msg: |
6ms |
get forum data: |
2ms |
get page messages: |
55ms |
get tp. blocked users: |
2ms |
| others: | 248ms |
| total: | 426ms |
| 0 / 0 |
