Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Visual Basic [игнор отключен] [закрыт для гостей] / Вопрос по большим БД в Excel / 25 сообщений из 31, страница 1 из 2
  1  все
25.05.2011, 20:00
    #37279278
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Добрый день!
Вот сижу думаю, точнее думает Excel, а я мучаюсь.
Есть один файл-ОТЧЕТ. В нем есть данные ключ-обьект. И есть другие файлы (файлы за 2007, 2008,2009,2010,2011). Из них нужно повытягивать все данные за все года, по моему ключу. Вот в каждом таком файле около 128 тыс строк. Когда впр использую и протягиваю-это во первых очень долго, а во вторых не хочет потом сохраняться.А в третих не очень удобно, так как, когда открываю следующий год-не могу просто протянуть данные, потому, что могут постираться за предыдущий год данные.
Может, кто-то что-то посоветует, как от этого всего освободиться. Спасибо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:01
    #37279280
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Загнать в БД
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:07
    #37279286
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Shocker.Pro,
Это как? Что имеете ввиду?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:11
    #37279290
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Ты размешиваешь пюре пассатижами.
Всему свой инструмент.

Для работы с базами данных предназначены СУБД. Например Аксесс. Ему провернуть таблицу с полумиллионом записей - раз плюнуть (при правильном построении индексов, конечно).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:12
    #37279291
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Shocker.Pro,

А если вы имеете ввиду сделать список, то я так и сделала, только толку с него. Разве, что как-то ухищренно расширинным фильтром потом его сортировать... так моих ключей тоже ого-го 20 тыс строк... замахаюсь...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:15
    #37279294
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Ципихович ЭндрюVikVikVik,
Что имеете ввиду? пренести в базу данных, а там...
Вот отсюда если можно по подробнее ...)))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:16
    #37279296
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Ципихович ЭндрюЭто как? я не знаю, БД боюсь как огняЭто твои проблемы. Автор вопроса уже оперирует SQL-запросами.
Ципихович ЭндрюЧто имеете ввиду? пренести в базу данных, а там... всё как по маслу выстроил запрос, вытянул данные, сортруем за 1-2 сек, Эксель отдыхаетИменно

VikVikVikА если вы имеете ввиду сделать список, то я так и сделала, только толку с него. Разве, что как-то ухищренно расширинным фильтром потом его сортировать... так моих ключей тоже ого-го 20 тыс строк... замахаюсь...Еще раз. Надо забить на Эксель, перетащить все данные в Аксесс (из всех файлов в одну таблицу) и там написать пару нужных запросов. Поверь, там все это будет проще и в тысячи раз быстрее.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:18
    #37279298
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Ципихович Эндрю,

Как переносить все таки с Экселя в БД... что это такое и с чем его едят? :)
Как это делаеться?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:20
    #37279301
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
VikVikVikЦипихович Эндрю,

Как переносить все таки с Экселя в БД... что это такое и с чем его едят? :)
Как это делаеться?
Ципиховичу лучше такие вопросы не задавать... и вообще, лучше с ним не общаться, ибо понимания от этого станет не больше, а меньше.

В Аксессе есть мастер по переносу данных.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:21
    #37279303
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Shocker.Pro,

Идея понятна...Спасибо... скажите, а все файлы перетаскивать? Тогда можно на SQL писать и в Excel...
Хотя наверное с ключем проще и в Аксесе...Ваша правда. Спасибо :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:21
    #37279304
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Если задача стоит глобальная, рекомендую прочитать любую книжку по аксессу для начинающих (чтобы просто в голове уложилось, с чем это едят). Ну а дальше поможем.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.05.2011, 20:22
    #37279305
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
VikVikVikИдея понятна...Спасибо... скажите, а все файлы перетаскивать? Тогда можно на SQL писать и в Excel...
конечно, все файлы в одну таблицу.

Из экселя можно так же просто делать SQL-запросы к аксессовской базе так же, как сейчас ты делаешь к другому экселевскому файлу.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.06.2011, 18:00
    #37289917
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Shocker.Pro,

Спасибо за подсказку. Сделала все в Excel. Пробывала в Access. Не знаю почему, но после двух выгрузок с Excel, Access зависал. (((
Пришлось делать в Excel. Побоялась сводить такие базы.
Возвращаюсь к предыдущей задачи с запросами в Excel.
Спасибо БОЛЬШОЕ =)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.06.2011, 20:39
    #37290152
скукотища
скукотища
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
ПОЛУОФФ:
VikVikVikВозвращаюсь к предыдущей задачи с запросами в Excel.
Мышки плакали, кололись, но упорно продолжали жрать кактус.(с)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.06.2011, 20:58
    #37290173
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
VikVikVikПобоялась
Возвращаюсь к предыдущей задачи с запросами в Excel.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.06.2011, 09:37
    #37290582
MAYAKOV_SV
MAYAKOV_SV
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
VikVikVikПришлось делать в Excel. Побоялась сводить такие базы.

Нужно боятся обрабатывать такой объем данных в Excel.
Делается в Access: закачиваются туда данные, строятся нужные индексы.
Делаем запрос MS-Query в Excel и получаем нужные данные.
VikVikVikВозвращаюсь к предыдущей задачи с запросами в Excel.
Спасибо БОЛЬШОЕ =)

Лучше для такого объема данных вообще на Access перейти и там работать и отчеты строить.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.06.2011, 10:44
    #37290755
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
MAYAKOV_SV,

Самое страшное это было по времени файлов 10 шт. в них 9 колонок. К каждой колонке нужно около 20 мин как минимум. =20*9=180. То есть на обработку одного файла 3 часа. Итого на 10 файлов= 30 часов. Я молчу, что их надо было сохранять как значения. Вообщем закончила эту глупую работенку. И поняла, что в следущий раз точно буду делать в Аксесс. Последних 3 дня убила на эту дурь...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.06.2011, 11:06
    #37290804
MAYAKOV_SV
MAYAKOV_SV
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
VikVikVikИтого на 10 файлов= 30 часов.
30 часов много, на такую задачу секунд 30 максимум, если конечно на БД делается.
VikVikVikВообщем закончила эту глупую работенку. И поняла, что в следущий раз точно буду делать в Аксесс. Последних 3 дня убила на эту дурь...

Т.е. это одноразовая работа была?
Я в таких случаях сразу в Access/DBF данные с Excel выгружаю и потом запросы строю.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.06.2011, 11:40
    #37290888
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
MAYAKOV_SV,

Cлушайте, подскажите... Вообщем ради интереса решила пробывать в Аксессе.
Как сделать удалить повторяющиеся строки? Тогда смогу сделать нужный мне столбец ключем. Не вручную же...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.06.2011, 11:43
    #37290893
Konst_One
Konst_One
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
запрос натравить left join-ом на туже таблицу с условием по полю с уникальным ID IS NULL
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.06.2011, 11:43
    #37290896
Konst_One
Konst_One
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
на сколько я помню в акцессе был мастер запросов , который такой запрос умел делать за вас
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.06.2011, 11:53
    #37290928
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Konst_One, Там действительно есть мастер запросов. Но я смогла сделать только количество повторений Выдает столбик с моим ключем и сколько раз повторяеться...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.06.2011, 11:53
    #37290929
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Можно примерно так (результат получится в новой таблице):

Код: plaintext
1.
2.
3.
INSERT INTO TableNew (Field1, Field2)
SELECT Field1, Field2
FROM TableOld
GROUP BY Field1, Field2
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.06.2011, 11:56
    #37290935
MAYAKOV_SV
MAYAKOV_SV
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Shocker.ProМожно примерно так (результат получится в новой таблице):

Код: plaintext
1.
2.
3.
INSERT INTO TableNew (Field1, Field2)
SELECT Field1, Field2
FROM TableOld
GROUP BY Field1, Field2

Еще вариант:
Код: plaintext
1.
2.
INSERT INTO TableNew (Field1, Field2)
SELECT DISTINCT Field1, Field2
FROM TableOld
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.06.2011, 11:56
    #37290936
VikVikVik
VikVikVik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос по большим БД в Excel
Konst_One,

А можно подробнее....)))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / Visual Basic [игнор отключен] [закрыт для гостей] / Вопрос по большим БД в Excel / 25 сообщений из 31, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 481ms
Закрыть
start [/forum/topic.php?fid=60&tablet=1&tid=2158656]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 30ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 54ms
get tp. blocked users:
 1ms
others: 356ms
total:  481ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]