ReSQL.ru
     
powered by simpleCommunicator - 2.0.55     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Visual Basic [игнор отключен] [закрыт для гостей] / Вопрос по большим БД в Excel
25 сообщений из 31, страница 1 из 2
  1  все
Вопрос по большим БД в Excel
    #37279278
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
Добрый день!
Вот сижу думаю, точнее думает Excel, а я мучаюсь.
Есть один файл-ОТЧЕТ. В нем есть данные ключ-обьект. И есть другие файлы (файлы за 2007, 2008,2009,2010,2011). Из них нужно повытягивать все данные за все года, по моему ключу. Вот в каждом таком файле около 128 тыс строк. Когда впр использую и протягиваю-это во первых очень долго, а во вторых не хочет потом сохраняться.А в третих не очень удобно, так как, когда открываю следующий год-не могу просто протянуть данные, потому, что могут постираться за предыдущий год данные.
Может, кто-то что-то посоветует, как от этого всего освободиться. Спасибо.
...
Рейтинг: 0 / 0
25.05.2011, 20:00
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279280
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
Загнать в БД
...
Рейтинг: 0 / 0
25.05.2011, 20:01
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279286
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
Shocker.Pro,
Это как? Что имеете ввиду?
...
Рейтинг: 0 / 0
25.05.2011, 20:07
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279290
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
Ты размешиваешь пюре пассатижами.
Всему свой инструмент.

Для работы с базами данных предназначены СУБД. Например Аксесс. Ему провернуть таблицу с полумиллионом записей - раз плюнуть (при правильном построении индексов, конечно).
...
Рейтинг: 0 / 0
25.05.2011, 20:11
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279291
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
Shocker.Pro,

А если вы имеете ввиду сделать список, то я так и сделала, только толку с него. Разве, что как-то ухищренно расширинным фильтром потом его сортировать... так моих ключей тоже ого-го 20 тыс строк... замахаюсь...
...
Рейтинг: 0 / 0
25.05.2011, 20:12
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279294
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
Ципихович ЭндрюVikVikVik,
Что имеете ввиду? пренести в базу данных, а там...
Вот отсюда если можно по подробнее ...)))
...
Рейтинг: 0 / 0
25.05.2011, 20:15
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279296
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
Ципихович ЭндрюЭто как? я не знаю, БД боюсь как огняЭто твои проблемы. Автор вопроса уже оперирует SQL-запросами.
Ципихович ЭндрюЧто имеете ввиду? пренести в базу данных, а там... всё как по маслу выстроил запрос, вытянул данные, сортруем за 1-2 сек, Эксель отдыхаетИменно

VikVikVikА если вы имеете ввиду сделать список, то я так и сделала, только толку с него. Разве, что как-то ухищренно расширинным фильтром потом его сортировать... так моих ключей тоже ого-го 20 тыс строк... замахаюсь...Еще раз. Надо забить на Эксель, перетащить все данные в Аксесс (из всех файлов в одну таблицу) и там написать пару нужных запросов. Поверь, там все это будет проще и в тысячи раз быстрее.
...
Рейтинг: 0 / 0
25.05.2011, 20:16
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279298
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
Ципихович Эндрю,

Как переносить все таки с Экселя в БД... что это такое и с чем его едят? :)
Как это делаеться?
...
Рейтинг: 0 / 0
25.05.2011, 20:18
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279301
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
VikVikVikЦипихович Эндрю,

Как переносить все таки с Экселя в БД... что это такое и с чем его едят? :)
Как это делаеться?
Ципиховичу лучше такие вопросы не задавать... и вообще, лучше с ним не общаться, ибо понимания от этого станет не больше, а меньше.

В Аксессе есть мастер по переносу данных.
...
Рейтинг: 0 / 0
25.05.2011, 20:20
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279303
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
Shocker.Pro,

Идея понятна...Спасибо... скажите, а все файлы перетаскивать? Тогда можно на SQL писать и в Excel...
Хотя наверное с ключем проще и в Аксесе...Ваша правда. Спасибо :)
...
Рейтинг: 0 / 0
25.05.2011, 20:21
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279304
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
Если задача стоит глобальная, рекомендую прочитать любую книжку по аксессу для начинающих (чтобы просто в голове уложилось, с чем это едят). Ну а дальше поможем.
...
Рейтинг: 0 / 0
25.05.2011, 20:21
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37279305
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
VikVikVikИдея понятна...Спасибо... скажите, а все файлы перетаскивать? Тогда можно на SQL писать и в Excel...
конечно, все файлы в одну таблицу.

Из экселя можно так же просто делать SQL-запросы к аксессовской базе так же, как сейчас ты делаешь к другому экселевскому файлу.
...
Рейтинг: 0 / 0
25.05.2011, 20:22
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37289917
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
Shocker.Pro,

Спасибо за подсказку. Сделала все в Excel. Пробывала в Access. Не знаю почему, но после двух выгрузок с Excel, Access зависал. (((
Пришлось делать в Excel. Побоялась сводить такие базы.
Возвращаюсь к предыдущей задачи с запросами в Excel.
Спасибо БОЛЬШОЕ =)
...
Рейтинг: 0 / 0
01.06.2011, 18:00
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290152
скукотища
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скукотища
Гость
ПОЛУОФФ:
VikVikVikВозвращаюсь к предыдущей задачи с запросами в Excel.
Мышки плакали, кололись, но упорно продолжали жрать кактус.(с)
...
Рейтинг: 0 / 0
01.06.2011, 20:39
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290173
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
VikVikVikПобоялась
Возвращаюсь к предыдущей задачи с запросами в Excel.
...
Рейтинг: 0 / 0
01.06.2011, 20:58
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290582
MAYAKOV_SV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MAYAKOV_SV
Участник
VikVikVikПришлось делать в Excel. Побоялась сводить такие базы.

Нужно боятся обрабатывать такой объем данных в Excel.
Делается в Access: закачиваются туда данные, строятся нужные индексы.
Делаем запрос MS-Query в Excel и получаем нужные данные.
VikVikVikВозвращаюсь к предыдущей задачи с запросами в Excel.
Спасибо БОЛЬШОЕ =)

Лучше для такого объема данных вообще на Access перейти и там работать и отчеты строить.
...
Рейтинг: 0 / 0
02.06.2011, 09:37
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290755
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
MAYAKOV_SV,

Самое страшное это было по времени файлов 10 шт. в них 9 колонок. К каждой колонке нужно около 20 мин как минимум. =20*9=180. То есть на обработку одного файла 3 часа. Итого на 10 файлов= 30 часов. Я молчу, что их надо было сохранять как значения. Вообщем закончила эту глупую работенку. И поняла, что в следущий раз точно буду делать в Аксесс. Последних 3 дня убила на эту дурь...
...
Рейтинг: 0 / 0
02.06.2011, 10:44
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290804
MAYAKOV_SV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MAYAKOV_SV
Участник
VikVikVikИтого на 10 файлов= 30 часов.
30 часов много, на такую задачу секунд 30 максимум, если конечно на БД делается.
VikVikVikВообщем закончила эту глупую работенку. И поняла, что в следущий раз точно буду делать в Аксесс. Последних 3 дня убила на эту дурь...

Т.е. это одноразовая работа была?
Я в таких случаях сразу в Access/DBF данные с Excel выгружаю и потом запросы строю.
...
Рейтинг: 0 / 0
02.06.2011, 11:06
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290888
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
MAYAKOV_SV,

Cлушайте, подскажите... Вообщем ради интереса решила пробывать в Аксессе.
Как сделать удалить повторяющиеся строки? Тогда смогу сделать нужный мне столбец ключем. Не вручную же...
...
Рейтинг: 0 / 0
02.06.2011, 11:40
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290893
Фотография Konst_One
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Konst_One
Участник
запрос натравить left join-ом на туже таблицу с условием по полю с уникальным ID IS NULL
...
Рейтинг: 0 / 0
02.06.2011, 11:43
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290896
Фотография Konst_One
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Konst_One
Участник
на сколько я помню в акцессе был мастер запросов , который такой запрос умел делать за вас
...
Рейтинг: 0 / 0
02.06.2011, 11:43
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290928
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
Konst_One, Там действительно есть мастер запросов. Но я смогла сделать только количество повторений Выдает столбик с моим ключем и сколько раз повторяеться...
...
Рейтинг: 0 / 0
02.06.2011, 11:53
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290929
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
Можно примерно так (результат получится в новой таблице):

Код: plaintext
1.
2.
3.
INSERT INTO TableNew (Field1, Field2)
SELECT Field1, Field2
FROM TableOld
GROUP BY Field1, Field2
...
Рейтинг: 0 / 0
02.06.2011, 11:53
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290935
MAYAKOV_SV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MAYAKOV_SV
Участник
Shocker.ProМожно примерно так (результат получится в новой таблице):

Код: plaintext
1.
2.
3.
INSERT INTO TableNew (Field1, Field2)
SELECT Field1, Field2
FROM TableOld
GROUP BY Field1, Field2

Еще вариант:
Код: plaintext
1.
2.
INSERT INTO TableNew (Field1, Field2)
SELECT DISTINCT Field1, Field2
FROM TableOld
...
Рейтинг: 0 / 0
02.06.2011, 11:56
| Ответить | Цитировать | Написать  
Вопрос по большим БД в Excel
    #37290936
VikVikVik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VikVikVik
Участник
Konst_One,

А можно подробнее....)))
...
Рейтинг: 0 / 0
02.06.2011, 11:56
| Ответить | Цитировать | Написать  
25 сообщений из 31, страница 1 из 2
  1  все
Форумы / Visual Basic [игнор отключен] [закрыт для гостей] / Вопрос по большим БД в Excel
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=60&fpage=100&tid=2158656]:
 0ms
get settings:
 8ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 28ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 53ms
get tp. blocked users:
 2ms
others: 355ms
total:  477ms
созд. / загр.: 477ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]