ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Локальная БД на 6-7 гиг!
25 сообщений из 27, страница 1 из 2
  1  все
Локальная БД на 6-7 гиг!
    #33297937
Syuk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Syuk
Гость
Добрый день!
Мне отгрузили 10 текстовых файликов сепарированных пипами "|", один из них 2,5 гига, а еще один 4,5 гига остальные до 50 мегабайт. Людям необходима локальная однопользовательская база, в основном для поиска, добавления и исправления практически не вносятся. В MDB формат законвертить не удалось. Посоветуйте пожалуйста чем и в какой формат это все перегнать, дабы был индексировнный серч. SQL сервера ставить нехотелось бы...
Могда будет писаться на DELPHI.
Заранее благодарен!
...
Рейтинг: 0 / 0
30.09.2005, 11:27
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33297977
Сержант Золотарев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сержант Золотарев
Участник
FireBird эмбед версия + Delphi. Работы на час.

Тока SQL это...
...
Рейтинг: 0 / 0
30.09.2005, 11:40
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298011
it depends
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
it depends
Гость
А нафига здесь SQL?
ИМХО, задача для локальной поисковой машины.
Я бы предложил Lucene, но это Java :)
...
Рейтинг: 0 / 0
30.09.2005, 11:49
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298054
Сержант Золотарев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сержант Золотарев
Участник
it dependsА нафига здесь SQL?
ИМХО, задача для локальной поисковой машины.

И чего? Лишние полтора мегабайта для движка расстраивают?
Лучше самому, ручками реализовывать поиск/индексацию и т.п.?
...
Рейтинг: 0 / 0
30.09.2005, 12:02
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298165
Syuk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Syuk
Гость
Люди хотят "морду" быстро, а на изучение как строятся Хеш таблички и прочие прелести уйдет время :( Незнаю я как их строить :(
Но я так вижу, что минимальным по времени будет поднятие какого-нить SQL сервера :(
...
Рейтинг: 0 / 0
30.09.2005, 12:35
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298222
VladSh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VladSh
Участник
Варианта кроме MS Access для Вас не вижу.
Не можете загрузить текстовые файты в Access, значит больше никуда их не сможете.
Разберитесь с возможностями MS Access и при необходимости подредактируйте исходные файлы для загрузки.

--
Шумов В.
http://www.acdplus.ru/
...
Рейтинг: 0 / 0
30.09.2005, 12:55
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298280
Syuk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Syuk
Гость
Аксесс втягивает срез большого файла примерно 5 мегабайт как песню! Но когда ему скармливают 2 гига выдает совершенно идиотские мессаги! Удалось сконвертить один файл в DBF каким-то DBF вьюером. Но подключить или втянуть его в Аксесс неудалось, снова дибильные мессаги....
...
Рейтинг: 0 / 0
30.09.2005, 13:15
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298284
Сержант Золотарев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сержант Золотарев
Участник
VladSh-

Аксесс - 2 ГБ размер базы. Максисмум.
--------------
Берите FireBird Embedded - его и инталлировать не нужно. Распаковал архив в каталог с программой - и все дела.

На ibase.ru сходите - там все описано.
...
Рейтинг: 0 / 0
30.09.2005, 13:17
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298349
Syuk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Syuk
Гость
А что уважаемые скажут про MSDE 2000 ?
...
Рейтинг: 0 / 0
30.09.2005, 13:36
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298368
problemsolver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
problemsolver
Участник
SyukА что уважаемые скажут про MSDE 2000 ?
А там разве нет ограничения в 2(?4)G?
Бери FB, как сержант командует
...
Рейтинг: 0 / 0
30.09.2005, 13:40
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298570
guest122222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest122222
Гость
авторАксесс втягивает срез большого файла примерно 5 мегабайт как песню! Но когда ему скармливают 2 гига выдает совершенно идиотские мессаги! Удалось сконвертить один файл в DBF каким-то DBF вьюером. Но подключить или втянуть его в Аксесс неудалось, снова дибильные мессаги....
автор Аксесс - 2 ГБ размер базы. Максисмум
А если архиватором сжать, текст хорошо сжимается ... :D
...
Рейтинг: 0 / 0
30.09.2005, 14:31
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298625
Сержант Золотарев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сержант Золотарев
Участник
guest122222 авторАксесс втягивает срез большого файла примерно 5 мегабайт как песню! Но когда ему скармливают 2 гига выдает совершенно идиотские мессаги! Удалось сконвертить один файл в DBF каким-то DBF вьюером. Но подключить или втянуть его в Аксесс неудалось, снова дибильные мессаги....
автор Аксесс - 2 ГБ размер базы. Максисмум
А если архиватором сжать, текст хорошо сжимается ... :D
Как песню/как не - песню, втягивает/не втягивает...

С места, с песней - на http://ibase.ru/firebird.htm - шагом, марш!
...
Рейтинг: 0 / 0
30.09.2005, 14:43
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33298787
werterterterterterterte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
werterterterterterterte
Гость
guest122222 авторАксесс втягивает срез большого файла примерно 5 мегабайт как песню! Но когда ему скармливают 2 гига выдает совершенно идиотские мессаги! Удалось сконвертить один файл в DBF каким-то DBF вьюером. Но подключить или втянуть его в Аксесс неудалось, снова дибильные мессаги....
автор Аксесс - 2 ГБ размер базы. Максисмум
А если архиватором сжать, текст хорошо сжимается ... :D

пошутил? да?
...
Рейтинг: 0 / 0
30.09.2005, 15:23
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299011
Dik76
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dik76
Участник
Добавлю.. в FB смотри в сторону EXTERNAL TABLES

--
Dik76

Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
30.09.2005, 16:22
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299020
Фотография Валентин К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валентин К
Участник
Вот смеху то :) Access и бара 2Г, это не просто будет ошибки выдовать, так просто порвет движок аццеса как хомяка.
Афтар - не делай такого никагда.

Если нужен быстрый серч - firebird не ставь, он больше 2Г плохо ворочает базу.

Выход: для нормальной работы, даже локальной лучше сервер БД, а не дбф-ки, их просто рвет на таких размерах на куски.

Попробуй MySQL - не пожалеешь, любой поиск, не боитсо размеров таблиц. Вобщем будет не работать а летать.
...
Рейтинг: 0 / 0
30.09.2005, 16:25
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299034
Фотография XM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XM
Участник
Валентин К wrote:
> Попробуй MySQL - не пожалеешь, любой поиск, не боитсо размеров таблиц.
> Вобщем будет не работать а летать.

Аффтар будет вылетать вместе с MySQL.
Слушай сержанта :)
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
30.09.2005, 16:31
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299047
Фотография Валентин К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валентин К
Участник
XM
Валентин К wrote:
> Попробуй MySQL - не пожалеешь, любой поиск, не боитсо размеров таблиц.
> Вобщем будет не работать а летать.

Аффтар будет вылетать вместе с MySQL.
Слушай сержанта :)
Posted via ActualForum NNTP Server 1.3
А при чем тут сержант? не сьезжай, рас решил высказаццо.
Вы наверное знаете более быстрый движой для больших объемов данных? интересна пасматреть на бенчи :) асобена в сравнении с аццесом, а исчо в аццесе left join выполнить :)
...
Рейтинг: 0 / 0
30.09.2005, 16:34
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299068
problemsolver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
problemsolver
Участник
Валентин КЕсли нужен быстрый серч - firebird не ставь, он больше 2Г плохо ворочает базу.


Правда? А чего это Dalton Calford на fb-devel говорил, что FB2 с его 700+GB базой нормально работает? :-)
...
Рейтинг: 0 / 0
30.09.2005, 16:40
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299070
Фотография XM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XM
Участник
Валентин К wrote:
> А при чем тут сержант? не сьезжай, рас решил высказаццо.
> Вы наверное знаете более быстрый движой для больших объемов данных?
> интересна пасматреть на бенчи :) асобена в сравнении с аццесом, а исчо в
> аццесе left join выполнить :)

Мне аццесс монопенисуален ибо Access - аЦЦтой.
К MySQL имею предубеждение, а уж прикручивать его к дельфе, ну нах!.
Про Firebird могу сказать, что вижу рядом в работе систему с объемом БД
>10Gb и десятками юзверей, жалобы редкие :)
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
30.09.2005, 16:41
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299085
Фотография Валентин К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валентин К
Участник
problemsolver Валентин КЕсли нужен быстрый серч - firebird не ставь, он больше 2Г плохо ворочает базу.


Правда? А чего это Dalton Calford на fb-devel говорил, что FB2 с его 700+GB базой нормально работает? :-)

реклама, надувные агурцы и памидоры.
А может у него панятия нармальности такие, что если на 200 млн табличке это чудо наковыряет в связке с исчо 5-ю таблицами малютками по 5 млн что-та минут за 30-40 эта нармальна, для меня это не нармальна.
...
Рейтинг: 0 / 0
30.09.2005, 16:46
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299107
Фотография Валентин К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валентин К
Участник
XM
Мне аццесс монопенисуален ибо Access - аЦЦтой.
К MySQL имею предубеждение, а уж прикручивать его к дельфе, ну нах!.
Про Firebird могу сказать, что вижу рядом в работе систему с объемом БД
>10Gb и десятками юзверей, жалобы редкие :)
Posted via ActualForum NNTP Server 1.3
Ну вот, по аццесу - кансенсус :) я это чудо ваабще не перевариваю, песочница для младенцеф.
А интербейс и клоп его файроберд (арел вобсчем) тоже не сильна нравиццо, т.к. поработал с этим чудом пару лет. Канечна, если 1 табличка, так и праблем нету, ну кагда нужно сджойнить табличку хатя бы на 10 млн записей с исчо такойже, или малюткой на 1-2 млн раз 5, вот тут и вылазят праблемы.
К MySQL у меня тоже были предубеждения, а оказалось, что на тестах, делал я адинаковые на разных серверах, он просто рвет файреберд как хомяка, и других кстати тоже. Быстрее работает на datewarehouse на нетранзакционных табличках. Размеры 20-30 млн записей - не размеры. На практике щас yahoo на 7-ми серверах, стоят в кластере(может исчо в репликаторе, если не перевели), запросов под 100-1000 в секунду, и ничего все атрабатывает быстро. На такой нагрузке другие сервера часто пагибают или хатят неимаверно многа ресурсаф.
Вот такой вот сервир MySQL, это я исчо малчу, что есь таблички в нем на пару млрд записей в табличке. А что файроберд? да ниче - просто в кому впадет, асобенна, если юзверей хатябы штук 100 туда запустить.
...
Рейтинг: 0 / 0
30.09.2005, 16:53
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299109
Dik76
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dik76
Участник
Валентин

ВК> реклама, надувные агурцы и памидоры.
ВК> А может у него панятия нармальности такие, что если на 200 млн табличке
ВК> это чудо наковыряет в связке с исчо 5-ю таблицами малютками по 5 млн
ВК> что-та минут за 30-40 эта нармальна, для меня это не нармальна.
А может он их умеет говить? :)
А если серьезно, то что вы делать предполагаете с таким объемом данных?
Агрегаты считать? При больших объемах в любом случае в сторону хранимых агрегатов надо смотреть..
имхо

--
Dik76

Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
30.09.2005, 16:54
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299113
Фотография Валентин К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валентин К
Участник
Вот, а Делфе мускул прикрутить ваабще не праблема, так же как и интербейс с файробердом.
Кампаненты есть и фришные, например ZeosBDO, AnyDAC
...
Рейтинг: 0 / 0
30.09.2005, 16:55
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299134
Фотография Валентин К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валентин К
Участник
Dik76
Валентин
ВК> реклама, надувные агурцы и памидоры.
ВК> А может у него панятия нармальности такие, что если на 200 млн табличке
ВК> это чудо наковыряет в связке с исчо 5-ю таблицами малютками по 5 млн
ВК> что-та минут за 30-40 эта нармальна, для меня это не нармальна.
А может он их умеет говить? :)
А если серьезно, то что вы делать предполагаете с таким объемом данных?
Агрегаты считать? При больших объемах в любом случае в сторону хранимых агрегатов надо смотреть..
имхо

Сейчас народ под варехаузы ставит MySQL и все довольны, скорость - быстрее не бывает, не хватает - кластер. И стоимость владения очинь не высокая. Это у нас выпендриваютсо все, типа MySQL маст дай, сафсем и не сервир никакой, крута дарагой купить, а на западе нахрен выкинули дарагие и начинаю работать нармальна.
А на самам та деле функционалишко такой:
1) транзакции и без
2) хранимки процедуры и функции
3) триггеро
4) репликация
5) немерянный набор субтипов таблиц для различного функционала.
6) очинь развитой SQL-2003.
7) кластеризациё
8) скорость такая, что чуствуеццо, на практике то что в файроберде делалось за минуты, в мускуле я тратил сцекунды.
9) полнотектовый втроенный поиск очинь быстрый.

Что исчо нужна благородным комрадам для приятного времяпровождения и извращений рабочих? я не подразумеваю наличие девиц для других целий :)

Аш сам рекламный праспект написал, а нехател же :(
...
Рейтинг: 0 / 0
30.09.2005, 17:03
| Ответить | Цитировать | Написать  
Локальная БД на 6-7 гиг!
    #33299158
Сержант Золотарев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сержант Золотарев
Участник
Ибанулись совсем эти панки... авторНу вот, по аццесу - кансенсус :) я это чудо ваабще не перевариваю, песочница для младенцеф.
А интербейс и клоп его файроберд (арел вобсчем) тоже не сильна нравиццо, т.к. поработал с этим чудом пару лет. Канечна, если 1 табличка, так и праблем нету, ну кагда нужно сджойнить табличку хатя бы на 10 млн записей с исчо такойже, или малюткой на 1-2 млн раз 5, вот тут и вылазят праблемы.
К MySQL у меня тоже были предубеждения, а оказалось, что на тестах, делал я адинаковые на разных серверах, он просто рвет файреберд как хомяка, и других кстати тоже. Быстрее работает на datewarehouse на нетранзакционных табличках. Размеры 20-30 млн записей - не размеры. На практике щас yahoo на 7-ми серверах, стоят в кластере(может исчо в репликаторе, если не перевели), запросов под 100-1000 в секунду, и ничего все атрабатывает быстро. На такой нагрузке другие сервера часто пагибают или хатят неимаверно многа ресурсаф.
Вот такой вот сервир MySQL, это я исчо малчу, что есь таблички в нем на пару млрд записей в табличке. А что файроберд? да ниче - просто в кому впадет, асобенна, если юзверей хатябы штук 100 туда запустить.

Ты хоть самый первый - то пост перечитай, болезный, пока кровью не истек...

Подсказываю: тема топика "Локальная БД на 6-7 гиг!".

(Впрочем, если сложные запросы, да куча таблиц, да сложная логика на сервере, да 100 юзеров одновременно - тогда да, тормозить будет Консенсус. Тогда да, только MySQL. Транзакций там, правда, нет, и логику на сервере не развернешь - да нам и не нужно - см. тему топика again... )
...
Рейтинг: 0 / 0
30.09.2005, 17:11
| Ответить | Цитировать | Написать  
25 сообщений из 27, страница 1 из 2
  1  все
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Локальная БД на 6-7 гиг!
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]