ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Выбор СУБД и подхода для проекта(дипломная работа)
15 сообщений из 15, страница 1 из 1
Выбор СУБД и подхода для проекта(дипломная работа)
    #37745890
mustdwindows98aie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mustdwindows98aie
Гость
Прошу поучаствовать, поделитесь мыслями, пожалуйста!
Требуется реализовать: каталог книг, документов, статей и т.п. с поиском по тексту. Весь материал в данный момент проходит обработку и преобразуется к 3м форматам - html, doc и pdf. Материалов много - несколько гигабайт.
Главный вопрос, который меня мучает, так как подобных задач мне решать еще не приходилось - как реализовать поиск по тексту и какую СУБД взять.
Работать все должно онлайн.
Как мне пока это представляется - сам интерфейс пользователя будет написан на html+php, хранится странички будут в файлах html. Текст из html файлов будет дополнительно занесен в бд(с какой то предварительной обработкой ради уменьшения объема) и уже по тексту в бд будет каким то образом осуществляться поиск.
Насколько реально? Будет ли работать быстро? На какие моменты обратить внимание при реализации.
Всем заранее большое спасибо за участие.
...
Рейтинг: 0 / 0
09.04.2012, 21:57
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37746558
SignOff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SignOff
Участник
mustdwindows98aie,

А обязательно текстху загонять в БД?

Есть отличная библиотека Lucene она портированная для многих языков программирования в т.ч. и для пихапи.
Заточена на поиск данных по текстухе. В дополнение ее можно и заточить и на нечеткий поиск, что скорее всего вам рано или поздно понадобится.

Работать можно с MS SQL с FILESTREAM.

ИМХО.
...
Рейтинг: 0 / 0
10.04.2012, 12:03
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37746579
mustdwindows98aie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mustdwindows98aie
Гость
поисктекста внутри нескольких гигабайт файлов думаю будет работать очень медленно. я очень надеюсь, что может быть есть какие то технологии в бд
...
Рейтинг: 0 / 0
10.04.2012, 12:09
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37746641
SignOff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SignOff
Участник
mustdwindows98aie,

Да - а вот БД она волшебная и будет работать быстро.
В ошибаетесь.

Если проиндексировать файлы то поиск по ним мега шустрый будет.
Да и возможностей гибкх настроек немеряно.

Ве сже почитайте Люсен а потом делайте громкие заявления которые потрясут старых проефессоров буситетов.
...
Рейтинг: 0 / 0
10.04.2012, 12:36
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37746702
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
mustdwindows98aieя очень надеюсь, что может быть есть какие то технологии в бд

Ты дожил до диплома и ни разу не слышал о Full Text Search? В морг.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2012, 13:01
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37746731
SignOff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SignOff
Участник
Dimitry Sibiryakov,

Ну этот фулл текст сёрч и не такой уж и архиклассный - есть нем и недостатки.
А если дело пахнет пи ха пи - то Люсен однозначно. Ну или другие поделки :)
...
Рейтинг: 0 / 0
10.04.2012, 13:23
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37746775
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
SignOffНу этот фулл текст сёрч и не такой уж и архиклассный - есть нем и недостатки.

Я бы сказал больше - он полный отстой, но для диплома сойдёт.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2012, 13:43
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37746802
mustdwindows98aie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mustdwindows98aie
Гость
Dimitry Sibiryakov,

простите нас мертвяков, но представьте, дожил. И причина тому - диплом не по бд, а по защите информации. И основная часть диплома - это сбор и переработка информации, а систему предоставления и поиска позволяется использовать даже готовую, просто подобного СВОБОДНОГО я не нашел.
Тема бд для меня хоть и знакома, но по курсу - вторична.
...
Рейтинг: 0 / 0
10.04.2012, 13:54
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37746804
mustdwindows98aie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mustdwindows98aie
Гость
Люди, диплом не в том чтобы систему эту систему написать, это максимум 10% работы.
...
Рейтинг: 0 / 0
10.04.2012, 13:55
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37746811
mustdwindows98aie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mustdwindows98aie
Гость
SignOff,

спасибо большое, я посмотрел по нему информацию. заявляется, что "на современном оборудовании 95 гб за час" у меня будет около 10, значит поиск в самом худшем случае будет идти около 6 мин. правда не совсем понятно что имеется в виду под "современным оборудованием".
вариант очень неплохой, у меня есть представление о том, что это действительно ресурсоемкая задача, но может быть есть еще другие подходы.
...
Рейтинг: 0 / 0
10.04.2012, 14:01
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37747008
mustdwindows98aie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mustdwindows98aie
Гость
Dimitry Sibiryakov,

спасибо, покопаю в сторону Full Text Search
...
Рейтинг: 0 / 0
10.04.2012, 15:24
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37747042
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir Baskakov
Участник
http://sphinxsearch.com/
http://habrahabr.ru/post/104690/
хабрРаньше для поиска по сайту мы использовали обычный fulltext поиск. Но в определенный момент он перестал нас устраивать и мы решили опробовать альтернативную технологию поиска: Sphinx. К сожалению, у сфинкса совсем нет русской документации, поэтому эта статья — аналог статьи Build a custom search engine with PHP, только на русском языке и для моего локального окружения (windows 7, mysql/php)
...
Рейтинг: 0 / 0
10.04.2012, 15:36
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37747366
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
я бы хотел увидеть Full-text searh по PDF документу ....
...
Рейтинг: 0 / 0
10.04.2012, 17:50
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37747503
mustdwindows98aie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mustdwindows98aie
Гость
нашел интересную вещь - xapain, пока буду копать туда
...
Рейтинг: 0 / 0
10.04.2012, 19:46
| Ответить | Цитировать | Написать  
Выбор СУБД и подхода для проекта(дипломная работа)
    #37747506
mustdwindows98aie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mustdwindows98aie
Гость
Ivan Durak,

не обязательно по pdf( хотя xapain роде тоже умеет), ведь все доки будут представлены в 3х форматах, для поиска наиболее удобен - html
...
Рейтинг: 0 / 0
10.04.2012, 19:47
| Ответить | Цитировать | Написать  
15 сообщений из 15, страница 1 из 1
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Выбор СУБД и подхода для проекта(дипломная работа)
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=32&msg=37747008&tid=1541747]:
 0ms
get settings:
 9ms
get forum list:
 17ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 173ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 51ms
get tp. blocked users:
 1ms
others: 246ms
total:  518ms
созд. / загр.: 518ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]