Привет всем!

Я решаю одну задачку и столкнулся с проблемой роста объема базы данных.
Хотел бы услышать мнения и пожелания участников - как правильно и красиво решить проблему на SQL 2005.

Задача
Есть множество текстовых файлов. Каждый файл хранится в таблице documents
Documents
Document_id Bigtnt,
Document ntext(max)

Для каждого документа я создаю дополнительную таблицу sentence, которая хранит информации о начале и конце каждого предложения каждого документа
Sentence
Document_id
Sentence_id - bigint
Sentence nvarchar(max)
Sentence_start bigint
Sentence_end bigint

Для каждого предложения из каждого документа мне нужно составить индекс слов, а также указать позицю слова в предложении.
Таблица Word
word_id bigint
Document_id bigint
Sentense_id bigint
word nvarchar(256)
word_start smalint
word_end smallint

Вопрос
Как можно оптимизировать структуру таблиц, чтобы удалить избыточную информацию в них?
Например - я не хочу для каждого слова хранить информацию к какому документу оно принадлежит и какому придложению. Идеальный вариант в аналогии с файловой системой - это создать папку с номером документа, в каждой папке создать множество папок с номера строк и их описанием, и в каждой папке строк создать файлы, которые будут хранить информацию о словах для каждого предложения. Но как такую же структуру можно создать в SQL 2005 ?

Если я не ошибаюсь, то ORACLE позволят в качестве типа поля указывать таблицу. Я полагаю, что такая возможность позволяет значительно уменьшить базу данных. Но есть ли такая возможность на SQL 2005 ?

С уважением,
Юрий

softwarer[quot Iura]Например - я не хочу для каждого слова хранить информацию к какому документу оно принадлежит и какому придложению.
А зря. Вообще, тогда сразу возникает вопрос, что Вы собираетесь делать с этой информацией.

Ну а возможный ответ - используйте BLOB и собственную процедуру, которая будет расшифровывать его в датасет удобного Вам вида.

Мне нужно для каждого слова хранить дополнительную информацию. Допускается что в каждом документе или предложении одно и тоже слово будет иметь отличную характеристику (терминалогию, язык, орфографию и так далее). То есть за каждым словом в каждом предложении каждого текста может стоять цела структура, которая описывает его уникальность вкаждом конкретном случае.

Разбивая предложения на слова - можно быстро находить нужные словосочетания, а потом смотреть в каком случае они использовались и каковы были их характеристики.

Да

Translation Memory планирую реализовать, но на своем движке.

EstetsМузыкальные идеи витают в ввоздухе (с) Джон Леннон, в ответ на вопрос почему мелодия новой песни очень похожа на мелодию Клифа Ричарда

Тут у меня возникла подобная идея, что имея пять томов "Гарри Поттера" на русском и английском, и учитывая 90-процентную схожесть контекста и речевых оборотов одного автора, можно статистическими методами перевести 6-ой том на русский язык ;)))

И увидев структуру примерно совпадающую с той что я представлял себе для ДатаМайнинга я подумал что и задачи примерно одинаковые.

С определеным уровенм качества - да :)
Во всяком случае можно значительно облегчить жизнь переводчика ;)

www.trados.com

Я не изобретаю велосипед!

Существует множество алоритмов для игры в шахматы, но только несколько из них заслуживают внимание и уважение.