Привет всем!

Хотелось бы узнать от людей, которые занимались обработкой текстовой информации, как правильней выделять слова из текста?

Есть два метода:
1. Слово - соотвествует одному из заданных шаблонов
2. Начальный и конечный разделитель - соотвествует одному из шаблонов

Какой из двух вариантов оптимальный если исходный текст задан в Unicode и не известен алфавит текста?

цель

любой текстовой файл (документы, чаты, книги) максимально возможно по пользовательскому шаблону разбить на слова, знаки препинания, предложения и абзацы для любого языка.

Сколько будет ориентировочно стоить заказ такой библиотеки на C++?

ErV[quot Unknown :)]Привет всем!

Хотелось бы узнать от людей, которые занимались обработкой текстовой информации, как правильней выделять слова из текста?

Есть два метода:
1. Слово - соотвествует одному из заданных шаблонов
2. Начальный и конечный разделитель - соотвествует одному из шаблонов

Какой из двух вариантов оптимальный если исходный текст задан в Unicode и не известен алфавит текста?
По-моему простейший вариант будет считать, что слово - это нечто, состоящее из одного или более символов из набор типа "абвгдеёжзийклмнопрстуфцчшщьымэюя" (case-insensitive), ограниченное слева/справа одним и/или более символами из набора (" !.,;:-/|\""). Это тупейший вариант. Лучшим вариантом считаю взять книгу (а лучше несколько) разбить её на слова тупейшим вариантом, слова загнать в список, список перегнать в нижний регистр, список отсортировать по алфавиту, удалить дубликаты, и сохранить в файл-словарик. При грамотной реализации процесс построения словаря занимает 1..2 секунды для текста 300..400кбайт на 900мгц машине при этом потребуется оперативной памяти в количестве (обьем_книги_в_символах * (sizeof(char*)+sizeof(char)) + sizeof(char)). Под char имеется в виду тип данных для символа. Такое делал (генератор словарного запаса книги).

В процессе работы с текстом фраза должна разбиваться на слова исходя из зарегестрированных разделителей, а найденные "слова" должны проверяться на валидность по словарику qsearch'ем.

Рекомендую почитать книжку "Жемчужины программирования". Там подробно описан процесс построения словарного запаса книги, генерации текста, создания аннаграмм и т.д.

В случае для юникода, словом является кусок фразы, ограниченной разделитялеми(знаки препинания, пробелы, запятые и т.д.), и не соприкасающийся с цифрами. А вот с разделителями в юникоде могут быть болты.

e Unknown :)
Сколько будет ориентировочно стоить заказ такой библиотеки на C++?
[/quote]
Судите по времени.
По-моему, без знаний о языке это займет 1..7 дней (минимум 4 часа) работы, в зависимости от условий задачи и реализации. Без знания языка текста и словаря, я думаю, результат будет очень неудовлетворительный.
Потому что:
1) Юникод заполнен не полностью, там есть пустые места для доп знаков, который могут быть использованы как угодно) - т.е. как разделитель, так и как слово.
2) Не учитывается случай, когда символ==слово.
3) Не учитываются языки без разделителей. Пример: "課金システム切り替えに伴う重要なお知らせ" (гугл перевел как "Furthermore the importance which accompanies rating system change the news"). Фраза (сперта с sega.jp) сотоит из символов без разделителей. Вообще. Для данного случая нужен словарь.
5) Будет считаться словом любой мусор без разделителей. (т.е. одни гласные, одни согласные, буквы из разных языков и т.д.).
6) Слишком много вариантов разделителей.

Со словарем результат будет неудовлетворительный, так как анализ будет ограничен словарем. Займет меньше недели. (опять же, смотря как поставлена задача)

Без словаря придется выводить правила словообразования языка и общий законы определения принадлежности знаков к слову. Тут насчет того, сколько займет не знаю. Если эти законы для языка выведены и к практическому воплощению пригодны, то вам повезло, если же НЕ выведены, то займет это очень много времени. (Имхо, парочку лет. Хотя, возможно, я пессимистичен)

Вообще (сугубо личное мнение), в общем случае (без указания языка) задача сводится к созданию ИИ :).

Если опять же, делать задачу "в лоб", то можно взять набор всех существующих слов Unicode для всех языков. :)

Для знакомых мне языков текст реально разбить только на предложения. Причем неправильно :) - если предложением считать набор символов, заканчивающихся точкой. (Кстати, их в юникоде несколько).

Вывод:
Рекомендую конкретизировать задачу для определенного языка/группы языков и построить словарь либо выявить определенные правила. Языки привел те, с которыми сталкивался. Либо конкретизируйте конкретную ситуацию, в которой слово анализируется.

ЗЫ. Возможно, что я спросонья упустил какую-то мелочь. Если так, укажите...

Идеи хорошие, но они не подходят для меня.
1. Регистр не имею право менять
2. Я не могу привязываться к какому либо словарю
3. Я не проверяю орфографию слова. Мне это не важно. Даже если будет не осмысленный текст

Появилась идея как отсеивать слова.
1. Слова не начинаются на комбинацию символов {' ',',','.','!'} - не полный список значений
2. Если выполнилось условие 1, то слова заканчиваются на комбинацию символов {' ',',','.','!'} - не полный список.
3. Списки для условия 1 и условия 2 могут различаться.

Полагаю, что это правильная идея.

Текущая задача - написать программу для сбора статистики использования слов, фраз, предложений для любого языка.

Обработанные текстовые данные (выделенные слова, знаки припинания, предложения, абзацы) должны быть занесены в базу данных. В дальнейшем собранные данные будут использоваться для других целей.
При копировании инфо о предложении в базу данных - должна быть учтена последовательность слов и знаков припинания, а также должна быть возможность динамически настраивать фильтры для парсинга .

softwarer Unknown :)Какой из двух вариантов оптимальный
Как всегда, оптимален третий вариант. Алгоритм простой, эффективный и почти универсальный.

1. По заданной входной строке строите ее копию в нижнем регистре.
2. По той же строке строите ее копию в верхнем регистре.
3. Посимвольно сравниваете полученные строки; слово - последовательность "различающихся" символов, ограниченная "неразличающимися".


Не получиться. Не во всех алфавитах есть заглавные и прописные буквы.

нужно искать слово по критерию
1. должно не начинаться ни на одну из заданных комбинаций символов
2. должно заканчиваться на одну из заданных комбинаций символов


:)

начинаю писать на c# + sql 2005

Я прекрасно понимаю, что с помощью моего метода не возможно достичь 100% результата. Но если показатель будет 80%, то уже не плохо.

Мне не совсем важно какие слова используются в тексте. Правильно ли они написаны орфографически или грамматически. Но мне важен сохранять регистр слов.