Вообще говоря, не уверен, что в этот раздел форума.. Но всё же..



Нужно некое решение для разбора неких текстовых источников на артефакты, хранения их и, само собой, поиска.

Что я имею в виду

Вот есть например случайная статья http://www.cnews.ru/top/2013/02/13/sozdana_programma_dlya_totalnoy_slezhki_za_grazhdanami_cherez_socseti_video_518940

В США разработано приложение, которое позволяет легко и быстро получить о человеке различную информацию, используя данные из соцсетей, а также узнавать, где и в какое время его можно встретить.

Международная компания из американского штата Массачусетс Raytheon, пятый по величине поставщик решений для национальной безопасности, совместно с американским правительством разработала программное решение, которое позволяет следить за перемещениями людей и прогнозировать их поведение, используя данные из социальных сетей, сообщает Guardian.

Разработка решения под названием Riot (Rapid Information Overlay Technology) заняла более 2 лет - проект был основан в 2010 г.

С помощью Riot, созданной наподобие поисковой системы, за несколько кликов можно получить полный «снимок» жизни человека - узнать, с кем он дружит, посмотреть на карте, какие места он посещает, и другую информацию. Старший аналитик Raytheon Брайан Арч (Brian Urch) показал, как программа работает, на примере одного из сотрудников Raytheon по имени Ник.

Получив информацию из социальных сетей, Арч с помощью Riot смог быстро установить, что Ник часто посещает Национальный парк в Вашингтоне, а также смог увидеть фотографию Ника с девушкой, сделанную в этом парке. «Мы знаем, где Ник бывает, и как он выглядит, - прокомментировал Арч. - Теперь мы попытаемся предсказать, где Ник может оказаться в будущем».

Riot может строить диаграммы, указывая на взаимосвязь пользователя с другими людьми, анализируя его блог в Twitter. Также используются данные из Facebook и GPS-координаты из социальной сети Foursquare, с помощью которой около 25 млн людей в мире рассказывают друг другу о том, где в какой момент времени они находятся.


Тут есть следующие сущности:
- компании (Raytheon, Guardian)
- лица (Брайан Арч)
- системы (Facebook, GPS, Riot, Twitter)
- места (США, Вашингтон, Массачусетс)
- даты (2010)

И факты:
- Брайан Арч - Старший аналитик Raytheon
- Raytheon - Международная компания из штата Массачусетс, США
- Riot - приложение, которое позволяет получить о человеке информацию, используя данные из соцсетей

В системе должен лежать источник, сущности, факты, и все они само собой должны быть взаимосвязаны.
И поиск - поиск это основной смысл решения.
Предполагается, что разбирать источник будет человек.


могу ошибаться, но кажется должно подойти что-то вот из этого ( Список активных проектов семантических вики )

вопрос в чем - кто-нибудь что-нибудь из этого реально пользовал?

guest_20040621Посмотрите на ваше решение: вы только перечислили некоторые из имен собственных (причем, с ошибками: Guardian - это газета, а не компания, то, что вы стыдливо объединили в "системы", имеет существенно разную природу, Брайан Арч - это эквивалент настоящего имени и пр.). При этом вы не отразили главный факт - публикацию рекламной статьи в газете (не говоря уже о кривом переводе этой статьи).

Это отличный пост. Сходу показывает разницу в интепретации.
Скажем, конкретно в моем случае "существенно разная природа" GPS vs Twitter не имеет принципиального значения.
Как и то, что Raytheon - скорее всего "высокотехнологичная", а Guardian - СМИ (причем последенее не отменяет того факта, что The Guardian скорее всего существует как юридическое лицо зарегистрированное по законам Великобритании).

Но в целом да, сразу становится понятно, что информационное наполнение будет напрямую зависеть от субъективного взгляда оператора

guest_20040621> почему "не рекомендовали бы"?

Потому, что это реально сложная задача и для ее решения нужна хорошая квалификация. Которой у человека, делающего элементарные ошибки при ее постановке, по определению быть не может.
Элементарные ошибки - это существенная разница между GPS и Twitter?
Это не Вы тут продвигали идею, что БД нельзя считать хоть сколько-нибудь нормализованной, пока в ней нет данных? :)

Вообще говоря, коллеги, на нынешнем этапе мне действительно нужно некое решение, которое будет показывать статику, оснащенное нормальным поиском.
Если это возможно - то готовое и бесплатное.

Что касается до какой-то степени автоматизированного разбора источников - ежу понятно, что отдельная "задача" :)
Понятно, что такую систему придётся "учить" (это к тому, что Калифорния - штат США, а еще и полуостров в Северной Америке на территории Мексики, а еще ... и так далее).
Даже разбирая руками статью, в которой написано "Компания "Рога и Копыта" из Калифорнии", оператору придётся указывать, что речь о той Калифорнии, которая штат США, а не той, которая в Мексике (хотя может он и прочитал по диагонали, и на самом дели таки речь шла про Мексику).