|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Поскольку на этом форуме тусуются в основном программисты, было бы интересно узнать ваше мнение. Возможно, вы не сталкивались с компьютерной лингвистикой, машинным переводом, или вообще с областями, связанными с так называемым "искусственным интеллектом" (например, работами Рэя Круцвейла в рамках своего проекта в корпорации Google). Тем не менее, все же интересно ваше мнение о перспективах такой области, как "Компьютерная лингвистика". Как известно, в ABBYY больше десятка лет разрабатывают технологию Compreno, изначально предназначенную для машинного перевода. Но, насколько можно предположить, эта технология связана с машинным анализом смысла и пониманием текста и может иметь приложения далеко выходящие за рамки машинного перевода. Своими словами я вряд ли смогу лучше сказать, поэтому приведу цитату отсюда : Compreno представляет собой технологию синтаксического и семантического анализа текста, которая опирается на универсальную для всех языков иерархию понятий и модель отношений между этими понятиями, говорят в Abbyy. В основе Compreno лежит универсальное дерево семантических понятий, которое обеспечивает понимание и анализ текстов на основе их смыслов, а не просто визуального представления. Первое решение на базе новой технологии получило название Abbyy Intelligent Search. Оно предназначено для поиска в корпоративных системах и предоставляет результаты поиска с высокой релевантностью, поскольку учитывает не только все формы слов, но и их значения, смысловые связи между словами, расстояние между словами в искомой фразе и контекст употребления, рассказали CNews в Abbyy. Важной особенностью смыслового анализа документов является тот факт, что в результатах поиска есть возможность фильтровать слова по их значениям. Пользователь может выбрать, хочет ли он найти среди документов, например, слово «fire» в значении «стрелять», «поджигать» или «увольнять». Второе из представленных решений, Abbyy Intelligent Tagger, автоматически находит в текстах так называемые «сущности» (названия организаций, персон, гео-объекты, даты и денежные суммы) и размещает их в метаданных документа. В результате, информацию в корпоративных хранилищах можно классифицировать, сортировать или фильтровать по какому-либо признаку. "Используя выявленные сущности, можно качественно улучшить целый ряд организационных процессов, связанных с анализом содержимого и ключевых параметров документов. Например, повысить приоритет обработки документов, поступающих от самых важных клиентов, создать правила для автоматического сбора сведений о клиенте или партнере, оптимизировать маршрутизацию документа по определенным критериям бизнес-процессов, упростить очистку документов от персональных и конфиденциальных данных", — говорят в Abbyy. Оба решения в настоящий момент поддерживают английский и русский языки. В будущем разработчик планирует добавить в продукты поддержку немецкого, испанского, французского и китайского языков. Помимо интеллектуального поиска и извлечения «сущностей» в корпоративных хранилищах, Abbyy считает важным направлением работы e-discovery — процесс поиска информации в документах компаний в рамках юридических разбирательств, аудита и расследований в США и Великобритании. "Скорость сотрудничества компании, участвующей в судебном процессе, и полнота предоставления информации зачастую являются ключевыми факторами для присяжных и судьи, которые позволяют им оценить участие компании в процессе", — считает гендиректор Abbyy Сергей Андреев. При этом в компании не исключают возможности в дальнейшем применять продукты на основе Compreno в юридических спорах и на территории России. «Наша индустрия нуждается в аналитике и более интеллектуальных решениях поиска, — говорит Атле Шеккеланд (Atle Skjekkeland), вице-президент и главный операционный директор Ассоциации по вопросам управления информацией и изображениями (AIIM). — Люди часто используют самые разнообразные термины для обозначения одних и тех же понятий, а потому необходимы решения, которые работают не только со значением слов, но и с контекстом. Кроме того, люди, которые находятся в поиске информации, часто не до конца понимают, что именно они ищут – им приходится перебирать варианты. И не найдя искомую информацию со 2-3 раза, они просто сдаются». Подробнее: http://corp.cnews.ru/news/top/index.shtml?2014/04/09/567483 Вот еще данные о подготовке специалистов (магистров) в области компьютерной лингвистики: http://www.abbyy.ru/Default.aspx?DN=aba1bbc8-6881-418e-8bd0-6bc9b2242f80 - В РГГУ, НИУ ВШЭ и МФТИ открыты кафедры "Компьютерной лингвистики" при поддержке ABBYY и IBM. Собственно, я хотел бы узнать, не только каковы перспективы указанной области, но и насколько может быть велик предполагаемый рынок подобных (и других, связанные с машинным анализом смысла и пониманием текста) приложений? Обсудим? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.07.2014, 22:44 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Martin114Собственно, я хотел бы узнать, не только каковы перспективы указанной области, но и насколько может быть велик предполагаемый рынок подобных (и других, связанные с машинным анализом смысла и пониманием текста) приложений? Обсудим?Какой однако глупый вопрос.. :) Конечно перспективы огромны, т.к. потенциально огромна сфера применения, особенно в связке с распознаванием (изображений, звука и т.д.). ... |
|||
:
Нравится:
Не нравится:
|
|||
22.07.2014, 10:41 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Martin114Поскольку на этом форуме тусуются в основном программисты нет. Тут больше аналитики в IT ) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.07.2014, 11:26 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Petro123Martin114Поскольку на этом форуме тусуются в основном программисты нет. Тут больше аналитики в IT ) Еще лучше. Будет интереснее узнать мнение аналитиков IT о рыночных перспективах КЛ. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.07.2014, 11:46 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
В принципе, и известные поисковые системы типа Google и Яндекс могли бы использовать технологии, аналогичные наработанным в ABBYY. Например, на запрос типа "билет до Москвы" выдавались бы результаты не только точно по ключевым словам "билет" и "Москва", но и по семантически близким понятиям "маршрут", "бронирование билетов", "транспортное агентство" и т.д. И наоборот, в свое время я искал материалы по редундантным манипуляторам роботов и наряду со статьями про манипуляторы роботов получал половину ссылок про движущихся мобильных роботов, что мне совершенно было не нужно. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.07.2014, 19:32 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Martin114Собственно, я хотел бы узнать, не только каковы перспективы указанной области, но и насколько может быть велик предполагаемый рынок подобных (и других, связанные с машинным анализом смысла и пониманием текста) приложений?Рынок гигантский, перспективы замечательные. Потенциально это снятие языкового барьера для всего мира, то есть не будет англоязычного или китаеязычного интернета, будет просто общий, всем понятный интернет. А вкупе с идеями объединения реального и виртуального мира то же самое потом войдёт и в реальный мир. Хотя это уже более сложная задача, ну так есть куда стремиться, а не "ужас, процессор в телефоне быстрее старого суперкомпьютера, и зачем это нужно, для показа картинок?" Движения пока что особого нет, после создания неких примитивных систем перевода все на это забили, но уверен, что интерес к теме появится, если кто то сделает что то массовое, начнётся гонка. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2014, 10:42 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
alexeyvgДвижения пока что особого нет, после создания неких примитивных систем перевода все на это забили, но уверен, что интерес к теме появится, если кто то сделает что то массовое, начнётся гонка. Движения и не будет, пока машина не научиться работать со смыслами. А прорыва в этом пока нет. И в ближайшее время не предвидится, т.к. мощности современных компьютеров очень слабы. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2014, 11:52 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
mad_nazgulalexeyvgДвижения пока что особого нет, после создания неких примитивных систем перевода все на это забили, но уверен, что интерес к теме появится, если кто то сделает что то массовое, начнётся гонка. Движения и не будет, пока машина не научиться работать со смыслами. А прорыва в этом пока нет. И в ближайшее время не предвидится, т.к. мощности современных компьютеров очень слабы. В принципе, возможно Вы правы, это дело на сегодняшний день рискованное. Тем более, что я сам проживаю не в Москве, где располагается компания ABBYY (и Московская Семантическая Школа), а в областном центре более, чем за тысячу километров от Москвы (и квартиры в Москве не имею). Моя знакомая девушка-программист посоветовала мне заняться более реальным делом - Big Data, тем более, что это на сегодняшний день более чем актуальная область. Но все же амбиции ABBYY впечатляют - они замахнулись на e-discovery — процесс поиска информации в документах компаний в рамках юридических разбирательств, аудита и расследований в США и Великобритании. "Скорость сотрудничества компании, участвующей в судебном процессе, и полнота предоставления информации зачастую являются ключевыми факторами для присяжных и судьи, которые позволяют им оценить участие компании в процессе", — считает гендиректор Abbyy Сергей Андреев. При этом в компании не исключают возможности в дальнейшем применять продукты на основе Compreno в юридических спорах и на территории России. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2014, 19:41 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
mad_nazgul...Движения и не будет, пока машина не научиться работать со смыслами. А прорыва в этом пока нет.... Не согласен. Уже не только спец. системы, но и бизнес-системы типа CRM имеют похожие модули А реальные перспективы - не очень понятны. Продажа CRM систем для компаний "выбивающий долги", что бы они клиента в соц. сетях искали и рекомендовали какими фразами его лучше запугивать - как-то очень специфический бизнес ))) это реальный пример внедрения о котором на конференции рассказывали ))) /Abby тут совсем НЕ при чем/ Маркетинг и реальный бизнес - при том уровне IT который в нашей стране... не верю... что внедрение настолько сложных (в обслуживание) систем _реально_ сможет принести пользу (выгоду). ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2014, 19:51 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevМаркетинг и реальный бизнес - при том уровне IT который в нашей стране... не верю... что внедрение настолько сложных (в обслуживание) систем _реально_ сможет принести пользу (выгоду). Вообще-то ABBYY - международная компания, может внедрять свои системы за рубежом. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2014, 21:19 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevНе согласен. Уже не только спец. системы, но и бизнес-системы типа CRM имеют похожие модули А реальные перспективы - не очень понятны. Продажа CRM систем для компаний "выбивающий долги", что бы они клиента в соц. сетях искали и рекомендовали какими фразами его лучше запугивать - как-то очень специфический бизнес ))) это реальный пример внедрения о котором на конференции рассказывали ))) /Abby тут совсем НЕ при чем/ Маркетинг и реальный бизнес - при том уровне IT который в нашей стране... не верю... что внедрение настолько сложных (в обслуживание) систем _реально_ сможет принести пользу (выгоду). Проблема в том что данные системы не могут сами себе "составить алгоритм". За них это делают люди. Т.е. "смысл" прерогатива людей, а компьютер делает рутинные операции. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2014, 07:20 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
mad_nazgulalexeyvgДвижения пока что особого нет, после создания неких примитивных систем перевода все на это забили, но уверен, что интерес к теме появится, если кто то сделает что то массовое, начнётся гонка. Движения и не будет, пока машина не научиться работать со смыслами. А прорыва в этом пока нет. И в ближайшее время не предвидится, т.к. мощности современных компьютеров очень слабы. Между тем на Хабре опубликовали такую статью: Любительский подход к компьютерной лингвистике , в которой говорится, что системы, способным к разбору и пониманию текста на русском языке, можно в настоящее время делать "на коленке". ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2014, 17:04 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Martin114Между тем на Хабре опубликовали такую статью: Любительский подход к компьютерной лингвистике , в которой говорится, что системы, способным к разбору и пониманию текста на русском языке, можно в настоящее время делать "на коленке". К разбору - да. К пониманию - нет. Сами люди не знают как это "понимать". ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2014, 07:14 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
mad_nazgulalexeyvgДвижения пока что особого нет, после создания неких примитивных систем перевода все на это забили, но уверен, что интерес к теме появится, если кто то сделает что то массовое, начнётся гонка. Движения и не будет, пока машина не научиться работать со смыслами. А прорыва в этом пока нет. И в ближайшее время не предвидится, т.к. мощности современных компьютеров очень слабы.ИМХО в науке постепенно движение идёт. Кстати, "понимание" - это не "алгоритм перевода текста в смысл" :-) Это может быть, например, что то со стороны ассотиативной памяти. В общем, мозг у нас, думается, не преобразовывает картинки и колебания звуковых волн в смысл по какому то "алгоритму"... Нужен именно бизнес-лидер, как Стив Джобс а эпплом, который, можно сказать, "открыл" для мира такое явление, как "бескнопочный телефон с сенсорным экраном", хотя формально такие выпускались уже много лет. Так и тут - есть, например, технологии translation memory, есть некие исследования в области понимания смысла, плюс исследования в области теорий разных языков, всё это уже на современном уровне должно улучшить работу переводчиков для обычных коммерческих продуктов. Ну и вообще, "как перспектива", интересно ведь что то сложное и большое, чем можно будет заниматься даже лет через 40? Причём в этой области есть много задач для чистых теоретиков в разных областях науки, для "системных" программистов, для прикладников, и вплоть до конечных программистов "на экселе", в общем, для всех. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2014, 09:28 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
alexeyvgИМХО в науке постепенно движение идёт. Кстати, "понимание" - это не "алгоритм перевода текста в смысл" :-) Это может быть, например, что то со стороны ассотиативной памяти. В общем, мозг у нас, думается, не преобразовывает картинки и колебания звуковых волн в смысл по какому то "алгоритму"... Об этом речь! Т.к. нет полного понимания как человек думает, то создание мат-модели "мышления" пока не возможно. А для прямого моделирования мозга "в цифре" мощностей "цифры" пока не хватает. Есть надежда на "квантовые компьютеры", но там только-только что-то выходит из теоретических изысканий. А так научить компьютер переводить, даже в контексте, могли еще с начала 90-х. Т.е. техническую документацию еще в 90-х могли переводить вполне сносно. А вот художественную литературу - нет. С тех пор с художественным переводом мало что изменилось. Да - перевод стал точнее, но для окончательной "доводки" все равно нужен человек. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2014, 10:09 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
mad_nazgulТ.к. нет полного понимания как человек думает, то создание мат-модели "мышления" пока не возможно. Ну, для примитивного логического вывода типа логического вывода в исчислении предикатов первого порядка компьютеры все-таки способны (вспомним экспертные системы). ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2014, 22:38 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Martin114mad_nazgulТ.к. нет полного понимания как человек думает, то создание мат-модели "мышления" пока не возможно. Ну, для примитивного логического вывода типа логического вывода в исчислении предикатов первого порядка компьютеры все-таки способны (вспомним экспертные системы). С этим я не спорю. Но это такой примитив. Даже ЯП такие были, например Prolog. Но не взлетело. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.07.2014, 08:44 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
И хочется вам господа, обсуждать пустое... демагогию разводить. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.07.2014, 19:41 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Martin114, Пишите код, о будущем - потом. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.07.2014, 22:03 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
prog123Martin114, Пишите код, о будущем - потом. Тут дело не в коде, тут дело в нахождении задачи компьютерной лингвистики, которую можно было бы решить, а решение опубликовать в сборнике "Компьютерная лингвистика" конференции Диалог . А для этого нужно хотя бы почитать книжки из магистерского курса "Компьютерная лингвистика", скажем НИУ ВШЭ . А для этого требуется время - годик или два. Вот я и решил узнать, может кто занимался КЛ, стоит ли игра свеч или же следует заняться чем-то другим, например, Big Data (как советуют некоторые умные люди). ... |
|||
:
Нравится:
Не нравится:
|
|||
31.07.2014, 14:12 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
Martin114...тут дело в ... задачи ....а решение опубликовать ...книжки из магистерского курса "Компьютерная лингвистика", скажем НИУ ВШЭ... А для этого требуется время - годик или два.... Большой ученый детектед. Даже ЯП такие были, например Prolog. Но не взлетело. Почему не взлетеле? http://www.pdc.com http://www.visual-prolog.com Вроде живы до сих пор. Т.ч. летают. При этом, в прямом смысле, PDC авиакомпании окучивает. Другое дело, что летают низенко-низенко ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
31.07.2014, 14:48 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
> дело в нахождении задачи компьютерной лингвистики Таких задач - вагон. Исчезающе мало коммерчески привлекательных задач с относительно простым решением. > Big Data (как советуют некоторые умные люди) Кто советует? Big Data - интересно при ориентации на зарубежные рынки, но там своих разработчиков хватает. Также интересны независимые проекты, но дело это затратное и геморройное. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.07.2014, 16:48 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
guest_20040621> дело в нахождении задачи компьютерной лингвистики Таких задач - вагон. Исчезающе мало коммерчески привлекательных задач с относительно простым решением. Значит, будем думать. guest_20040621> Big Data (как советуют некоторые умные люди) Кто советует? Big Data - интересно при ориентации на зарубежные рынки, но там своих разработчиков хватает. Также интересны независимые проекты, но дело это затратное и геморройное. Одна знакомая девушка, которая имеет очень большой опыт работы в IT. Вроде бы она присутствует на этом форуме. Кстати, в нашем городе представлены компании из группы компаний АйТи, а АйТи собирается вести НИОКР в Сколково в области Big Data ( читать здесь ). Leonid KudryavtsevMartin114...тут дело в ... задачи ....а решение опубликовать ...книжки из магистерского курса "Компьютерная лингвистика", скажем НИУ ВШЭ... А для этого требуется время - годик или два.... Большой ученый детектед. Не, совсем никакой. :) Но амбиции есть. Когда будет работающая идея, будет и код. Но чтобы выработать эту идею, нужно очень много поработать, так как есть люди, которые работают в КЛ десятилетия, и их мало чем можно удивить. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.07.2014, 19:47 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
> Значит, будем думать. Здесь как бы не о чем думать: либо вы видите эти задачи, либо нет. Если не видите, - нужно что-то менять. > Одна знакомая девушка, которая имеет очень большой опыт работы в IT. Опыт - фейк. Можно всю жизнь протирать штаны за неплохое бабло и не сделать ничего полезного. > собирается вести НИОКР в Сколково А, так вы рекламный агент? Если так, то напрасно тратите время: здесь очень неохотно ведутся на рекламу, пиар и провокации. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.07.2014, 20:11 |
|
Будущее компьютерной лингвистики
|
|||
---|---|---|---|
#18+
guest_20040621> > Одна знакомая девушка, которая имеет очень большой опыт работы в IT. Опыт - фейк. Можно всю жизнь протирать штаны за неплохое бабло и не сделать ничего полезного. Ну, она штаны не протирала, она плотно и много работала. Но у нее свой горизонт видения задач и проблем в IT, у меня свой. У присутствующих здесь форумчан, как аналитиков IT - свой. guest_20040621> > собирается вести НИОКР в Сколково А, так вы рекламный агент? Если так, то напрасно тратите время: здесь очень неохотно ведутся на рекламу, пиар и провокации. Нет, я не рекламный агент, я просто хотел сказать, что работы в области Big Data ведутся не только за рубежом, но и у нас, в России. Почему Big Data в отличие от компьютерной лингвистики? Потому что Big Data - это насущная потребность сегодня, а КЛ - в основном ориентировано на будущее. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.07.2014, 21:40 |
|
|
start [/forum/topic.php?fid=33&fpage=10&tid=1547412]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
54ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
136ms |
get tp. blocked users: |
2ms |
others: | 318ms |
total: | 557ms |
0 / 0 |