powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Будущее компьютерной лингвистики
25 сообщений из 180, страница 1 из 8
Будущее компьютерной лингвистики
    #38702379
Martin114
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Поскольку на этом форуме тусуются в основном программисты, было бы интересно узнать ваше мнение. Возможно, вы не сталкивались с компьютерной лингвистикой, машинным переводом, или вообще с областями, связанными с так называемым "искусственным интеллектом" (например, работами Рэя Круцвейла в рамках своего проекта в корпорации Google). Тем не менее, все же интересно ваше мнение о перспективах такой области, как "Компьютерная лингвистика".
Как известно, в ABBYY больше десятка лет разрабатывают технологию Compreno, изначально предназначенную для машинного перевода. Но, насколько можно предположить, эта технология связана с машинным анализом смысла и пониманием текста и может иметь приложения далеко выходящие за рамки машинного перевода.

Своими словами я вряд ли смогу лучше сказать, поэтому приведу цитату отсюда :
Compreno представляет собой технологию синтаксического и семантического анализа текста, которая опирается на универсальную для всех языков иерархию понятий и модель отношений между этими понятиями, говорят в Abbyy. В основе Compreno лежит универсальное дерево семантических понятий, которое обеспечивает понимание и анализ текстов на основе их смыслов, а не просто визуального представления.

Первое решение на базе новой технологии получило название Abbyy Intelligent Search. Оно предназначено для поиска в корпоративных системах и предоставляет результаты поиска с высокой релевантностью, поскольку учитывает не только все формы слов, но и их значения, смысловые связи между словами, расстояние между словами в искомой фразе и контекст употребления, рассказали CNews в Abbyy.

Важной особенностью смыслового анализа документов является тот факт, что в результатах поиска есть возможность фильтровать слова по их значениям. Пользователь может выбрать, хочет ли он найти среди документов, например, слово «fire» в значении «стрелять», «поджигать» или «увольнять».

Второе из представленных решений, Abbyy Intelligent Tagger, автоматически находит в текстах так называемые «сущности» (названия организаций, персон, гео-объекты, даты и денежные суммы) и размещает их в метаданных документа. В результате, информацию в корпоративных хранилищах можно классифицировать, сортировать или фильтровать по какому-либо признаку.

"Используя выявленные сущности, можно качественно улучшить целый ряд организационных процессов, связанных с анализом содержимого и ключевых параметров документов. Например, повысить приоритет обработки документов, поступающих от самых важных клиентов, создать правила для автоматического сбора сведений о клиенте или партнере, оптимизировать маршрутизацию документа по определенным критериям бизнес-процессов, упростить очистку документов от персональных и конфиденциальных данных", — говорят в Abbyy.

Оба решения в настоящий момент поддерживают английский и русский языки. В будущем разработчик планирует добавить в продукты поддержку немецкого, испанского, французского и китайского языков.

Помимо интеллектуального поиска и извлечения «сущностей» в корпоративных хранилищах, Abbyy считает важным направлением работы e-discovery — процесс поиска информации в документах компаний в рамках юридических разбирательств, аудита и расследований в США и Великобритании.

"Скорость сотрудничества компании, участвующей в судебном процессе, и полнота предоставления информации зачастую являются ключевыми факторами для присяжных и судьи, которые позволяют им оценить участие компании в процессе", — считает гендиректор Abbyy Сергей Андреев. При этом в компании не исключают возможности в дальнейшем применять продукты на основе Compreno в юридических спорах и на территории России.

«Наша индустрия нуждается в аналитике и более интеллектуальных решениях поиска, — говорит Атле Шеккеланд (Atle Skjekkeland), вице-президент и главный операционный директор Ассоциации по вопросам управления информацией и изображениями (AIIM). — Люди часто используют самые разнообразные термины для обозначения одних и тех же понятий, а потому необходимы решения, которые работают не только со значением слов, но и с контекстом. Кроме того, люди, которые находятся в поиске информации, часто не до конца понимают, что именно они ищут – им приходится перебирать варианты. И не найдя искомую информацию со 2-3 раза, они просто сдаются».

Подробнее: http://corp.cnews.ru/news/top/index.shtml?2014/04/09/567483
Вот еще данные о подготовке специалистов (магистров) в области компьютерной лингвистики:
http://www.abbyy.ru/Default.aspx?DN=aba1bbc8-6881-418e-8bd0-6bc9b2242f80
- В РГГУ, НИУ ВШЭ и МФТИ открыты кафедры "Компьютерной лингвистики" при поддержке ABBYY и IBM.

Собственно, я хотел бы узнать, не только каковы перспективы указанной области, но и насколько может быть велик предполагаемый рынок подобных (и других, связанные с машинным анализом смысла и пониманием текста) приложений?
Обсудим?
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38702596
однако2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Martin114Собственно, я хотел бы узнать, не только каковы перспективы указанной области, но и насколько может быть велик предполагаемый рынок подобных (и других, связанные с машинным анализом смысла и пониманием текста) приложений?
Обсудим?Какой однако глупый вопрос.. :)
Конечно перспективы огромны, т.к. потенциально огромна сфера применения, особенно в связке с распознаванием (изображений, звука и т.д.).
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38702664
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Martin114Поскольку на этом форуме тусуются в основном программисты
нет. Тут больше аналитики в IT )
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38702683
Martin114
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Petro123Martin114Поскольку на этом форуме тусуются в основном программисты
нет. Тут больше аналитики в IT )
Еще лучше. Будет интереснее узнать мнение аналитиков IT о рыночных перспективах КЛ. :)
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38703285
Martin114
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
В принципе, и известные поисковые системы типа Google и Яндекс могли бы использовать технологии, аналогичные наработанным в ABBYY. Например, на запрос типа "билет до Москвы" выдавались бы результаты не только точно по ключевым словам "билет" и "Москва", но и по семантически близким понятиям "маршрут", "бронирование билетов", "транспортное агентство" и т.д.
И наоборот, в свое время я искал материалы по редундантным манипуляторам роботов и наряду со статьями про манипуляторы роботов получал половину ссылок про движущихся мобильных роботов, что мне совершенно было не нужно.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38704588
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Martin114Собственно, я хотел бы узнать, не только каковы перспективы указанной области, но и насколько может быть велик предполагаемый рынок подобных (и других, связанные с машинным анализом смысла и пониманием текста) приложений?Рынок гигантский, перспективы замечательные.
Потенциально это снятие языкового барьера для всего мира, то есть не будет англоязычного или китаеязычного интернета, будет просто общий, всем понятный интернет.
А вкупе с идеями объединения реального и виртуального мира то же самое потом войдёт и в реальный мир. Хотя это уже более сложная задача, ну так есть куда стремиться, а не "ужас, процессор в телефоне быстрее старого суперкомпьютера, и зачем это нужно, для показа картинок?"

Движения пока что особого нет, после создания неких примитивных систем перевода все на это забили, но уверен, что интерес к теме появится, если кто то сделает что то массовое, начнётся гонка.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38704683
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvgДвижения пока что особого нет, после создания неких примитивных систем перевода все на это забили, но уверен, что интерес к теме появится, если кто то сделает что то массовое, начнётся гонка.

Движения и не будет, пока машина не научиться работать со смыслами.
А прорыва в этом пока нет.
И в ближайшее время не предвидится, т.к. мощности современных компьютеров очень слабы.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38705385
Martin114
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mad_nazgulalexeyvgДвижения пока что особого нет, после создания неких примитивных систем перевода все на это забили, но уверен, что интерес к теме появится, если кто то сделает что то массовое, начнётся гонка.

Движения и не будет, пока машина не научиться работать со смыслами.
А прорыва в этом пока нет.
И в ближайшее время не предвидится, т.к. мощности современных компьютеров очень слабы.
В принципе, возможно Вы правы, это дело на сегодняшний день рискованное. Тем более, что я сам проживаю не в Москве, где располагается компания ABBYY (и Московская Семантическая Школа), а в областном центре более, чем за тысячу километров от Москвы (и квартиры в Москве не имею). Моя знакомая девушка-программист посоветовала мне заняться более реальным делом - Big Data, тем более, что это на сегодняшний день более чем актуальная область.
Но все же амбиции ABBYY впечатляют - они замахнулись на
e-discovery — процесс поиска информации в документах компаний в рамках юридических разбирательств, аудита и расследований в США и Великобритании.

"Скорость сотрудничества компании, участвующей в судебном процессе, и полнота предоставления информации зачастую являются ключевыми факторами для присяжных и судьи, которые позволяют им оценить участие компании в процессе", — считает гендиректор Abbyy Сергей Андреев. При этом в компании не исключают возможности в дальнейшем применять продукты на основе Compreno в юридических спорах и на территории России.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38705390
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mad_nazgul...Движения и не будет, пока машина не научиться работать со смыслами.
А прорыва в этом пока нет....
Не согласен.

Уже не только спец. системы, но и бизнес-системы типа CRM имеют похожие модули

А реальные перспективы - не очень понятны. Продажа CRM систем для компаний "выбивающий долги", что бы они клиента в соц. сетях искали и рекомендовали какими фразами его лучше запугивать - как-то очень специфический бизнес ))) это реальный пример внедрения о котором на конференции рассказывали ))) /Abby тут совсем НЕ при чем/

Маркетинг и реальный бизнес - при том уровне IT который в нашей стране... не верю... что внедрение настолько сложных (в обслуживание) систем _реально_ сможет принести пользу (выгоду).
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38705444
Martin114
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Leonid KudryavtsevМаркетинг и реальный бизнес - при том уровне IT который в нашей стране... не верю... что внедрение настолько сложных (в обслуживание) систем _реально_ сможет принести пользу (выгоду).
Вообще-то ABBYY - международная компания, может внедрять свои системы за рубежом.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38705582
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevНе согласен.

Уже не только спец. системы, но и бизнес-системы типа CRM имеют похожие модули

А реальные перспективы - не очень понятны. Продажа CRM систем для компаний "выбивающий долги", что бы они клиента в соц. сетях искали и рекомендовали какими фразами его лучше запугивать - как-то очень специфический бизнес ))) это реальный пример внедрения о котором на конференции рассказывали ))) /Abby тут совсем НЕ при чем/

Маркетинг и реальный бизнес - при том уровне IT который в нашей стране... не верю... что внедрение настолько сложных (в обслуживание) систем _реально_ сможет принести пользу (выгоду).

Проблема в том что данные системы не могут сами себе "составить алгоритм".
За них это делают люди.
Т.е. "смысл" прерогатива людей, а компьютер делает рутинные операции.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38706791
Martin114
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mad_nazgulalexeyvgДвижения пока что особого нет, после создания неких примитивных систем перевода все на это забили, но уверен, что интерес к теме появится, если кто то сделает что то массовое, начнётся гонка.

Движения и не будет, пока машина не научиться работать со смыслами.
А прорыва в этом пока нет.
И в ближайшее время не предвидится, т.к. мощности современных компьютеров очень слабы.
Между тем на Хабре опубликовали такую статью: Любительский подход к компьютерной лингвистике , в которой говорится, что системы, способным к разбору и пониманию текста на русском языке, можно в настоящее время делать "на коленке".
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38706942
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Martin114Между тем на Хабре опубликовали такую статью: Любительский подход к компьютерной лингвистике , в которой говорится, что системы, способным к разбору и пониманию текста на русском языке, можно в настоящее время делать "на коленке".

К разбору - да.
К пониманию - нет.
Сами люди не знают как это "понимать".
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38706991
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mad_nazgulalexeyvgДвижения пока что особого нет, после создания неких примитивных систем перевода все на это забили, но уверен, что интерес к теме появится, если кто то сделает что то массовое, начнётся гонка.

Движения и не будет, пока машина не научиться работать со смыслами.
А прорыва в этом пока нет.
И в ближайшее время не предвидится, т.к. мощности современных компьютеров очень слабы.ИМХО в науке постепенно движение идёт. Кстати, "понимание" - это не "алгоритм перевода текста в смысл" :-)
Это может быть, например, что то со стороны ассотиативной памяти. В общем, мозг у нас, думается, не преобразовывает картинки и колебания звуковых волн в смысл по какому то "алгоритму"...

Нужен именно бизнес-лидер, как Стив Джобс а эпплом, который, можно сказать, "открыл" для мира такое явление, как "бескнопочный телефон с сенсорным экраном", хотя формально такие выпускались уже много лет.

Так и тут - есть, например, технологии translation memory, есть некие исследования в области понимания смысла, плюс исследования в области теорий разных языков, всё это уже на современном уровне должно улучшить работу переводчиков для обычных коммерческих продуктов.

Ну и вообще, "как перспектива", интересно ведь что то сложное и большое, чем можно будет заниматься даже лет через 40? Причём в этой области есть много задач для чистых теоретиков в разных областях науки, для "системных" программистов, для прикладников, и вплоть до конечных программистов "на экселе", в общем, для всех.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38707013
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvgИМХО в науке постепенно движение идёт. Кстати, "понимание" - это не "алгоритм перевода текста в смысл" :-)
Это может быть, например, что то со стороны ассотиативной памяти. В общем, мозг у нас, думается, не преобразовывает картинки и колебания звуковых волн в смысл по какому то "алгоритму"...


Об этом речь!
Т.к. нет полного понимания как человек думает, то создание мат-модели "мышления" пока не возможно.
А для прямого моделирования мозга "в цифре" мощностей "цифры" пока не хватает.
Есть надежда на "квантовые компьютеры", но там только-только что-то выходит из теоретических изысканий.

А так научить компьютер переводить, даже в контексте, могли еще с начала 90-х.
Т.е. техническую документацию еще в 90-х могли переводить вполне сносно.
А вот художественную литературу - нет. С тех пор с художественным переводом мало что изменилось.
Да - перевод стал точнее, но для окончательной "доводки" все равно нужен человек.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38707668
Martin114
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mad_nazgulТ.к. нет полного понимания как человек думает, то создание мат-модели "мышления" пока не возможно.

Ну, для примитивного логического вывода типа логического вывода в исчислении предикатов первого порядка компьютеры все-таки способны (вспомним экспертные системы).
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38707762
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Martin114mad_nazgulТ.к. нет полного понимания как человек думает, то создание мат-модели "мышления" пока не возможно.

Ну, для примитивного логического вывода типа логического вывода в исчислении предикатов первого порядка компьютеры все-таки способны (вспомним экспертные системы).

С этим я не спорю.
Но это такой примитив.
Даже ЯП такие были, например Prolog.
Но не взлетело.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38708519
Sheraton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И хочется вам господа, обсуждать пустое... демагогию разводить.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38708586
prog123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Martin114,

Пишите код, о будущем - потом.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38710038
Martin114
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
prog123Martin114,

Пишите код, о будущем - потом.
Тут дело не в коде, тут дело в нахождении задачи компьютерной лингвистики, которую можно было бы решить, а решение опубликовать в сборнике "Компьютерная лингвистика" конференции Диалог .
А для этого нужно хотя бы почитать книжки из магистерского курса "Компьютерная лингвистика", скажем НИУ ВШЭ . А для этого требуется время - годик или два. Вот я и решил узнать, может кто занимался КЛ, стоит ли игра свеч или же следует заняться чем-то другим, например, Big Data (как советуют некоторые умные люди).
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38710084
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Martin114...тут дело в ... задачи ....а решение опубликовать
...книжки из магистерского курса "Компьютерная лингвистика", скажем НИУ ВШЭ... А для этого требуется время - годик или два....
Большой ученый детектед.

Даже ЯП такие были, например Prolog.
Но не взлетело.

Почему не взлетеле?
http://www.pdc.com
http://www.visual-prolog.com

Вроде живы до сих пор. Т.ч. летают. При этом, в прямом смысле, PDC авиакомпании окучивает. Другое дело, что летают низенко-низенко )))
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38710212
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> дело в нахождении задачи компьютерной лингвистики

Таких задач - вагон. Исчезающе мало коммерчески привлекательных задач с относительно простым решением.

> Big Data (как советуют некоторые умные люди)

Кто советует?

Big Data - интересно при ориентации на зарубежные рынки, но там своих разработчиков хватает. Также интересны независимые проекты, но дело это затратное и геморройное.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38710348
Martin114
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
guest_20040621> дело в нахождении задачи компьютерной лингвистики

Таких задач - вагон. Исчезающе мало коммерчески привлекательных задач с относительно простым решением.
Значит, будем думать.
guest_20040621> Big Data (как советуют некоторые умные люди)

Кто советует?

Big Data - интересно при ориентации на зарубежные рынки, но там своих разработчиков хватает. Также интересны независимые проекты, но дело это затратное и геморройное.
Одна знакомая девушка, которая имеет очень большой опыт работы в IT. Вроде бы она присутствует на этом форуме. Кстати, в нашем городе представлены компании из группы компаний АйТи, а АйТи собирается вести НИОКР в Сколково в области Big Data ( читать здесь ).
Leonid KudryavtsevMartin114...тут дело в ... задачи ....а решение опубликовать
...книжки из магистерского курса "Компьютерная лингвистика", скажем НИУ ВШЭ... А для этого требуется время - годик или два....
Большой ученый детектед.
Не, совсем никакой. :) Но амбиции есть. Когда будет работающая идея, будет и код. Но чтобы выработать эту идею, нужно очень много поработать, так как есть люди, которые работают в КЛ десятилетия, и их мало чем можно удивить.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38710356
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> Значит, будем думать.

Здесь как бы не о чем думать: либо вы видите эти задачи, либо нет. Если не видите, - нужно что-то менять.

> Одна знакомая девушка, которая имеет очень большой опыт работы в IT.

Опыт - фейк. Можно всю жизнь протирать штаны за неплохое бабло и не сделать ничего полезного.

> собирается вести НИОКР в Сколково

А, так вы рекламный агент? Если так, то напрасно тратите время: здесь очень неохотно ведутся на рекламу, пиар и провокации.
...
Рейтинг: 0 / 0
Будущее компьютерной лингвистики
    #38710388
Martin114
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
guest_20040621>
> Одна знакомая девушка, которая имеет очень большой опыт работы в IT.

Опыт - фейк. Можно всю жизнь протирать штаны за неплохое бабло и не сделать ничего полезного.

Ну, она штаны не протирала, она плотно и много работала. Но у нее свой горизонт видения задач и проблем в IT, у меня свой. У присутствующих здесь форумчан, как аналитиков IT - свой.
guest_20040621>
> собирается вести НИОКР в Сколково
А, так вы рекламный агент? Если так, то напрасно тратите время: здесь очень неохотно ведутся на рекламу, пиар и провокации.
Нет, я не рекламный агент, я просто хотел сказать, что работы в области Big Data ведутся не только за рубежом, но и у нас, в России. Почему Big Data в отличие от компьютерной лингвистики? Потому что Big Data - это насущная потребность сегодня, а КЛ - в основном ориентировано на будущее.
...
Рейтинг: 0 / 0
25 сообщений из 180, страница 1 из 8
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Будущее компьютерной лингвистики
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]