
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
21.10.2012, 16:00
|
|||
|---|---|---|---|
|
|||
Нейронная сеть для поиска слов в файле |
|||
|
#18+
Доброго времени суток, уважаемые! Есть необходимость создать нейронную сеть/обучить готовую нейронную сеть для решения след. задачи: имеется текстовый файл. На входе программы - слово, на выходе программа должна выдавать позицию этого слова в данном текстовом файле. Подскажите, где можно найти информацию по подобным задачам и в какую сторону вообще копать? В интернете множество информации, посвященной распознаванию образов, но, похоже, что это не мой случай. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2012, 16:32
|
|||
|---|---|---|---|
Нейронная сеть для поиска слов в файле |
|||
|
#18+
Для чего тут нейронная сеть?!... А впрочем....$899 и задачу решу ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2012, 16:41
|
|||
|---|---|---|---|
Нейронная сеть для поиска слов в файле |
|||
|
#18+
defecatorДля чего тут нейронная сеть?!... А впрочем....$899 и задачу решу C помощью нейронной сети? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2012, 16:46
|
|||
|---|---|---|---|
|
|||
Нейронная сеть для поиска слов в файле |
|||
|
#18+
Что ж, думаю, что придется уточнить условие у преподавателя. А если предположить, что файл не текстовый, а картинка (например, .djvu документ)? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2012, 20:21
|
|||
|---|---|---|---|
Нейронная сеть для поиска слов в файле |
|||
|
#18+
SpokaneДоброго времени суток, уважаемые! Есть необходимость создать нейронную сеть/обучить готовую нейронную сеть для решения след. задачи: имеется текстовый файл. На входе программы - слово, на выходе программа должна выдавать позицию этого слова в данном текстовом файле. Подскажите, где можно найти информацию по подобным задачам и в какую сторону вообще копать? В интернете множество информации, посвященной распознаванию образов, но, похоже, что это не мой случай.а зачем здесь нейронная сеть? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2012, 20:22
|
|||
|---|---|---|---|
Нейронная сеть для поиска слов в файле |
|||
|
#18+
SpokaneЧто ж, думаю, что придется уточнить условие у преподавателя. А если предположить, что файл не текстовый, а картинка (например, .djvu документ)?тогда задача сводится к распознаванию образов )) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2012, 20:57
|
|||
|---|---|---|---|
|
|||
Нейронная сеть для поиска слов в файле |
|||
|
#18+
ZyK_BotaN, ну это логично) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2012, 21:16
|
|||
|---|---|---|---|
|
|||
Нейронная сеть для поиска слов в файле |
|||
|
#18+
тема проекта кстати звучит так: "Исследование эффективности использования весов нейронной сети в качестве индексной информации" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.10.2012, 01:12
|
|||
|---|---|---|---|
|
|||
Нейронная сеть для поиска слов в файле |
|||
|
#18+
Spokane, Навскидку... попробуйте тупо обучать персептрон (3-4 слоя, не больше; внутренние слои должны быть достаточно крупными) на все слова текста; вход - буквы слова, преобразование в вещественные числа придумайте сами; выход - примерная позиция. Сеть обучается в несколько итераций, затем для всех слов предсказанный сетью ответ сверяется с истинным; строится зависимость среднего расхождения от количества нейронов внутренних слоёв. Далее, считая время на поиск слова (скажем, алгоритмом Кнута-Морриса-Пратта) линейным, найти оптимум. Повторить для разных файлов (не менее пяти) одного размера; для разных размеров файлов. Предположить вид зависимости оптимального времени от размера файла. Также можно взглянуть в сторону CUDA в части реализации, потому что, что-то мне подсказывает, на ЦП выше "нормального" индекса при достаточно большом файле прыгнуть не получится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.10.2012, 01:13
|
|||
|---|---|---|---|
|
|||
Нейронная сеть для поиска слов в файле |
|||
|
#18+
AbstractionДалее, считая время на поиск слова (скажем, алгоритмом Кнута-Морриса-Пратта) в интервале погрешности линейным, найти оптимум. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.10.2012, 19:18
|
|||
|---|---|---|---|
|
|||
Нейронная сеть для поиска слов в файле |
|||
|
#18+
Abstraction, попробую, спасибо. Однако не совсем понятно зачем усложнять (обучать сеть на все слова в тексте и т.д.), если можно использовать алгоритмы поиска ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.10.2012, 20:19
|
|||
|---|---|---|---|
|
|||
Нейронная сеть для поиска слов в файле |
|||
|
#18+
Что ж, вопрос решен. Всем откликнувшимся спасибо, Abstraction в частности) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.10.2012, 23:05
|
|||
|---|---|---|---|
|
|||
Нейронная сеть для поиска слов в файле |
|||
|
#18+
SpokaneAbstraction, попробую, спасибо. Однако не совсем понятно зачем усложнять (обучать сеть на все слова в тексте и т.д.), если можно использовать алгоритмы поискаПотому что в этом смысл индекса: Вы строите некоторую структуру, которая позволяет найти позицию слова в файле быстрее, чем путём просмотра файла целиком. Простейший вид такой структуры - таблица "слово-позиция", записи в которой упорядочены по алфавиту: поиск слова в упорядоченной структуре занимает логарифмическое время. Нейросеть на параллельном процессоре теоретически может работать ещё лучше; но проблема ещё в том, что слово для неё не самый удачный тип данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.12.2012, 19:58
|
|||
|---|---|---|---|
|
|||
Нейронная сеть для поиска слов в файле |
|||
|
#18+
Доброго времени суток! Вопрос вновь стал актуальным, но уже в другом контексте: цель - обучить сеть на все слова файла на след. обучающих парах: входной вектор - массив double: слово файла (буквы слова, преобразованные в числа от 0.0 до 1.0) + номер вхождения этого слова в файл (также нормализованный: от 0.0 до 1.0) выходной вектор - позиция первой буквы этого слова в файле (для данного номера вхождения) + общее кол-во вхождений этого слова в файл. Кол-во входов сети ставлю 64 (63 буквы слова + номер вхождения; если в слове меньше 63 букв , то оставшийся промежуток заполняю нулями). Кол-во выходов соответственно 2. Обучаю сеть для каждого слова из файла таким образом, используя библиотеку AForge.Neuro (писана на C#). Варьирую кол-во слоев, кол-во нейронов в скрытых слоях, learning rate, momentum, кол-во итераций обучения. В качестве алгоритма обучения обратное распр-ние ошибки, функция активации сигмоид. Даже для самого простого файла из четырех слов после 500, 5000, 50000, 500000 итераций ошибка равна аж 279.0 и не уменьшается (при этом, ошибка после 10 итераций обучения ~ 279.05). Я понимаю, что здесь собрались не телепаты, но все же в чем может быть загвоздка? Может быть такая задача в принципе плохо решается таким путем? Подскажите пожалуйста. P.S. Конечная цель - хранить информацию о словах и их индексах в весах нейросети. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.12.2012, 02:03
|
|||
|---|---|---|---|
Нейронная сеть для поиска слов в файле |
|||
|
#18+
Spokane, эта задача балансирует на грани целесообразности. Вобщем это попытка эмулировать человеческий мозг, когда он вспоминает в каком месте книги или конспекта он видел слово. И здесь нейросеть не то чтобы неудачный выбор (обыкновенные алгоритмы грубой силы её решат эффективнее) но еще и бесконечный поток ошибок и неточностей. Вы можете очень быстро получить первые результаты но когда поймете что сеть лажается нужно будет увеличить количество нейронов и связей в ее слоях до такой степени что объём сети будет превышать все разумные объёмы для обычных текстовых индексов. Чуда не будет! НС никак не больше помнит чем обычная банальная память ячеек. А в совокупности с накладными на описание связей и весов - на порядки больше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=16&mobile=1&tid=1342003]: |
0ms |
get settings: |
7ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
178ms |
get topic data: |
7ms |
get forum data: |
1ms |
get page messages: |
30ms |
get tp. blocked users: |
1ms |
| others: | 229ms |
| total: | 476ms |

| 0 / 0 |
