Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Как живой нейрон ищет оптимальные веса дендридов? / 24 сообщений из 24, страница 1 из 1
11.11.2008, 20:54:31
    #35647802
private
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
Привет! Хотелось бы понять:
Как живой нейрон ищет оптимальные веса дендридов?

И второе, на мой взгляд, существующая модель нейрона и нейросети теряет ряд принципиальных свойств оригинала. Хотелось бы услышать что вы думаете по этому вопросу и если есть ссылки на работы по построению более точной модели (можно на англ).

Под существующей я понимаю суммирование с весами и затем нормализацию с помощью сигма-функции output = sigma(sum(input(i)*weight(i))).

Неточности:
- Алгоритм обучения вынесен вовне сети (генетические алгоритмы поиска, ...). В оригинале нейрон самостоятельно ищет оптимальные веса дендритов и каким-то образом определяет какие оставить а какие нет.

- Сеть - динамическая структура, процессы которые в ней протекают являются функциями времени (запаздывание, сравнение с предыдущим сигналом, ...), а искуственная нейросеть считается полностью определенной матрицей весовых коэффицентов.

- При обучении сети целевая функция вынесена во вне и внешний учитель вычисляет разницу между желаемым и получаемым и управляет обучением.
В мозге, возможно, что "целевая функция" "размазана" по множеству нейронов, и как таковой физической "разницы" там может не быть.
В общем случае ей может быть например желание нейрона оставаться в состоянии покоя (это я взял с потолка). Например нейрон отвечает за болевые ощущения, если больно - ему приходит сообщение он начинает менять веса дендритов, стремясь снова вернуться в состояние покоя. И менясь сам он также генерирует кучу сообщений другим нейронам, которые в ответ тоже начинают менятсья стремясь сохранить свое состояние покоя.
...
Рейтинг: 0 / 0
11.11.2008, 21:14:38
    #35647822
Урановая Совесть
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
Йопт, и сюда извращенцы валят.
Я то думал, в универе прошло и забыли, а оказывается есть "студентики"

...
Имдлаар нефскритто прогруммаир туаррос ситтре аппокомоур (;,;)
...
Рейтинг: 0 / 0
11.11.2008, 22:01:14
    #35647876
private
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
Йопт, тупизна тебе к лицу ;).

Модератор:
предупреждение.
Урановую Совесть тоже касается
...
Рейтинг: 0 / 0
11.11.2008, 22:54:22
    #35647919
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
Очень сложно вести дискуссию, когда ты задав вопрос сам тут-же на него пытаешься ответить.
...
Рейтинг: 0 / 0
12.11.2008, 13:15:23
    #35649017
Как живой нейрон ищет оптимальные веса дендридов?
privateПривет! Хотелось бы понять:
Как живой нейрон ищет оптимальные веса дендридов?
А что, Хебб, по-твоему, свои правила для компа формулировал? Он жеж психолог был, еще и биологией увлекавшийся. Так что - так и ищет, здесь нейросети ничего нового для природы не придумали.

privateИ второе, на мой взгляд, существующая модель нейрона и нейросети теряет ряд принципиальных свойств оригинала. Хотелось бы услышать что вы думаете по этому вопросу и если есть ссылки на работы по построению более точной модели (можно на англ).
Да, теряет. Ситуация с архитектурами нейросетей еще хуже: они еще дальше от "оригиналов", чем технический нейрон от биологического. Работы в направлении приближения к биологической модели ведутся, но ссылок дать не могу, не слежу за этим, а найти что-то сложно - слишком мало работ.

privateПод существующей я понимаю суммирование с весами и затем нормализацию с помощью сигма-функции output = sigma(sum(input(i)*weight(i))).
Нда, а как же РБФ-сети? Или сети Хопфилда? Модель технического нейрона не ограничивает вид активационной характеристики.

privateНеточности:
- Алгоритм обучения вынесен вовне сети (генетические алгоритмы поиска, ...). В оригинале нейрон самостоятельно ищет оптимальные веса дендритов и каким-то образом определяет какие оставить а какие нет.
Алгоритмы обучения бывают разные, в том числе и близкие к "оригиналу".

private- Сеть - динамическая структура, процессы которые в ней протекают являются функциями времени (запаздывание, сравнение с предыдущим сигналом, ...), а искуственная нейросеть считается полностью определенной матрицей весовых коэффицентов.
Сдается мне, из всего многообразия нейросетей вы удосужились изучить только многослойные; так вот, это не так)) МНС - одна из самых изученных и используемых, но в то же время и самых убогих архитектур нейросетей.

private- При обучении сети целевая функция вынесена во вне и внешний учитель вычисляет разницу между желаемым и получаемым и управляет обучением.
Ну да, все про одно и то же)) А есть еще сеть Кохонена, а еще персептрон Розенблатта, и нет там вообще никаких целевых функций.
Обучение бывает не только с учителем, но и с критиком и вообще самостоятельное.
Беда абсолютного большинства критиков нейронных сетей в том, что они сужают эту теорию до МНС+обратного_распространения.
...
Рейтинг: 0 / 0
12.11.2008, 13:43:18
    #35649101
self-fix
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
сейчас_придет_c127_и_все_опошлит А есть еще сеть Кохонена, а еще Хемминга , и нет там вообще никаких целевых функций.
...
Рейтинг: 0 / 0
12.11.2008, 16:12:31
    #35649660
private
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
авторРаботы в направлении приближения к биологической модели ведутся, но ссылок дать не могу, не слежу за этим, а найти что-то сложно - слишком мало работ.IBM Blue Brain – симуляция работы ячейки (Cortical column) мозга ~ 10 000 процессоров моделируют ~ 10 000 нейронов, гигабайты данных в секунду. Но я поискал, что они используют, оказалось – довольно древнюю программу для симуляции. Пока не слышно чтобы что-то интересное получили.

авторА есть еще сеть Кохонена, а еще Хемминга, и нет там вообще никаких целевых функций.Насколько я понимаю, это специальный класс сетей для решения специального класса задач. Т.е. они созданы, чтобы решать некоторые специфичные задачи, а не для того чтобы максимально приблизиться к своим живым универсальным оригиналам.

Понимаю, что разновидностей сетей много, и алгоритмов обучения тоже много. Мне интересно, есть ли модель которая максимально приближена к биологической?

авторАлгоритмы обучения бывают разные, в том числе и близкие к "оригиналу".
Какие? Я не нашел в интернете описания, как живой нейрон обучается, потому и спросил.

авторавтор
Под существующей я понимаю суммирование с весами и затем нормализацию с помощью сигма-функции output = sigma(sum(input(i)*weight(i))).
Нда, а как же РБФ-сети? Или сети Хопфилда? Модель технического нейрона не ограничивает вид активационной характеристики.Я взял самый общий вид чтобы показать что вообще имею ввиду. Дело не столько в активационных функциях сколько в обучении и динамике во времени.
...
Рейтинг: 0 / 0
12.11.2008, 16:22:57
    #35649704
private
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
Меня смущает то, что живой нейрон автономен и самодостаточен и вся эта хитрая машинерия по обучению и т.д. в нем "инкапсулирована".
А в искуственных используются даже не аналогии а совершенно "надуманные" стратегии. И не только эволюционные внешние алгоритмы, но и в тех-же приведеных примере сетей Кохонена, сомневаюсь что мозг работает также. Это конечно может быть и интересная и важная задача, но вопрос то в другом.
...
Рейтинг: 0 / 0
12.11.2008, 22:04:51
    #35650412
Пользователь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
private он начинает менять веса дендритов
а разве не проходит самый простой и тривиальный алгоритм:
- запоминаются пути (толще становятся), по которым чаще всего бегут сигналы
...
Рейтинг: 0 / 0
13.11.2008, 02:26:11
    #35650523
private
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
А если получится положительная обратная связь? они что-же так и будут по кругу гонять сигналы становясь все толще и толще?
...
Рейтинг: 0 / 0
13.11.2008, 02:27:40
    #35650524
private
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
Я тоже такое читал вкратце но так и не понял как это работает, в гугле что-то не нашел ничего интересного ...
...
Рейтинг: 0 / 0
13.11.2008, 06:18:31
    #35650572
Как живой нейрон ищет оптимальные веса дендридов?
Не надо петь пестни. Работа мозга -- это чистый перебор.
Перебор тупых комбинаций. Ничего выше этого нет. Знание невозможно получить из ничего.
В этом смысле, человек, homo sapiens, -- это ужасно тупая машина. Я сто раз писал : как мои кошки
решают квадратные уравнения? Я до сих пор куею с их способностей. Сидит (решила прыгнуть), коготки туда-сюда подтягивает (типа решает уравнение), а потом прыг! И ни лишнего микрона!
...
Рейтинг: 0 / 0
13.11.2008, 06:59:19
    #35650590
Как живой нейрон ищет оптимальные веса дендридов?
Я с них куею (а у меня их докуищи; я всех этих живых тварей подбираю и ращу)
Не просто так првгают, а по наикратчайшему расстоянию. Возьмем, к прмеру, Карамельку. Сантиметров 15
Первый раз я окуел : как? как? она попала на холодильник?
Потом увидел : она по шторе. И причем по такой совершенной схеме.
Ей просто по ее детской наивности повезло. А вот зачем взрослые кошки *готовятся* к прыжку?
Квадратное уравнение можно решить за микросекунды. У них что там, бинарный поиск что-ли?
...
Рейтинг: 0 / 0
13.11.2008, 10:18:58
    #35650889
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
Балансируют хвостом ИМХО.

ЗЫ. Бретанские ботаники до сих пор не поймут как оно прыг. на 4 лапы всегда...
...
Рейтинг: 0 / 0
13.11.2008, 12:29:49
    #35651343
zloy den
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
maytonБалансируют хвостом ИМХО.

ЗЫ. Бретанские ботаники до сих пор не поймут как оно прыг. на 4 лапы всегда...

про ботаников-хорошо. З.Ы. Далеко не всегда на 4 лапы, если серьезно
...
Рейтинг: 0 / 0
13.11.2008, 13:52:22
    #35651649
Тот ЕН ХЕМ
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
maytonБалансируют хвостом ИМХО.

ЗЫ. Бретанские ботаники до сих пор не поймут как оно прыг. на 4 лапы всегда...
а вот как балансировать хвостом..... это я сразу пас, как это рассчитывать.
...
Рейтинг: 0 / 0
13.11.2008, 15:14:22
    #35652014
ф
ф
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
И это правильно : давайте помнить Фиббоначи, Декарта, и пр. Мы -- по сравнению с ними просто убогие детишки
Взять Декарта -- какой-то гондон , поебень из хранцузской армии, но что он сделал для людей это пипец.
Вот были люди, я бы сказал. Или Виктор Михайлович Глушков. Очень обидно что этого гения мало кто помнит. Это такая эпоха, такие люди
...
Рейтинг: 0 / 0
13.11.2008, 16:13:08
    #35652250
Пользователь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
privateА если получится положительная обратная связь? они что-же так и будут по кругу гонять сигналы становясь все толще и толще?
- это называется сумашествие (или тремор)
...
Рейтинг: 0 / 0
13.11.2008, 20:16:56
    #35652941
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
вппмейтон, зацени мои сабмиты к https://www.spoj.pl/problems/DEFEND/:
Классно, Гарри, а зачем это? (с) Lock Stock and Two Smoking Barrels
...
Рейтинг: 0 / 0
13.11.2008, 22:20:49
    #35653066
private
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
Походу кто-то из дурдома сбежал ...

Как кошка вычисляет, прыгает и балансирует, отчасти понятно. Кому интересно - ищите "Теория Управления", "Пространство состояний", "Управляемость", "Наблюдаемость", "Оптимальное Управление", "Матричные операторы", и еще куча всего.
И решает она кстати не квадратное уравнение, а нелинейное дифференциальное уравнение энного порядка.
Как построить из нейронов "решатель" таких уравнений, насколько я знаю уже давным давно известно, ничего секретного тут нету.

И очень-очень-очень во многом благодаря работам в этой области мы раньше(сейчас уже нет, ни в теории ни в вооружении) держали первенство в космонавтике и в ракетостроении.

Но все это не имеет абсолютно никакого отношеня к тому как работает мозг.
...
Рейтинг: 0 / 0
14.11.2008, 11:11:21
    #35653748
ф
ф
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
privateПоходу кто-то из дурдома сбежал ...

Как кошка вычисляет, прыгает и балансирует, отчасти понятно. Кому интересно - ищите "Теория Управления", "Пространство состояний", "Управляемость", "Наблюдаемость", "Оптимальное Управление", "Матричные операторы", и еще куча всего.
И решает она кстати не квадратное уравнение, а нелинейное дифференциальное уравнение энного порядка.
Как построить из нейронов "решатель" таких уравнений, насколько я знаю уже давным давно известно, ничего секретного тут нету.

И очень-очень-очень во многом благодаря работам в этой области мы раньше(сейчас уже нет, ни в теории ни в вооружении) держали первенство в космонавтике и в ракетостроении.

Но все это не имеет абсолютно никакого отношеня к тому как работает мозг.
Скинь сюда код под задачу на моей ссылке. Проверим.
...
Рейтинг: 0 / 0
14.11.2008, 11:13:38
    #35653754
ф
ф
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
maytonвппмейтон, зацени мои сабмиты к https://www.spoj.pl/problems/DEFEND/:
Классно, Гарри, а зачем это? (с) Lock Stock and Two Smoking Barrels

давай глядеть ширшее : зачем вообще что-то нужно?
...
Рейтинг: 0 / 0
18.11.2008, 13:37:30
    #35660370
Как живой нейрон ищет оптимальные веса дендридов?
privateBlue Brain – симуляция работы ячейки (Cortical column) мозга ~ 10 000 процессоров моделируют ~ 10 000 нейронов, гигабайты данных в секунду. Но я поискал, что они используют, оказалось – довольно древнюю программу для симуляции. Пока не слышно чтобы что-то интересное получили.
При чем тут кол-во процессоров? Речь о (не)похожести модели технического нейрона на реальный биологический нейрон, какие-то там эксперименты тут ни при чем, это чисто теоретический аспект ТНС.

privateНасколько я понимаю, это специальный класс сетей для решения специального класса задач. Т.е. они созданы, чтобы решать некоторые специфичные задачи, а не для того чтобы максимально приблизиться к своим живым универсальным оригиналам.
Ты думаешь, что ты можешь думать рукой? А там же есть дендриты!
В том смысле - с чего ты взял, что биологические нейронные сети якобы не ориентированны на специальные классы задач? Я не утверждаю, что это не так, просто, насколько мне известно, никто этого не знает.

privateПонимаю, что разновидностей сетей много, и алгоритмов обучения тоже много. Мне интересно, есть ли модель которая максимально приближена к биологической?
Про правила Хебба и как они получены уже почитал?
Обратное распространение ошибки, кстати, на них весьма похоже по своей сути, только сильно "математизировано".

privateКакие? Я не нашел в интернете описания, как живой нейрон обучается, потому и спросил.
Ну, вообще говоря, точно этого никто и не знает)) а я "оригиналом" назвал наиболее распространенные гипотезы нейробиологов.
Гугл в помощь, например вот тут более сведущие люди общаются: http://forum.neuroscience.ru/archive/index.php/t-977.html

privateЯ взял самый общий вид чтобы показать что вообще имею ввиду. Дело не столько в активационных функциях сколько в обучении и динамике во времени.
Какой он, нафиг, самый общий? Я об том и говорю, что ты взял самый частный из всех возможных частных случаев, отвратительно ограниченный и ничем не обоснованный.
Ладно бы активно изучались и использовались не-сигмоидальные АХ, так ведь еще более перспективны стохастические, тут вообще самая ссссуть меняется.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
12.03.2010, 09:40:23
    #36515784
b099ard
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как живой нейрон ищет оптимальные веса дендридов?
Если ты программер и тебя интересуют нейроны, отпиши мне:
b099ard at mail . ru
...
Рейтинг: 0 / 0
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Как живой нейрон ищет оптимальные веса дендридов? / 24 сообщений из 24, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]