|
|
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
Привет! Хотелось бы понять: Как живой нейрон ищет оптимальные веса дендридов? И второе, на мой взгляд, существующая модель нейрона и нейросети теряет ряд принципиальных свойств оригинала. Хотелось бы услышать что вы думаете по этому вопросу и если есть ссылки на работы по построению более точной модели (можно на англ). Под существующей я понимаю суммирование с весами и затем нормализацию с помощью сигма-функции output = sigma(sum(input(i)*weight(i))). Неточности: - Алгоритм обучения вынесен вовне сети (генетические алгоритмы поиска, ...). В оригинале нейрон самостоятельно ищет оптимальные веса дендритов и каким-то образом определяет какие оставить а какие нет. - Сеть - динамическая структура, процессы которые в ней протекают являются функциями времени (запаздывание, сравнение с предыдущим сигналом, ...), а искуственная нейросеть считается полностью определенной матрицей весовых коэффицентов. - При обучении сети целевая функция вынесена во вне и внешний учитель вычисляет разницу между желаемым и получаемым и управляет обучением. В мозге, возможно, что "целевая функция" "размазана" по множеству нейронов, и как таковой физической "разницы" там может не быть. В общем случае ей может быть например желание нейрона оставаться в состоянии покоя (это я взял с потолка). Например нейрон отвечает за болевые ощущения, если больно - ему приходит сообщение он начинает менять веса дендритов, стремясь снова вернуться в состояние покоя. И менясь сам он также генерирует кучу сообщений другим нейронам, которые в ответ тоже начинают менятсья стремясь сохранить свое состояние покоя. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2008, 20:54:31 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
Йопт, и сюда извращенцы валят. Я то думал, в универе прошло и забыли, а оказывается есть "студентики" ... Имдлаар нефскритто прогруммаир туаррос ситтре аппокомоур (;,;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2008, 21:14:38 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
Йопт, тупизна тебе к лицу ;). Модератор: предупреждение. Урановую Совесть тоже касается ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2008, 22:01:14 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
Очень сложно вести дискуссию, когда ты задав вопрос сам тут-же на него пытаешься ответить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2008, 22:54:22 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
privateПривет! Хотелось бы понять: Как живой нейрон ищет оптимальные веса дендридов? А что, Хебб, по-твоему, свои правила для компа формулировал? Он жеж психолог был, еще и биологией увлекавшийся. Так что - так и ищет, здесь нейросети ничего нового для природы не придумали. privateИ второе, на мой взгляд, существующая модель нейрона и нейросети теряет ряд принципиальных свойств оригинала. Хотелось бы услышать что вы думаете по этому вопросу и если есть ссылки на работы по построению более точной модели (можно на англ). Да, теряет. Ситуация с архитектурами нейросетей еще хуже: они еще дальше от "оригиналов", чем технический нейрон от биологического. Работы в направлении приближения к биологической модели ведутся, но ссылок дать не могу, не слежу за этим, а найти что-то сложно - слишком мало работ. privateПод существующей я понимаю суммирование с весами и затем нормализацию с помощью сигма-функции output = sigma(sum(input(i)*weight(i))). Нда, а как же РБФ-сети? Или сети Хопфилда? Модель технического нейрона не ограничивает вид активационной характеристики. privateНеточности: - Алгоритм обучения вынесен вовне сети (генетические алгоритмы поиска, ...). В оригинале нейрон самостоятельно ищет оптимальные веса дендритов и каким-то образом определяет какие оставить а какие нет. Алгоритмы обучения бывают разные, в том числе и близкие к "оригиналу". private- Сеть - динамическая структура, процессы которые в ней протекают являются функциями времени (запаздывание, сравнение с предыдущим сигналом, ...), а искуственная нейросеть считается полностью определенной матрицей весовых коэффицентов. Сдается мне, из всего многообразия нейросетей вы удосужились изучить только многослойные; так вот, это не так)) МНС - одна из самых изученных и используемых, но в то же время и самых убогих архитектур нейросетей. private- При обучении сети целевая функция вынесена во вне и внешний учитель вычисляет разницу между желаемым и получаемым и управляет обучением. Ну да, все про одно и то же)) А есть еще сеть Кохонена, а еще персептрон Розенблатта, и нет там вообще никаких целевых функций. Обучение бывает не только с учителем, но и с критиком и вообще самостоятельное. Беда абсолютного большинства критиков нейронных сетей в том, что они сужают эту теорию до МНС+обратного_распространения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 13:15:23 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
сейчас_придет_c127_и_все_опошлит А есть еще сеть Кохонена, а еще Хемминга , и нет там вообще никаких целевых функций. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 13:43:18 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
авторРаботы в направлении приближения к биологической модели ведутся, но ссылок дать не могу, не слежу за этим, а найти что-то сложно - слишком мало работ.IBM Blue Brain – симуляция работы ячейки (Cortical column) мозга ~ 10 000 процессоров моделируют ~ 10 000 нейронов, гигабайты данных в секунду. Но я поискал, что они используют, оказалось – довольно древнюю программу для симуляции. Пока не слышно чтобы что-то интересное получили. авторА есть еще сеть Кохонена, а еще Хемминга, и нет там вообще никаких целевых функций.Насколько я понимаю, это специальный класс сетей для решения специального класса задач. Т.е. они созданы, чтобы решать некоторые специфичные задачи, а не для того чтобы максимально приблизиться к своим живым универсальным оригиналам. Понимаю, что разновидностей сетей много, и алгоритмов обучения тоже много. Мне интересно, есть ли модель которая максимально приближена к биологической? авторАлгоритмы обучения бывают разные, в том числе и близкие к "оригиналу". Какие? Я не нашел в интернете описания, как живой нейрон обучается, потому и спросил. авторавтор Под существующей я понимаю суммирование с весами и затем нормализацию с помощью сигма-функции output = sigma(sum(input(i)*weight(i))). Нда, а как же РБФ-сети? Или сети Хопфилда? Модель технического нейрона не ограничивает вид активационной характеристики.Я взял самый общий вид чтобы показать что вообще имею ввиду. Дело не столько в активационных функциях сколько в обучении и динамике во времени. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 16:12:31 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
Меня смущает то, что живой нейрон автономен и самодостаточен и вся эта хитрая машинерия по обучению и т.д. в нем "инкапсулирована". А в искуственных используются даже не аналогии а совершенно "надуманные" стратегии. И не только эволюционные внешние алгоритмы, но и в тех-же приведеных примере сетей Кохонена, сомневаюсь что мозг работает также. Это конечно может быть и интересная и важная задача, но вопрос то в другом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 16:22:57 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
private он начинает менять веса дендритов а разве не проходит самый простой и тривиальный алгоритм: - запоминаются пути (толще становятся), по которым чаще всего бегут сигналы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 22:04:51 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
А если получится положительная обратная связь? они что-же так и будут по кругу гонять сигналы становясь все толще и толще? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 02:26:11 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
Я тоже такое читал вкратце но так и не понял как это работает, в гугле что-то не нашел ничего интересного ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 02:27:40 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
Не надо петь пестни. Работа мозга -- это чистый перебор. Перебор тупых комбинаций. Ничего выше этого нет. Знание невозможно получить из ничего. В этом смысле, человек, homo sapiens, -- это ужасно тупая машина. Я сто раз писал : как мои кошки решают квадратные уравнения? Я до сих пор куею с их способностей. Сидит (решила прыгнуть), коготки туда-сюда подтягивает (типа решает уравнение), а потом прыг! И ни лишнего микрона! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 06:18:31 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
Я с них куею (а у меня их докуищи; я всех этих живых тварей подбираю и ращу) Не просто так првгают, а по наикратчайшему расстоянию. Возьмем, к прмеру, Карамельку. Сантиметров 15 Первый раз я окуел : как? как? она попала на холодильник? Потом увидел : она по шторе. И причем по такой совершенной схеме. Ей просто по ее детской наивности повезло. А вот зачем взрослые кошки *готовятся* к прыжку? Квадратное уравнение можно решить за микросекунды. У них что там, бинарный поиск что-ли? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 06:59:19 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
Балансируют хвостом ИМХО. ЗЫ. Бретанские ботаники до сих пор не поймут как оно прыг. на 4 лапы всегда... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 10:18:58 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
maytonБалансируют хвостом ИМХО. ЗЫ. Бретанские ботаники до сих пор не поймут как оно прыг. на 4 лапы всегда... про ботаников-хорошо. З.Ы. Далеко не всегда на 4 лапы, если серьезно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 12:29:49 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
maytonБалансируют хвостом ИМХО. ЗЫ. Бретанские ботаники до сих пор не поймут как оно прыг. на 4 лапы всегда... а вот как балансировать хвостом..... это я сразу пас, как это рассчитывать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 13:52:22 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
И это правильно : давайте помнить Фиббоначи, Декарта, и пр. Мы -- по сравнению с ними просто убогие детишки Взять Декарта -- какой-то гондон , поебень из хранцузской армии, но что он сделал для людей это пипец. Вот были люди, я бы сказал. Или Виктор Михайлович Глушков. Очень обидно что этого гения мало кто помнит. Это такая эпоха, такие люди ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 15:14:22 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
privateА если получится положительная обратная связь? они что-же так и будут по кругу гонять сигналы становясь все толще и толще? - это называется сумашествие (или тремор) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 16:13:08 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
вппмейтон, зацени мои сабмиты к https://www.spoj.pl/problems/DEFEND/: Классно, Гарри, а зачем это? (с) Lock Stock and Two Smoking Barrels ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 20:16:56 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
Походу кто-то из дурдома сбежал ... Как кошка вычисляет, прыгает и балансирует, отчасти понятно. Кому интересно - ищите "Теория Управления", "Пространство состояний", "Управляемость", "Наблюдаемость", "Оптимальное Управление", "Матричные операторы", и еще куча всего. И решает она кстати не квадратное уравнение, а нелинейное дифференциальное уравнение энного порядка. Как построить из нейронов "решатель" таких уравнений, насколько я знаю уже давным давно известно, ничего секретного тут нету. И очень-очень-очень во многом благодаря работам в этой области мы раньше(сейчас уже нет, ни в теории ни в вооружении) держали первенство в космонавтике и в ракетостроении. Но все это не имеет абсолютно никакого отношеня к тому как работает мозг. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2008, 22:20:49 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
privateПоходу кто-то из дурдома сбежал ... Как кошка вычисляет, прыгает и балансирует, отчасти понятно. Кому интересно - ищите "Теория Управления", "Пространство состояний", "Управляемость", "Наблюдаемость", "Оптимальное Управление", "Матричные операторы", и еще куча всего. И решает она кстати не квадратное уравнение, а нелинейное дифференциальное уравнение энного порядка. Как построить из нейронов "решатель" таких уравнений, насколько я знаю уже давным давно известно, ничего секретного тут нету. И очень-очень-очень во многом благодаря работам в этой области мы раньше(сейчас уже нет, ни в теории ни в вооружении) держали первенство в космонавтике и в ракетостроении. Но все это не имеет абсолютно никакого отношеня к тому как работает мозг. Скинь сюда код под задачу на моей ссылке. Проверим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2008, 11:11:21 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
maytonвппмейтон, зацени мои сабмиты к https://www.spoj.pl/problems/DEFEND/: Классно, Гарри, а зачем это? (с) Lock Stock and Two Smoking Barrels давай глядеть ширшее : зачем вообще что-то нужно? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2008, 11:13:38 |
|
||
|
Как живой нейрон ищет оптимальные веса дендридов?
|
|||
|---|---|---|---|
|
#18+
privateBlue Brain – симуляция работы ячейки (Cortical column) мозга ~ 10 000 процессоров моделируют ~ 10 000 нейронов, гигабайты данных в секунду. Но я поискал, что они используют, оказалось – довольно древнюю программу для симуляции. Пока не слышно чтобы что-то интересное получили. При чем тут кол-во процессоров? Речь о (не)похожести модели технического нейрона на реальный биологический нейрон, какие-то там эксперименты тут ни при чем, это чисто теоретический аспект ТНС. privateНасколько я понимаю, это специальный класс сетей для решения специального класса задач. Т.е. они созданы, чтобы решать некоторые специфичные задачи, а не для того чтобы максимально приблизиться к своим живым универсальным оригиналам. Ты думаешь, что ты можешь думать рукой? А там же есть дендриты! В том смысле - с чего ты взял, что биологические нейронные сети якобы не ориентированны на специальные классы задач? Я не утверждаю, что это не так, просто, насколько мне известно, никто этого не знает. privateПонимаю, что разновидностей сетей много, и алгоритмов обучения тоже много. Мне интересно, есть ли модель которая максимально приближена к биологической? Про правила Хебба и как они получены уже почитал? Обратное распространение ошибки, кстати, на них весьма похоже по своей сути, только сильно "математизировано". privateКакие? Я не нашел в интернете описания, как живой нейрон обучается, потому и спросил. Ну, вообще говоря, точно этого никто и не знает)) а я "оригиналом" назвал наиболее распространенные гипотезы нейробиологов. Гугл в помощь, например вот тут более сведущие люди общаются: http://forum.neuroscience.ru/archive/index.php/t-977.html privateЯ взял самый общий вид чтобы показать что вообще имею ввиду. Дело не столько в активационных функциях сколько в обучении и динамике во времени. Какой он, нафиг, самый общий? Я об том и говорю, что ты взял самый частный из всех возможных частных случаев, отвратительно ограниченный и ничем не обоснованный. Ладно бы активно изучались и использовались не-сигмоидальные АХ, так ведь еще более перспективны стохастические, тут вообще самая ссссуть меняется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2008, 13:37:30 |
|
||
|
|

start [/forum/topic.php?fid=16&tid=1343828]: |
0ms |
get settings: |
7ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
208ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
36ms |
get tp. blocked users: |
1ms |
| others: | 220ms |
| total: | 507ms |

| 0 / 0 |
