Обсуждение: Алгоритм работы НТМ

HTM vs. Perceptron[]

Это уже интересно, с нетерпением жду продолжения :) Оказывается ветер дует от Хокинса, т.е. мир все же тесен :) S.J. 23:22, 6 марта 2009 (UTC)

M.Netov Re:

Да, ветер точно дует от него. И я тут подумал, что надо мне немного провести ревизию того что хотел в своей On intiligence Джефф, и что на самом деле реализовал Дайлип. Буду писать это все в статье. +2. Вы были правы, что надо написать статью о НТМ. Если этот этап не проработан, переходить к следующему - все время тянет назад, как резиной. M.Netov 09:11, 7 марта 2009 (UTC)

Раз уж все это базируется на Хокинсе, можем ли мы говорить о сети HTM - как о частном случае искуственной нейронной сети (ИНС) ? S.J. 23:39, 6 марта 2009 (UTC)

M.Netov Re:[]

Да, но не в смысле тех нейронов, что в перцептроне. Узлы НТМ, скорее, пытаются реализовать функционал микро или макро колонок коры ГМ (или даже небольших ее зон). Об отдельных нейронах, как-то даже не вспоминают, хотя понятно, что в природе все реализуется именно ими. Я бы сказал, что это скорее предсказательная сеть, состоящая из абстрактных объектов, предположительно, имеющих аналоги в коре ГМ. M.Netov 09:19, 7 марта 2009 (UTC)

Вот вы или Хокинс дистанцируетесь от перцептрона :), но посмотрите сами - вы делаете еще более ограниченный по возможностям вариант, причем если читать классиков, т.е. Минского - это становится само собой разумеющимся. Вот посмотрим на фразы "каждый узел НТМ сети. Он наблюдает выделенный ему участок сенсорного пространства ... Для начала раздадим Узлам первого уровня области наблюдения за сенсорным пространством решаемой задачи. Это могут быть некоторые вектора (например, для распознавания звуков и слов по спектру) или прямоугольные области (для визуальных задач). Просматривая входной поток Узлы выделят, в начале, повторяющиеся пространственные паттерны, согласно заданному алгоритму и мере "непохожести" их друг на друга." В итоге Вы определили т.н. перцептрон, ограниченный по диаметру (см. Минский, Пейперт, с. 18.). И если посмотрите соответствующую страницу книги, т.е. само вступление - то сразу натолкнетесь, что это на порядок хуже перцептрона Розенблатта (с Розенблаттовым элементарным перцептроном Минский возился на протяжении всей книги и то кое где допустил вольности, а тут перцептроны, ограниченные по диаметру разгромил прямо во введении). Причина в том, что у них (впрочем как и у когнитрона) нет возможности сопоставить и увидеть картину в целом, они например не решают задачи связаности (и ряд прочих, которые уже не имеет смысла рассматривать). И нужен, действительно некий алгоритм, гарантирующий решение описанного Минским примера на связанность - а его как я понимаю нет (кластеризация по вероятностям здесь не поможет - этоже как раз и делает перцептрон, только более элегантно, а перцептрон Розенблатта к тому же не имеет ограничений по диаметру, т.е. раполагает большими возможностями по анализу входных данных) ! S.J. 20:43, 11 марта 2009 (UTC)

M.Netov Re1:[]

Насчет дистанцирования. Да, Хокинс поругиват в своей книге ИИ-шников, типа это все не то что надо :) . Я не столь категоричен, все полезное вполне можно использовать для решения задачи (тезис - антитезис - синтез). Насчет перцептрона. Так уж устроен наш Мозг (и теория НТМ с этим согласуется, кстати), что первым делом мы пытаемся все свести к уже известному, просто чтобы съекономить наши усилия и потому что наши модели - основа наших действий и (значит) нашей жизни (мы их будем защищать). И только когда практика показывает нам рассогласованность наших старых моделей с внешними объектами - мы можем начать менять наши дорогие модели и представления.
Мне, честно говоря, довольно трудно сравнивать НТМ и перцептроны - у меня о них только базовые понятия (в моем понимании "базовые", боюсь не в Вашем :) Я вот занимаюсь НТМ и могу о ней рассказать, а сравнения с другими концепциями - наверное, пусть делают специалисты. Надеюсь, они не будут заранее настроены на какие-то выводы и максимально объективны.
Возможно Минский и разгромил ограниченные перцептроны. Но узел не перцептрон и вся сеть (НТМ) не перцептрон. Можно память каждого узла и не ограничивать - пусть растет, пока жесткие диски не кончатся. И на входные паттерни и на их последовательности. Только, что потом делать с таким многообразием? Человек в такой ситуации говорит "я запутался" = "я не отслеживаю взаимосвязи". Впрочем, я отвлекся. Сеть НТМ накрывает все сенсорное пространство и пытается связать паттерны между собой. Однако, мне представляется, что эта связанность, как-бы размазана практически по всей сети НТМ (не концентрируется в ее верхних узлах, например. Без нижних - что они будут делать?). Видимо, получается, что НТМ как раз пытается (худо-бедно) решить задачу, которая "трудна" для перцептронов.
Вы совершенно правы, что все дело в алгоритме сериализации. Решение Дайлипа мне тоже совсем не нравится. Я пытаюсь подобрать что-то другое. Подозреваю, что идеального решения (в алгоритмическом смысле) просто нет, потому мозг и ошибается. Значит он пользуется каким-то эволюционно подобранным, "квази-оптимальным" алгоритмом, который "в большинстве" случаев срабатывает. Надо его подбирать (наверное). Надо экспериментировать с этим. Для этого мне и нужна виртуальная лаборатория. :)
У меня есть интуитивное ощущение, что идеология НТМ все-таки более приближена к алгоритмам работы неокортекса, чем перцептроны и иже с ними и этим она мне более интересна. Практическая реализация - пока сырая, надо ее развивать. Этим занимается numenta, этим занимаюсь я, насколько получается. Что получится - посмотрим. Планы, как вы знаете - громадные :) .
Сегодня добавил в статью принципы работы нейрокортекса от Хокинса. Это, типа, задача, которую надо реализовать, потому, может быть интересно. Дайлип сделал одну из первых попыток, но никто не запрещает придумать что-то получше. M.Netov 06:50, 12 марта 2009 (UTC)

"сравнения с другими концепциями" - достаточно смелое заявление если учесть, что делается в отрыве от теории перцептронов :) В том то и дело, что другая концепция лишь на словах, в других формулировках - и не более того ... "практика показывает нам рассогласованность наших старых моделей с внешними объектами" - это вы намекаете о моем представлении о моделях :) в принципе правильно - именно так я не увидел еще такой практики, чтобы изменить свое мнение ... но вот если новыми концепциями называть, давно забытое старое и не видеть с этим прямой связи - то есть большая вероятность просто топтаться на одном месте :) ... Но все же рекоммендую вам прочитать 18-19 страницу Минского, и если сочтете возможным ответить более точно что нового предлагает HTM конкретно для этой задачи ... и как вы говорите - у меня есть тоже интуитивное ощущение, что HTM - не представляет не одной новой идеи по сравнении с теориями перцептроном :( ... хотя я хотел бы в этом разубедится ... да, и придумать что-то получьше на мой вкус лучше на более твердой теоритической базе ... впроче, не подумайте, что я против HTM - мне достаточно интересно это сравнить ... просто боюсь, что это проблема не только алгоритма, а именно его вида - последовательный против параллельного ... в HTM и перцептроне - не хватает именно последовательного - а это и есть проблема, из-за этого не решаются задачи на инвариантность - вот об этом и нужно думать ... S.J. 10:07, 12 марта 2009 (UTC)

"Можно память каждого узла и не ограничивать - пусть растет, пока жесткие диски не кончатся." - наверное Вы меня не поняли ... дело не в памяти (и не ее объеме), а связи узла с сенсорными элементами. Выделим три вида (от простейшего к более сложному): 1. Определенное количество связей N от узла второго слоя с узлами первого (сенсорами), при этом связи покрывают полность геометрически выделенный объем; 2. Определенное количество связей N от узла второго слоя с узлами первого (сенсорами), при этом нет геометрических ограничений на связи. 3. Тоже, что и п.2. + узлы представляют собой случайно выбранную булевую функцию.

Теперь под первым мы узнаем HTM (в рассматриваемом аспекте), это явно менее биологично, чем второе (связи не расположенны иерархически аксоны и дендриды связываются через синапс без ограничений геометрии ни плоскости, ни пространства). Кроме этого математически первые два варианта представляют собой проблему связанную с инвариантностью. В третьем варианте мы узнаем перцептрон Розенблатта - он то и соответствует более биологичной нотации ... Случайные связи и Случайные функции ... единственно серьезным ограничением является то, что предполагается, что нейроном выполняется булевая функция, т.е. самое простейшие что мы можем себе представить (против этого и протестует наш мозг - нейрон явно должен играть более серьезную роль). Но и в этом есть смысл - если вспомните, что двоичное исчисление самое универсальное и минимальное для кодирования информации - т.е. является базисом для данных, то булевые функции являются базисом для операций с двоичной информацией. Тут и намечаются технические ограничения моделирования - пока мы работаем с двоичными данными у нас нет никакого повода думать, что ряд более сложных функций будет являтся более удачным. В самом деле любую информацию можно привести к двоичному виду, и любую функцию можно разложить на булевые функции. Теперь вспомним, что булевые функции выбираются случайно - что и является наиболее биологически правдоподбным в приделах моделирования.

Далее вы скажите стоп - HTM не ограничивает себя двоичной системой и тем более булевым разложением ... Но пока вы моделируете на компьютере с имеющейся архитектурой - это декарации, и сути не меняет, т.е. всегда систему не с двоичной логикой и сложнейшими функциями можно привести к простейшим ... Но HTM теперь не обосновывает своих ограничений на моделирования - выбранный формат данных и функции для работы с ними выглядят искуственно выбранными и произвольными - т.е. так сказать грамматика языка не выбрана, и по сути не отличается от программирования, программирования целеноправленного, а не самоорганизующегося на основе простейших функций ...

Вот поэтому все декларации, что HTM - чем-то более похож на алгоритм работы неокортекса - несколько мало обоснованный, как минимум он уступает перцептрону в этой похожести ...

Но дело даже не в Хокинсе - это скорее его слова о похожести с неокортексом ... так вот основа похожести и критика ИНС - идет у него не из-за обсуждаемого, а от ряда моментов с которыми нельзя не согласится ... сейчас помню смутно но там три момента 1. Информация в неокртексе хранится в едином формате и представляет собой сигналы 2. Необходимы обратные связи в сетях 3. Необходима интеграция разных видов модальностей ... - и это и есть тот самый базис, который достаточно убидительно описал Хокинс ..

Теперь если сравнит с ИНС - вы видим, что двоичность данных обоснована - если считать, что информация передается сигналами ... теперь это становится не просто ограничением моделирования - а основой биологичности, обратные связи уже тоже достаточно проработаны в теориях ИНС - реккурентный сети ... Что же касается третьего, то тут меньше успехов, хотя уже есть определенное понимание наличия контекста - что связанно с интеграцией видов модальностей ... поэтому чисто теоритически уже Розенблатт обо всем этом писал и показывал - с достаточно сильными мат. выкладками ... успехи современных исследователей на порядок меньше (хотя они порою считают, что чего-то открыли - но в подавляющем большинстве это просто от не знания что уже есть), и сосредоточенны на практике некоторых частных случаем перцептронов ... И в заключении - было бы большой ошибкой дистанцироваться от ИНС - и за базис у Хокинса брать не приведенные выше три пункта (более детально мне надо перечитать Хокинса), а его идею о иерархичности ... иерархичность у Хокинса не стоит воспринимать буквально, это я бы сказал скорее попытка более нкаглядно объяснить сложные вещи, и тем более я не может быть положенно как основополагающий принцип - уж сильно он уязвим для критики при теперешнем состоянии в исследованиях данного вопроса ... S.J. 17:55, 12 марта 2009 (UTC)

Извините немного сумбурно, просто все это требует достаточно длительный и объемных пояснений ... приходилось перескакивать чтобы выделить главное ... S.J. 18:01, 12 марта 2009 (UTC)

Вот еще что следовало бы отметить для большей ясности. "Сеть НТМ накрывает все сенсорное пространство и пытается связать паттерны между собой." - это несколько не так ... на самом деле создается лишь впечатление, что сеть накрывает ВСЕ сенсорное пространство. Дело в том, что она его накрывает особо выделенным образом, а именно, например если есть поле 10х10, то можно накрыть областями 2х2 и понадобятся 25 узлов на втором слое ... следующие 25 можно скажем накрыть 5 связями с наличием 5 узлов на третьем , но и закончить одним узлов на четрветом - будет полное иерархическое построение. Вот это и создает ложное впечатление ... подумайте сколько на самом деле мы потеряли сенсорной информации после таких преоразований ? Мы просто не в состоянии даже отследить связь одной области с другой - мы потереля эту информацию окончательно когда раздели это на хорошо очерченные области - у нас нет сенсорной информации о изменениях скажем на границах групп и в более сложных образованиях ... мы становимся заложниками того удалось ли нам угадать способ наложения такой своеобразной иерархической сетки - даже если для одного случая угадали, следующий пример не сможет вложится так же хорошо в данные области ... В том то и дело, что мы разбили пространство на локальные области, и потеряли связь между ними. Если бы у нас на втором слое был бы только один узел со 100 связями - да вот тогда мы бы получили бы покрытие ВСЕГО сенсорного пространства - иначе это не так. Но тогда мы получилибы последовательный способ вычисления, а как только мы хотим распараллелить - то мы вынужденны жертвовать потерями в сенсорной информации. Казалось бы, чем тут выгоднее перцептрон с его случайными связями ? По сути ведь тоже самое, только нет таких жестких геометрических границ. Но именно это позволяет не терять связи между локальными областями. Скажем так - мы получаем сильно пересеченные локальные области без границ. А далее весь вопрос в том кое количество таких пересеченных локальных областей нам будет достаточно для анализа ситуации. А тут есть определенная наука, и можно достаточно точно сказать сколько их нужно в общем случае (а только он нас и интересует) ... вот примерно так ... S.J. 03:31, 13 марта 2009 (UTC)

M.Netov Re2:[]

. Сергей, мне право неудобно, но я не могу такими большими текстами дискутировать. Тогда на это все время уйдет, а когда работать? Поэтому я буду несколько краток.
. Узлы НТМ первого слоя могут смотреть и на перекрывающиеся области - тут не принципиального запрета. Могут смотреть и на одинаковые, но тогда, если у них внутри один алгоритм выделения паттернов и последовательностей - то они просто сдублируют друг друга, если же разный - то это может быть интересно. Точно также на следующем уровне несколько узлов могут воспринимать выход одного узла. Узел также может пропускать уровни и поставлять свой выход на следующие уровни иерархии.
. Вы пишите произвольные связи - более биологично. Я этого не понял. У Хьюбела четко описано какие зоны видит макроколонки первичной зрительной коры - там они анализируют ограниченные зоны. Первичная слуховая кора тоже разбивает участки спектра по макроколонкам. С перекрытием, да, но все=же разбивает. Как говорится разделяй и анализируй - другого и выхода нет для сложных задач. Так что все очень даже биологично.
. У меня такое субъективное впечатление, что Вы сейчас в состоянии души скорее защитить свою область исследований, чем узнать что-то новое о других, попытаться понять новый язык и новые представления. Это нормально. И я ни в коей мере на ИНС не нападаю, более того намерен брать оттуда все что мне приглянется. Холи-вары типа, что лучше Линукс или Виндовс - все это глупость.
. Да информация при переходе от слоя к слою теряется и обобщается, но не так ли работает и наш мозг? А если надо ведь можно обратными связями возбудить все цепочки внизу и проиграть более полную версию событий. Это все надо реализовать в НТМ - я верю это возможно.
. Двоично или много-ично. Я считаю что по нервам передаются скорее интенсивности воздействия, закодированные двоичными спайками. Мне такая концепция ближе. Так что проще работать на более высоком уровне, чем двоичность.
. аналогично я считаю, что НТМ позволяет реализовать более интеллектуальные функции, типа Поведения разумного существа, стремящегося выжить (грубо говоря). Примерно это я и пытаюсь реализовать в Собачке. Как подобные вещи делать на перцептронах - сорри, ума не приложу. Теоретически можно, но на практике - очень долго. Сорри, я тороплюсь, жизнь не бесконечна.
. как-то так. Сорри , если не на все ответил. Пошел работать. M.Netov 07:18, 13 марта 2009 (UTC)

Ок, я то же буду пока краток ... Пункт 2 многое меняет, из описания он совершенно не очиведен. Говоря о распределении областей тогда у вас должен быть алгоритм - какой он (случайность на сколько я понимаю вы отвергаете). "информация при переходе от слоя к слою теряется и обобщается" - то, что она теряется я вам наглядно показал, а вот то, что она обощается - это совершенно не так, и как минимум должно быть показано. "по нервам передаются скорее интенсивности воздействия, закодированные двоичными спайками. проще работать на более высоком уровне, чем двоичность." - здесь вы противоречите сами себе :) . "более интеллектуальные функции, типа Поведения разумного существа, стремящегося выжить" - здесь вы противоречите Хокинсу :) И наконец - я НЕ стораюсь "защитить свою область исследований, чем узнать что-то новое о других" - я пытаюсь понять, что в этом "новом" есть полезное, очистить фразиологию от сути ... "понять новый язык и новые представления" - пока я не вижу нечего принцпиально нового - вот в этом и проблема, если бы вы написалибы в этой статье явно раздел "Что нового ?" - то может быть что-то стало бы на свои места, а так это выглядит как альтернативные теории к ОТО с соответствующим к ним отношением ... S.J. 14:05, 13 марта 2009 (UTC)

M.Netov Re3:[]

так много букофф, что приходится новый заголовки вводить, для частичного редактирования. :)
Что нового? - я тут подумал, с одной стороны, конечно, да, распознавание оно и есть распознавание. и механизмы в НТМ и перцептронах можно использовать схожие (наверное). В этом смысле трудно что-то принципиально новое придумать. С другой - я не очень представляю как на перцептронах решать задачу выявления Причин и предсказания их поведения. Смотреть на последовательности? Тогда нам их придется самим "готовить". впрочим для обучения НТМ сейчас их тоже готовят.
Для меня, лично, НТМ тем приятнее, что я их считаю именно более биологичными, более приближенными к тому, как мозг обрабатывает информацию, насколько мы это сейчас знаем (хотя уже ясно, что мы многого не знаем). Я так понимаю, вы это отрицаете - возможно у нас разные сведения о нейрофизиологии. Я читал в основном Хьюбела, Мунткасла, Кэлвина, и Нейрофизиологию 3-е эдишн. Остальное меньшее впечатление произвело.
А может вы посмотрите пример со зрением из диссертации Джорджа Дайлипа? Я его еще не успел перевести - он самый наглядный, как сейчас работает НТМ. Если там ничего нового нет - значит нет :) (или я не придумал)
у меня сейчас напряженная пора - надо сделать много пруфф оф концептс для НТМ_Лаб. Приходится много разбираться с доками.

Хорошо, давайте читать Хьюбела вместе :) "Почти во всех случаях, когда сигналы передаются от одного уровня к следующему, возвратные связи направляют их также назад ... даже в приделах какого-то одного уровня мы часто обнаруживаем богатую сеть соединений между соседними клетками. Таким образом, утверждение, что та или иная структура содержит определенное число уровней, почти всегда будет черезмерным упрощением " ... "Данное выше описание рецептивных полей ганглиозных клеток может ввести в заблуждение, если представить их себе в виде мозаики неперекрывающихся маленьких кружков на сетчатке, чем то вроде кафеля, которым выложен пол ванной комнаты. На самом деле соседние ганглиозные клетки получают входные сигналы от сильно перекрывающихся и обычно лишь незначительно разнящихся групп рецепторов " ... "У разных ганглиозных клеток рецептивные поля различны по величине ... чем дальше от центральной ямки тем поля становятся все крупнее, а острота зрения соответственно понижается" ...
Думаю пока цитат хватит, чтобы понять, что утверждать, что HTM биологичнее перцептрона - это лишь фикция ... впрочем обратное тоже верно, но для этого в HTM прейдется отказаться от принципа ЧЕТКОЙ иерархии (ее можно понимать лишь очень условно). На самом деле мы имеет две крайности - перцептрон в его классическом общем виде не налагает ни каких ограничений на связи между слоями, HTM на сколько я понял обязательно указывает на иерархичность связей (по крайней мере вы сделали на этом больший акциент, чем на том, что я процитировал из Хьюбела).

Как же поступить. Перцептрон все же представляет более общию структуру, т.к. сделать определенные ограничения никто не мешает сделать (это не противоречит его концепции), т.е. случайность будет несколько ограниченна определенным радиусом, который сам не является константой. Соответствует ли это концепции HTM - я сомневаюсь. В любом случае как только HTM откажется от принципа иерархичности она станет частным видом перцептрона (пока только по архитектуре) и будет соответствовать биологичности по Хьюбелу. Впрочем именно на это я обращал ваше внимание неоднократно.

Далее раз уж мы свели все к одному - то чисто методологически неверно вводить новую терминологию не согласовывая ее с ранее введенной Розенблаттом (надеюсь пояснять это не нужно). А далее уже не принципиально перцептрон это или HTM - так как по сути это будет одно и тоже :)

"я не очень представляю как на перцептронах решать задачу выявления Причин и предсказания их поведения" - ну для предсказания перцептрон собственно и разрабытывался :) Вопрос выявления причин - законый, но уверяю вас как только вы дадите решения для HTM - он автоматически станет пригоден и для перцептрона, т.к. HTM базируется на идеях перцептрона ... Но дело тут в другом - почему вы решили, что биологически эту задачу решает нейроннная сеть ? Если ли цитаты например из Хьюбела - где он показывает, что это должно быть так (укажите страницу) ?

Да, да - я сомневаюсь, что в этом вопросе приоритет за нейронной сетью ... думаю, что выявлением причин занимается собственно механическое устройство глаза - сккады, колбочки, палочки и достаточно частные образования нейронов с on- off- центрами - и уже на рецептивные поля поступает отфильтрованый образ ДЛЯ ЗАПОМИНАНИЯ, т.е. практически готовый к этому. Дело в том, что задача выявления причин более эффективно решается последовательным, а не параллельным алгоритмом .... но тут я пока не столь категоричен - тут скорее вопрос в довольно органичном сочетании физиологического устройства глаза и связей с нейронной сетью на первых слоях ... S.J. 23:07, 16 марта 2009 (UTC)

M.Netov Re4:[]

Обратные связи очень присущи идеологии НТМ. Жаль в текущей версии эмулятора не раелизованы :( Но они должны там быть. Перекрывающиеся и различные по размеру области наблюдения - не проблема. Главное, чтоб алгоритм выявления Причин был более ли менее одинаков (чтобы их далее можно было обобщать). Хьюбел также отмечал про микро и макро колонки, выполняющие сходные функции в разных местах первичной коры.
Идея в следующем: подобрать свойства уровня НТМ, чтобы он работал подобно первичной зоне зрительной коры, например выделял черточки с наклоном, углы и окончаия линий. А далее это можно передавать различным анализаторам движения, контуров и прочего, ориентируясь на знани я по визуальным зонам. Конечно же, там иерархичность только частично, хотя и она есть. И всем известную петлю обратной связи надо реализовать - а как же без нее. Так что биологичность - наш ориентир.
я полагаю тот факт, что мозг своими нейронными сетями как-то выделяет Причины из входного сенсорного потока и пытается предсказать из Поведение достаточно очевиден. Не забывайте и про слуховые последовательности (музыку например). Там нет саккад, а скрипку на слух все равно узнаем.
мне кажется от вопроса как такое делать перцептронами, вы уклонились ;-)
в НТМ как раз и есть последовательные алгоритмы для работы с последовательностями. Может это и есть новое.
возможна такая аналогия: раньше был только ассемблер. потом появились языки высокого уровня, а потом и сверх высокого (Пайтон с его средствами работы с последовательностями и словарями). И хотя все всодится к машинному коду. Пишут почему-то на более выразительных и универсальных языках. У меня субьективное ощущение, что НТМ - это следующий по выразительности шаг в ИИ, по освоению и воспроизведению интеллектуального поведения прежде всего.
Кстати каждый узел НТМ может для выделения паттернов использовать маленький перцептрон. Возможно и для выделения последовательностей тоже. Может и другие алгоритмы, лишь бы цель выполнялась - выделение причин и предсказание их поведения (чтобы выжить, не будешь предвидеть "к чему все идет - съедят!")
Еще раз, моя цель - природное и интеллектуальное поведение. Мне кажется, что в терминах НТМ эти задачи решать проще.
Не могу понять почему вы все время пытаетесь НТМ как-то принизить по отношению к перцептрону. Никто же на них не нападает.

1. 2. - Хорошо и это важно.

3. Ну, для слуха - есть ушная раковина - достаточно специфичное образование ... да, и граница тут плавная - например, нейроны в самой сетчатки, или ушной раковине, и далее проходящие по всем путия собственно до неокортекса - это несколько специфичные нейроны, и их я скорее относил бы к врожденным образованиям без обучения, т.е. по сути к жестким рефлекторным устройствам не разделимых от специфичных устройств зрения, слуха и т.д.

4. Ну, почему же :) Просто неспешу, подожду пока, возможно вы, напишите о том как это делается в HTM. Задача безусловно новая для ИНС - но именно задача, а решать ее можно на данном аппарате ... собственно вы сами привели аналогию с ассемблером ... Некоторая попытка начать обсуждать данную задачу была здесь Самоорганизующаяся_рекуррентная_нейронная_сеть, т.е. эту задачу сейчас вполне себе ставят и без HTM ...

5. Было бы интересно почитать, но я не спешу - подожду когда у вас будет время их описать ...

6. Может быть, может быть ...

7. Мне сложно говорить об узлах HTM, т.к. совершенно не понятно чему он соответствует ... биологически же тут могут быть разные варианты, например если говорить о первых зрительных слоях - то первые три слоя явно соответствуют перцептрону (собственно Розенблатт и разрабатывал модель зрения) - скажем так каждое рецептивное поле - реализуется отдельным перцептроном, но они так же сильно пересекаются, что выделить их можно несколько условно. Причем есть скорее такая аналогия перцептрон скорее соответствует так сказать непрямому пути - горизонтальные клетки - амакриновые клетки - ганглиозные клетки ... а вот представления о HTM скорее укладываются в т.н. прямой путь биполярные клетки - ганглиозные клетки ... причем первый путь мне представляется основопалагающим в смысле переработки информации (поэтому названия непрямой несколько не удачно), а второй прямой играет роль стабилизации (в данном случае пространства), т.е. способствует формированию образа инвариантного к геометрическим (пространственным) преобразованиям - как именно это происходит я затрудняюсь сказать ... Но если интересует предлагаю ознакомится и поучаствовать в следующей дискуссии Инвариантность_в_ИНС (я там не перенес из оригинального источника, но как нибудь доберусь)

8. 9. Это взаимно :) Цели у нас одинаковые, но каждый хочет пользоваться своей терминологией :) А то, что перцептроны здесь ставятся на равне (в смысле независимой концепции) с HTM - это уже попытка дистанцировать от них, и скорее "нападение" - т.е. воспринимается именно как критика ... да и потом это пока вы так мягки, т.к. концепция сильно молода - когда окрепните, если не лично вы, то ряд последователей начнут пинать в сторону ИНС ... мне в принципе не нравится сложившеся положение, когда каждый разрабатывает свою концепцию, не пытаясь ее связать с уже имеющимися, и не делая реверанс в сторону "отцов основателей" ... в итоге я достаточно долго боролся с нелепым представлением сложившемся о перцептронах по сравнению с т.н. современным заопарком ИНС ... когда полностью забыли, что такое перцептрон и "молодые" исследователи (те кто разабатывал после 80 годов) совершенно не позаботились о том, чтобы построить стройную теорию ИНС, а лишь ввели ряд наработок выдав большую часть из них за что-то принципиально новое, да при этом противопоставив это перцептрону - но при этом не сделав и десятой части того, что есть в теории перцептров ... наверное, именно этот мой вынужденный опыт - вы воспринимаете как якобы я "все время пытаетесь НТМ как-то принизить по отношению к перцептрону" ... это скорее не так и наоборот :) я просто хочу должного отношения к теории перцептронов, чтобы не случилось, то что случилось с теперешним заопарком ИНС ... если вы считаете что аналогиях ассемблер (перцептрон) - язык высокого уровня (HTM) потенциально возможен, то именно такими отношениями я и считаю важным объядинить (классифицировать) все ИНС (а HTM это все же частный случай :) ), но как вы ранее говорили очень часто пытаются вести диалог именно как Windows vs. Linux (давно пора признать, что Windows победил :) ) ... И вот именно детали связей между "ассемблер (перцептрон) - язык высокого уровня (HTM)", так сказать дизассемблер меня тут и интересует, но пока вы отказываетесь сводить терминологию одного и другого - нету даже возможности начать конструктивный диалог ... Хотя на него я очень надеюсь :) и надеюсь вы на меня не в обиде, что я отнимаю у вас время большим количеством буков ... S.J. 11:45, 17 марта 2009 (UTC)