Формальный нейрон нового типа
Omega Server
Spread the love

В. Просяник, Б. Злотин, А. Гин

В 1943 г. Уоррен Мак-Каллок и Уолтер Питтс [1] впервые в истории математически описали работу мыслительного аппарата людей и высших животных, введя понятие «формальный нейрон» — так они назвали несложное устройство обработки сигналов, обладающее некоторыми свойствами реальных мозговых клеток — биологических нейронов. Они также ввели понятие «искусственная нейронная сеть», то есть сеть из формальных нейронов, построенная по тем же правилам, что и нейронные сети настоящего мозга.

Формальный нейрон и искусственную нейронную сеть оказалось возможным реализовать при помощи электронных или электрических элементов. В пятидесятых годах, на основе бурно развивавшихся компьютерных технологий были построены первые искусственные нейронные сети, подтвердившие правильность основных идей Мак-Каллока и Питтса о возможности моделирования основных элементов мышления. Было также показано, что такие сети можно обучать и что на базе этого обучения они способны к выполнению следующих операций или процессов:

Первоначально ожидалось быстрое создание на базе нейронных сетей полноценных искусственных интеллектов, однако, к сожалению, эти надежды оказались нереальными. Почему?

Даже сегодня, после более чем 70 лет развития, до создания полноценных искусственных интеллектов очень далеко. Это связано с двумя факторами, тормозящими развитие:

Работниками компании «Progress INC» Детройт была обнаружена причина такого сильного несоответствия искусственных и биологических сетей. Это — ошибка в описании «формального нейрона» Мак-Каллоком и Питсом, связанная с отсутствием в прежние времена некоторых важных данных о работе биологических нейронов.

Биологический нейрон считался относительно простым устройством, суммирующим сигналы, приходящие от других нейронов через «контактные блоки», которые называются синапсами, и в которых перенос сигналов осуществляется за счет эмиссии специального химического вещества — нейромедиатора (доктрина Дэйла). Каждый нейрон имеет десятки тысяч синапсов и, как тогда считалось, в каждом синапсе работает один тип медиаторов, причем сопротивление синапса проходу сигнала (его биологический механизм весьма сложен и не очень для нас важен) принято называть «синаптическим весом».

Формальный нейрон Мак-Каллока и Питса повторял «конструкцию» биологического нейрона и выглядел как простая схема — электронный или электрический сумматор, получающий сигналы от множества переменных сопротивлений, играющих роль синаптических весов.

В нейронной сети такого типа обучение сводится к подбору величин сопротивлений («весов») всех синаптических весов, для чего требуются тысячи, а иногда и миллионы эпох обучения и огромного объема вычислений в каждую из этих эпох. «Интеллектуальность» сети растет примерно линейно с ростом количества нейронов и объема обучения, а общий объем вычислений и, соответственно, время и энергия на них затрачиваемые, растут примерно пропорционально квадрату от роста количества нейронов и объема обучения системы. Это приводит к тому, что сети, предназначенные для выполнения более или менее интеллектуальных работ, приходится обучать месяцами и годами.

Существует множество способов ускорения обучения, например, системы обратного распространения ошибки, методы глубокого обучения на сетях с большим количеством нейронных слоев, использование сверхточных сетей, осуществляющих обучение сети по участкам и т.п. Это ускоряет обучение многократно, но не снимает проблему степенное нарастание времени обучения.

Доктрина Дойла была экспериментально опровергнута биологами еще в семидесятых годах 20 века, когда было обнаружено что в биологическом синапсе могут работать одновременно несколько разных нейротрансмиттеров, и, следовательно, формальный нейрон Мак-Каллока и Питса неверно описывает работу биологического нейрона. Однако все традиционные и современные искусственные нейронные сети по-прежнему строились и строятся на тех же формальных нейронах.

Работниками компании «Progress INC» была разработана новая схема формального нейрона («прогрессивный формальный нейрон» или п-нейрон), включающая набор «корректирующих весов», выполняющих роль разных медиаторов. П-нейрон существенно ближе к биологическим нейронам по конструкции и принципу действия. На картинке показан типичный п-нейрон и сеть, построенная на их базе. В п-нейроне сигнал от входного устройства попадает на блок анализа и распределения сигналов (распределитель), который оценив величину сигнала относит его к одному из интервалов и в соответствии с этим «назначает» корректирующий вес, соответствующий данному сигналу. На рисунке показано, что сигнал с величиной, соответствующей интервалу значений 3 осуществляет выбор корректирующего веса d3.

Самым главным результатом применения нового типа формального нейрона стало радикальное изменение системы обучения сети, более соответствующее процессам обучения, протекающим в биологических нейронах, и поэтому требующего в миллиарды раз меньших объемов вычислений. Это же обеспечивает возможность быстрого (например, в режиме реального времени) доучивания и переучивания сети.

Новый тип формальных нейронов может быть реализован в компьютерах за счет обычных компьютерных средств, например CPU, а также на базе графических плат, специализированных или программируемых микрочипов, аналоговых устройств и т.п. Использование п-нейронов может обеспечить значительное улучшение известных типов нейронных сетей, например, одно- и многослойных персептронов, когнитронов, сетей Кохонена, Хопфилда, Больцмана, сетей глубокого обучения, сверточных сетей и т.д.

Могут быть использованы и так называемые «прогресс сети» (п-сети), созданные компанией «Progress INC» специально для использования п-нейронов. П-сеть также является некоторым аналогом сверточных сетей, она может быть представлена как результат свертывания множества однослойных персептронов, обученных каждый распознаванию одного образа. Это и допускает дообучение сети, практически сводящееся к добавлению к готовой свертке еще одного «однообразного» персептрона.

В силу нового процесса обучения, уменьшающего на много порядков число необходимых математических операций, становится возможным реализовать полноценные нейронные сети на компьютерах небольшой вычислительной мощности, например, на лэптопах, планшетах, телефонах, дешевых контроллерах и т.п.

Искусственные нейронные сети, построенные на основе новых формальных нейронов (п-нейронов) обладают некоторыми дополнительными возможностями:

Самым главным, на наш взгляд, является возможность в перспективе на основе п-сетей создавать полноценные широкопрофильные и специализированные искусственные интеллекты, способные обучаться и работать постоянно в режиме реального времени.

Основы теории и конструкции п-нейронов и п-сетей описаны в статьях [2], [3] и патентах.

Литература

  1. Warren S. McCulloch & Walter Pitts. «A logical calculus of the ideas immanent in nervous activity» 1943.  Link
  2. Pescianschi, Main Principles of the General Theory of Neural Network with Internal Feedback, CSREA Press., Las Vegas, US 2015 Link
  3. Pescianschi, A. Boudichevskaia, B. Zlotin, and V. Proseanic, Analog and Digital Modeling of a Scalable Neural Network, CSREA Press., Las Vegas, US 2015 Link
  4. Новая эра в развитии информационных технологий. Сайт проекта Creatime 
  5. Патенты: US patent No. 9390373; US patent No.  9619749; Japan patent No. 6382354; China patent No. ZL201580012022.2; Mexico patent No. MX357374B; Taiwan patent No. I655587; Israel patent No. 247533 и др.