начал читать литературу и кодировать - http://www.pvobr.ru/temp/neural2.zip

В архиве решение для MS VS и данные для обучения.

Екзешник надо запускать с параметром:

7 - обучение на четвертушке квадрата,

11 - обучение на цифрах из MNIST сета,

16 - обучение предсказывать следующую букву текста на "Идиоте".

RNN работает неплохо, дошел до 40% предсказания следующей буквы.

LSTM работает хуже, возможно ошибка формул при back propogation. Надо будет изучать, сравнить с python-версией от Ели Бендерски.

RNN хорошо предсказывает синусоиду. Попробую обучать на валютном курсе.

а где результаты тестов?

полезная ссылка на обзор по нейронным сетям - https://vas3k.ru/blog/machine_learning/
Перевод статей Адама Гейтгея - http://algotravelling.com/ru/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5-%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5-%D1%8D%D1%82%D0%BE-%D0%B2%D0%B5%D1%81%D0%B5%D0%BB%D0%BE-1/
От соратника Константина - http://bsknow.wixsite.com/ru-project/blog .