privateСейчас архитектуру разрабатывает человек, а сеть только оптимизирует параметры с жестко заданной структурой.

Почему не используют поиск архитектуры - пусть сеть сама ищет какую форму ей лучше принять.

Точнее, такие сети тоже используют, но только очень простые, из пары десятков нейронов максимум (что я видел по крайней мере). Почему на мощных сетях не используют? Мощностей пока не хватает, или в чем-то другом дело?
Всё банально, фактически все сети на данный момент это оптимизаторы уравнений. Задавая конфигурацию ты задаёшь уравнение для которого можно подобрать коэффициенты, и ничего больше. Возьми колоночку X,Y произвольных данных в экселе, построй график зависимости Y(X) и попробуй подобрать алгоритм линии тренда - поймёшь в чём проблема