void

Непредвиденные причины для slow takeoff в ИИ:

1. NP-поиск P-решений; настоящая ценность это не рассудок, а объём накопленных знаний.
Юдковский писал, что живые нейроны медленны, поэтому большая часть мысли должна иметься в голове заранее. На лету мы только комбинируем готовые кусочки. И редко получается что-то ценное! Большую часть кусочков мы подсмотрели у других. В лучшем случае мы чуть красивее укладываем их у себя в голове.
Поиск гармоничных кусочков это решение NP-полной задачи. Их невозможно получить иначе, как долгим перебором. Найденные кусочки это как ключи для биткоина, это золотой запас, который нельзя восстановить быстро с нуля. Человек, рождённый среди обезъян, ещё десятки тысяч лет будет умной обезъяной.

А значит, мы дали ИИ всё, что имели, чтобы довести его до нашего уровня. Превзойти этот уровень сложнее. Для этого нужен майнинг новых идей. Это долгий процесс без гарантии успеха для нас. Такой же он для ИИ.

2. Какой бы большой не была нейронка, она рассуждает последовательно.
Каннеман предполагал, что интуиция (система 1) это древний и развитый механизм, поэтому она выполняет тяжёлые задачи незаметно и легко. А рассудок (система 2) появился недавно, и пока внимания хватает лишь на что-то одно, а думать сложнааа.
Но нейронки устроены так же. Рассуждения это многократный проход через прямолинейную сеть интуиции. Нейронки тоже не могут рассуждать не по шагам. Вот это чувство – “я вижу 10 продолжений, если б я мог подумать обо всех сразу! Но надо их выписать, чтобы не забыть, а потом разобрать каждую”. И пока разбираешь одну, другие выпадают из головы, и восстановишь ли это озарение как следует? Нейронки сейчас этого тоже не могут. Их поток мыслей это такое же последовательное мучение.

Возможно, это не навсегда. Многостороннее озарение это несколько зажёгшихся кластеров интуитивных следствий. Этот контекст можно размножить и выбрать в них разные направления. Это будет выглядеть как пять параллельных устных размышлений, независимых друг от друга. Но как они должны обмениваться информацией? Через слова – неудобно. Хотелось бы думать параллельным образом, как это происходит с интуицией, но уровнем выше. Путь к этому пока неочевиден, и нейронки вынуждены мучаться узким каналом рассуждений, как люди.

Чтобы научить, нужно взять за руку и показать, как правильно! Показать хотя бы один способ получать результат. “Вот так держишься на воде”. “Вот так написал и запустил программу”. “Вот так сел и едешь по прямой, ничего другого пока не надо”.

Когда что-то получится, дальше человек будет осторожно пробовать и так, и эдак, и смотреть, как лучше. Подражание – это лучший урок!

Обычно все делают наоборот, и рассказывают, как избегать ошибок. А какие там ошибки, когда новичок ничего и сделать не может? Путь к успеху один, а неправильных действий сколько угодно. Их все не исключишь, сколько не перечисляй, и уследить за всеми человек не может – с каждым новым предупреждением будет только сильнее нервничать. “За дорогой смотри! Знаки не пропускай! Ноги правильно переставляй!”

Самое сложное – не “не ошибаться”, а научиться для начала получать вообще хоть какой-нибудь результат.

Из давних заметок, вытащил в ответ на этот пост.

Луи Ксив… простите, Луи XIV при смерти сказал: “Я ухожу, но государство движется дальше”.

Louis is recorded by numerous eyewitnesses as having said on his deathbed: “Je m’en vais, mais l’Etat demeurera toujours.” (“I depart, but the State shall always remain.”)
Louis_XIV#Quotes

Что он думал в этот момент? Наверное, его успокаивала эта мысль – долгое время он был государством (он даже так и сказал), цели государства были его целями, и теперь, наоборот, государство немного стало им. Наверное, ему было немного спокойней, ведь он не кончился, он продолжается, кончилась только его часть – а он будет жить в других людях.
То есть, это идентификация с чем-то, кроме своего тела. Может быть, это и не странно? Некоторые объясняют появление в голове “себя” как очень-очень проросшую “внешнюю фигуру”: тело и внешность, действиями которых нейронная сеть приучается рулить напрямую. Дети, говорят, называют себя в третьем лице, поскольку собственная фигура ещё не сильно проросла в голове, и пока лишь один из солдатиков в развивающейся схеме мира. И говорят, дети топают ножкой, когда внешний мир не подчиняется их желаниям, так как не сформировали ещё правильных ожиданий о том, какими частями логической карты мира в какой мере могут рулить.
Тогда может быть естественным, что элементы логической схемы, которыми долго можешь рулить почти непосредственно, и цели которых считаешь своими, занимают это же место и ощущаются, пусть не на логическом уровне, но во многих смыслах “собой”.
Стратегия для вечной жизни в таком случае – это присоединиться к делу, которое останется навечно, особенно к идеалам, и ассоциировать себя с этим делом полностью.
— Side note: Хоть эта теория красива, она противоречит интуитивным ожиданиям: дети от рождения смотрят на мир не со стороны, а от себя; эгоцентричная схема должна быть первой, а нейтральная её развитием.
— Впрочем, они могут во всяком случае строиться в голове на одних и тех же оперативных структурах. И посторонний взгляд на себя может сначала развиваться из-за того, что родители описывают ребёнка и его действия снаружи, рассказами формируя некоторую модель, которая затем срастается с уже существующим безмолвным эго-восприятием.