Непредвиденные причины для slow takeoff в ИИ:
1. NP-поиск P-решений; настоящая ценность это не рассудок, а объём накопленных знаний.
Юдковский писал, что живые нейроны медленны, поэтому большая часть мысли должна иметься в голове заранее. На лету мы только комбинируем готовые кусочки. И редко получается что-то ценное! Большую часть кусочков мы подсмотрели у других. В лучшем случае мы чуть красивее укладываем их у себя в голове.
Поиск гармоничных кусочков это решение NP-полной задачи. Их невозможно получить иначе, как долгим перебором. Найденные кусочки это как ключи для биткоина, это золотой запас, который нельзя восстановить быстро с нуля. Человек, рождённый среди обезъян, ещё десятки тысяч лет будет умной обезъяной.
А значит, мы дали ИИ всё, что имели, чтобы довести его до нашего уровня. Превзойти этот уровень сложнее. Для этого нужен майнинг новых идей. Это долгий процесс без гарантии успеха для нас. Такой же он для ИИ.
2. Какой бы большой не была нейронка, она рассуждает последовательно.
Каннеман предполагал, что интуиция (система 1) это древний и развитый механизм, поэтому она выполняет тяжёлые задачи незаметно и легко. А рассудок (система 2) появился недавно, и пока внимания хватает лишь на что-то одно, а думать сложнааа.
Но нейронки устроены так же. Рассуждения это многократный проход через прямолинейную сеть интуиции. Нейронки тоже не могут рассуждать не по шагам. Вот это чувство – “я вижу 10 продолжений, если б я мог подумать обо всех сразу! Но надо их выписать, чтобы не забыть, а потом разобрать каждую”. И пока разбираешь одну, другие выпадают из головы, и восстановишь ли это озарение как следует? Нейронки сейчас этого тоже не могут. Их поток мыслей это такое же последовательное мучение.
Возможно, это не навсегда. Многостороннее озарение это несколько зажёгшихся кластеров интуитивных следствий. Этот контекст можно размножить и выбрать в них разные направления. Это будет выглядеть как пять параллельных устных размышлений, независимых друг от друга. Но как они должны обмениваться информацией? Через слова – неудобно. Хотелось бы думать параллельным образом, как это происходит с интуицией, но уровнем выше. Путь к этому пока неочевиден, и нейронки вынуждены мучаться узким каналом рассуждений, как люди.
2 комментария
А читал ли ты книгу «Новый ум короля. О компьютерах, мышлении и законах физики», Пенроуза.
Там есть интереснейшая мысль, о том, что полноценный искуственный интеллект (осознающий себя) на данном этапе развития науки не возможно создать, так как, для него нет полноценной теоретической базы в виде математики и физики. А точнее, та математика и физика что сейчас есть, содержат огромные дыры которые не позволяют просчитывать и создавать сложные модели мышления.
И вторая его книга, “Тени разума. В поисках науки о сознании”. Примерно о том же.
Не читал, но почему бы это было невозможно? Что значит осознавать себя? Сознавать – значит, отмечать какие-то факты, учитывать их в своей модели мира. Осознавать себя значит отмечать, что существует такой участник физического мира, как другие, кого ты отмечаешь, моделируешь, кому приписываешь желания, действия, черты. Существует ещё один такой участник, на которого можно было бы посмотреть со стороны, и этому участнику можно приписать собственные желания, действия, мысли, которые испытываешь непосредственно.
Для этого достаточно иметь такую модель мира, в которой люди вообще моделируются как субъекты. Но нейросети имеют такую модель. И нужно иметь представление о себе – персонажи нейросетей, чатботы, имеют такое представление. В итоге чатбот, моделируя мир нейросетью, которая его сочиняет, учитывает, например, что если будет сгенерировано невежливое слово, изменится отношение пользователя именно к этому персонажу.