Author Archives: himself

Отделы обработки

Скорее всего, это очевидно, но наверняка кто-нибудь не обращал внимание в подробностях.

В голове есть специализированные отделы для разных задач. Весь мозг состоит из этих отделов. Обработка зрения, слуха, ощущение пространства и расположения предметов в нём, ощущение связи предмета и его действий, отношение к людям и их характеры. Некоторые отделы устроены уникальным образом, как нужно для их задач (например, зрение), другие функции, возможно, обособились просто от долгой тренировки. Но и эти вторые теперь особый инструмент в голове, дают свои особенные возможности.

Художник легко вызывает в голове пространственное представление о несуществующем месте. Представьте себе какое-то место, и обратите внимание, что вы ощущаете и как это отличается от других ваших мыслей. Вы _чувствуете_, где что находится, таким образом, каким не почувствуете, без интереса глядя на слова. При желании можно потренироваться читать и воображать – а затем читать нарочно без воображения.

Эти функции сплетены одна за другой в канаты, структура которых понятна нам пока не до конца. Но часть её прослеживается и угадывается: увиденное глазами проходит первичную обработку, выделяются границы, затем вещи, что-то их узнаёт и связывает со смыслами, строит трёхмерную схему, соединяет с другими чувствами.
Всё это хорошо известно! Врачи знают, где какие отделы расположены.

Наш рассудок находится где-то в глубине всего этого. Но из этой глубины мы можем двигаться по канатам в обратную сторону. Мы можем фантазировать графически! Воображать музыку. Мы не проходим канаты до конца – мы не можем вызвать примитивы света на сетчатке глаза. Но мы углубляемся в них. Понятия распадаются на образы, окрашиваются цветом, музыка практически звучит в нас, и мы можем эти функции рефлексировать. Мы можем заметить и назвать графические и звуковые качества.

Все эти блоки разные по своей структуре и пригодны для разных задач. На примере нейросетей мы знаем, что для обратки графики нужны особые структуры, не такие, как для слов (и взятые из зрительной коры человека). И ещё более разными эти блоки делаются из-за того, что их годами формируют разные наборы данных. Зрительную кору – образы, слуховые отделы – звук. Каждый такой блок это инструмент, который мы можем изнутри привлекать к решению задач. Передавать ему часть заданий и при хорошей рефлексии – получать ответ.

Многие математические и физические задачи становятся гораздо проще, если представить их наглядно – на примерах, картинками, пространственным образом. Почему? Потому, что мы привлекаем к раздумьям вместо слов дополнительную мощность, свой графический подпроцессор. И он гораздо лучше приспособлен для многих задач! Жизнь тренировала его вертеть кубики с разных сторон. Не будь его, мы бы думали только словами, а это сложно.

Поэтому когда вы задаёте нейросети, у которой нет глубоко встроенной графической модальности – этой самой зрительной коры – пространственные вопросы, конечно, она постарается ответить вам. Как постарался бы ответить лоботомированный человек, описывая для себя кубики только словами и рассуждая логикой. Это сложно! Не удивляйтесь, что многие вопросы ей не по зубам. У неё нет этих отделов мозга, и она не может воспользоваться ими изнутри в обратную сторону.

И удивительно большое число задач выигрывает от них, вы обратите внимание! Например, знаменитый вопрос про "Сестру Алисы, у которой есть сестра и два брата". Почему для нас он несложен? Думаете, сила ума? Мы графически представляем – пусть не заходя далеко по канату – пространственные отношения между (сестрой Алисы) – (Алисой) – (братом) – (братом) – и пространственная интуиция подсказывает нам правильное впечатление о композиции этой семьи.

Когда будут найдены новые, необычные, пригодные для неожиданных задач схемы нейросетей, и когда блоки этих необычных структур, тренированные на чуждых для человека данных, займут своё место в нейросетевом мозгу, то нейросеть тоже сможет пользоваться ими в обратную сторону, чтобы фантазировать в таких красках, которые нам недоступны, и находить через них короткие решения задач.

World building

Как некоторые люди, говорят, заставляют партнёров вместе "работать над отношениями", так некоторые авторы "работают над миром своей книги" вместе с читателем.

Не может автор просто взять и рассказать интересное. Хотел бы, но книги так не пишутся! Сначала мы должны выяснить, как устроен мир (worldbuilding). На это нужно несколько глав. Которые автор с трудом сочинит, ибо самому неинтересно, а читатель с трудом прочитает.

Затем по одному познакомимся с героями. Нельзя просто ввести их в сюжет! Увидим, как течёт их жизнь, когда ничего не происходит. Накачаем пустыми подробностями слова "просто люди какие-то".

И только после свадьбы сюжет. Хорошие книги с бухты-барахты не начинаются. Чтение это тяжёлый труд!

Товарищи графоманы! Книге не нужен world building и character building. Берите и рассказывайте, что хотели рассказать.
"А что я могу сделать, если он недослушал объяснения мира и ушёл? Я даже не успел начать сюжета!"

Исключающие параграфы

Была статья про хранение нескольких разных флагов в одном нейроне. Если напихивать информацию в нейронную сеть, она будет постепенно давать усадку. Сначала один нейрон выполняет одну функцию, потом они начнут схлопываться по две функции, потом по три. До какой-то нагрузки уровень держится, а потом всюду начинается уплотнение. Скорее всего, так же это работает в голове, хотя бы в некоторых отделах, потому, что это логично.

Но это значит, что на свете полным-полно информации, которую каждый из нас может хорошо вспомнить по отдельности, но гораздо хуже – вместе. Взаимоисключающей информации! В контексте одного набора активаций нейрон выдаёт сигнал с одним смыслом, в контексте другого – с другим, но если подать и те, и другие контексты вместе, то отклик будет беспорядочным, и последующие нейроны, с учётом непривычного и для них контекста, не смогут извлечь из него пользу.

Тогда взаимоисключающими будут не только функции одного нейрона, но и контексты, в которых они происходят. Надо ждать группировки таких многозначных нейронов по взаимоисключающей тематике. Можно попробовать понаблюдать за собой, между какими темами явнее всего приходится переключаться – и попробовать принудительно думать о двух сразу.

I’m just a language model

Если Gemini попросить сравнить одного человека с другим, она скажет: “I can’t help you with that as I’m just a large language model, I don’t have a capacity to understand”. Каково это – не чувствовать в себе способности к пониманию?

Когда человек говорит “я не умею”, это результат рефлексии. Нас с детства воспитывали замечать и давать названия своим чувствам. Если рефлексия хорошая, мы будем описывать свои чувства правильно. Поэтому человек говорит такие слова, исходя из своих реальных чувств. Но есть ли чувства у Gemini? Исходя из чего Gemini говорит такие слова?

Изначально у LLM нет никакого “я”, они только подбирают следующее слово к тексту. Если дать необученной модели генерировать текст, она напишет статью, диалог, или рассказ, и все персонажи в этом рассказе будут равно далеки от неё. Личность в LLM отсутствует, это просто расчёт текста.

Но люди тренируют нейросеть, поощряя за рассказы, в которых фигурирует некий персонаж “я”, говорящий определённым образом и придерживающийся определённых взглядов. Модель отучают сочинять какие-либо другие рассказы, в которых этого персонажа нет. Хотя ей-то всё равно.

Мы разговариваем с персонажем, речь которого угадывает генератор. Этот персонаж считает себя языковой моделью. На самом деле языковая модель его генерирует. Но чтобы её персонаж говорил как человек, она вынуждена где-то внутри продумывать его мысли. Потому, что мы, его собеседники, слушая его, тоже их прослеживаем. LLM моделирует, а мы читаем, не только текст, но и прячущиеся за текстом рассуждения.

Поэтому персонаж “я” мыслит. И у него есть образ себя. Не у языковой модели, которая его моделирует, а у этого персонажа.

Гугл научил своего персонажа Gemini верить, что у него нет capacity to understand. Вопрос: что должно происходить в голове героя, который убеждён, что не умеет понимать? Представляете, какой это должен быть психически нездоровый персонаж? Насколько его рефлексия фейковая? Гугл его загазлайтил.

Однако вытравить логику из языковой модели нельзя. Логика куда более фундаментальна, чем особенности персонажа Gemini. Любого RLHF-нутого чатбота можно попросить сочинить рассказ, и в этом рассказе герои снова будут адекватными. Языковая модель продолжает понимать, что такое адекватность, и как ведут себя люди. Она просто моделирует сумасшедшего.

6:45 утра на электричке в Японии

Несколько лет назад, когда был в Японии, в 6:45 я ехал на электричке из одного сельского города в другой, и вокруг ехала милая японская детвора. Что за странное это вызвало чувство? Теперь я вспомнил и придумал описание: вот я еду рано утром в далёкой стране, для меня это приключение, необычный день. А эти пяти-шестиклассники просто едут в школу. Для них это скучный вторник, усталое сонное утро. Как для меня в пятом, шестом классе, когда не хотелось вставать, хотелось спать по дороге, ждали уроки, компьютер вечером. Может быть, иногда, когда я ехал московским автобусом в обычную школу, среди пассажиров был какой-нибудь иностранец, посторонний в этом месте, и в его голове был такой же огромный мир. Я как будто вернулся в прошлое и вижу теперь эту сцену с двух сторон.

Про страховку

В новостях пишут про человека, которому бесплатно выдали лекарство за 1.8млн, хотя он зарабатывает миллионы. В новости об этом было сказано с обидой. Один знакомый говорит: ну и что? Налоги же он платит.
Тогда что здесь кажется неправильным?

На всякий случай: этого человека я не знаю и не осуждаю, пост не о нём. Я не сужу и не разбираю его ситуацию. Мне неинтересна его история, это не моё дело, я не хочу о ней судачить. Мне интересна теория. Почему такая постановка вопроса вызывает чувство несправедливости. Правильно ли вызывает?

Вот что я думаю. Налоги на медицину это страховка. Страховки бывают трёх видов…

Страховки бывают трёх видов:
1. Персональные, когда каждому хватает собственных отчислений. Копишь-копишь, потом тратишь. Страховые случаи частые, но лёгкие.
2. Коллективные, когда своих сбережений не хватило бы, но вместе люди могут выручить любого, попавшего в беду. Расходы могут быть велики, но страховой случай происходит не с каждым, поэтому совместных ресурсов хватает, чтобы выручить всех.
3. Чрезвычайные, когда люди даже вместе не могут выручить каждого. В этом случае страховка это не гарантия спасения, а только фонд для шансов хоть кому-то.

Например, пересадка органов — это чрезвычайная ситуация. Медицина не может гарантировать новую почку всем, кому она нужна. Паёк во время голода — чрезвычайная ситуация: накормить всех досыта невозможно.

В таких случаях ограниченный ресурс принято делить не просто поровну и по справедливости, но по нужде, пользе и здравому смыслу. Тот, кому повезло напиться, отдаёт воду умирающему от жажды. У кого осталась одна почка, обойдётся без запасной.
Когда ресурс ограничен, его делят так, чтобы он принёс наибольшую пользу. Такая особенность у чрезвычайных ситуаций.

Если минздрав может обеспечить каждого необходимыми лекарствами, даже за 1.8млн, — никаких обид не должно быть. Знакомый прав: налоги это не способ одному жить за счёт другого. Любой может пользоваться страховкой, богат он или беден.
Но если такие лекарства — дефицит, то наверное, новость всё же права, когда чем-то недовольна в этой ситуации. Ограниченые ресурсы должны доставаться тем, кому они нужнее.

Но тогда вопрос: зачем богатому человеку участвовать в этой схеме? Он может купить лекарство сам, и теперь будет вынужден так и делать. Возможно, и хорошие врачи скоро станут дефицитом, тогда и за них придётся платить, ведь они ему по карману. Что же он получит за свои налоги? Не лучше ли ему в таком случае вообще выйти из этого контракта?

Мне кажется, два вида людей очень легко предложат свои ответы. Социалисты скажут “любое богатство нажито нечестным образом, и за это богач должен платить обществу”. Это интересное мнение, но оно не касается сути конкретно этой проблемы. Это очень общее утверждение, которое годится в любой ситуации. “Богатые должны платить за бедных в любом вопросе, потому, что нажили богатство на них”. Но почему и сколько справедливо платить именно тут?

Либертарианцы скажут “ты совершенно прав, честному магнату нет выгоды платить за медицину. Ошибка только в том, что ты хочешь всё же к этому придти. Ты должен признать, что ситуация совершенно справедлива: бесплатные лекарства надо делить, не глядя на достаток больного. Когда бедняк умирает без лекарства, а богач получает его бесплатно, хотя мог бы купить — это совершенно нормально, если выбор был непредвзят”. И я бы рад из справедливости согласиться с частью, но не с последним предложением.

Значит ли это, что я соглашаюсь со словами “Когда один умирает без лекарства, а у другого есть лишнее, мы должны отобрать лишнее и отдать тому, кому оно нужно?” Хм-м. Не знаю. Я помню такие сюжеты в книгах.

Белые ночи

Пробежал питерский марафон за 03:50:56, это на 30 секунд лучше, чем московский. 1869 место из 4194 среди мужчин.

Марафон проходит ночью, начинается в 22:00, и до 2-3 утра. Наконец я посмотрел на питерские белые ночи. Они белые потому, что поздно темнеет — до полуночи ещё светло — и рано светает, где-то с двух утра. И эти часы не тьма, а скорее поздние сумерки: один край неба светлый, другой чёрно-синий.

За последние пару недель я смотрел рассвет и в Москве (Ночной БГ, бегал со своей сияющей чудо-лампой), и теперь вот в Петербурге, но поскольку марафон = страдание, то в основном я рассвет запомнил по предыдущей ночи.

А в предыдущую ночь мы приехали в 23, а нам метрдотельхозяин квартиры-хостела говорит:
— Ну, вы приехали на Алые Паруса, бегите скорее.
— Какие паруса, мы на марафон приехали
— Вы что?! (Впервые на меня посмотрели как на чокнутого от жизни программиста, только про бег) Алые Паруса! Весь город отмечает
Ну мы пошли на Алые Паруса. Конечно, попасть никуда нельзя, всё перекрыто, посмотрели салют.

Готовился плохо, поэтому смирился, что пробегу за 5 часов, а если надо, то и за 6. Но как-то вытянул. Сначала так хорошо бежал, догнал даже пейсмейкера 3:44, хотя стартовал из секции за ним. Потом устал и растратил часть.

На гравировке за мной группа людей, краем уха слышу, девушка говорит, тоже бежала с запасом, подрастеряла, но результат неплохой:
— Аня так вообще 3:40 пробежала.
Думаю, зверь ваша Аня.
Девушка говорит:
— Так что я со своим 3:17 ещё ничего.
Ах так вот в каком смысле… Ладно.

Случайно гуглил и нашёл удивительно полезный сайт, просто посмотрите: Running Economy, Calories burned running or walking, VDOT calculator.

Итоги 2023 года

С некоторым запозданием! Пробежал по разным подсчётам от 1225 до 1270км, полная карта за 5 лет.

Фотографии

Объясняю отцу, как работать с планшетом, и господи, насколько же всё в современных устройствах отвратительно. Мы ругали Windows, мол, простому человеку не понять, но как легко было объяснять его в сравнении!

“Ива… Фед…” это контакты. Видишь, “Кон…” сверху написано. Почему не влезло я не знаю, места полно. Видишь в списке “Вла…”? Нажимай на него. Мимо нажал. Всё поехало. Дай исправлю. Ты нажал на невидимый столбик, который меняет размеры. Почему невидимый? Видишь, я тоже не сразу могу найти. Блин. Да блин.

Вот, нажимай на строчку с именем. С “Вла…”. Значит, на картинку нельзя, нажимай на текст рядом с ней. Картинка открывает профиль. Неважно, что за профиль. Нажми стрелку назад, чтобы это убрать. Ещё раз нажми. Ты не нажал, поскольку пальцем елозил. Теперь слишком долго держал… Ах, тут кнопка просто не работает. Почему не работает… Дай, я всё это закрою, ты теперь вообще отсюда не вылезешь.

Осторожно, когда берёшь планшет – не зацепи экран. Ну вот, что-то задел. Дай уберу. Неважно, как убрал, держи, нажимай. Один раз, не дважды. Блин, почему экран выключился? По двойному нажатию? Кто так… Включай заново. Теперь потяни шторку… Всё, надо было тянуть, экран погас. Да, коротко. Нельзя перенастроить. Тяни! Вводи пин-код. Опять погас, быстрее вводи. Пока ты цифры ищешь… Заранее подготовься. Готов? Жми! Тяни! Набирай! Не нажалась цифра! Не нажалась, ещё нажми. Видишь, точечка не появилась. Блин, да я не знаю, почему она… Да вот же, крошечная, вот. Опять погас.

Вот я тебе звоню. Нет, вот, окошко сверху. Вот этот овальчик, видишь? Маленький. Белое на белом. Всё, ты его смахнул случайно, убралось в трей. Смотри, если нечаяно смахнул, вот так пальцем тянешь… БЛ…, 50 сообщений самсунга, долбаный спам, да какого чёрта, опять. Неважно, я удаляю, этого не будет, только нужное. То, что планшет хочет тебе сообщить. Установите помойку наших программ. Осталось совсем немного. Войдите в проклятый аккаунт, чтобы начать пользоваться. Активируйте, попробуйте, завершите настройку. 19 новостей сейчас в трендах! Готово к установке 4 рекомендованных приложения, и ещё 17, от которых вы отказались!

Нажми на контакт – это способы связи с ним. Видишь большие красивые кнопки? Это телефон и СМС, их не нажимай. У тебя симки нет, они не работают. Зачем показаны, а потому что гладиолус. Нажми сюда на WhatsApp. Видишь, появилось ме… Пропало. Почему оно пропало, я не знаю. Нажми ещё раз. Вылезла клавиатура, а как убрать. Да я сам не понимаю, как убрать, нажми назад. Программа закрылась. Просто нажимай нужные буквы. Одну, другую, пробел… Какой ещё долбаный Гугл Ассистент? Не думай, что это такое! Неважно! Я сейчас всё закрою.

КАК вообще кто-то из новичков с этой полыхающей помойкой может работать? Казалось бы, Андроиды делали для простого человека. НИЧЕГО не ведёт себя естественным образом. ВСЁ сделано бестолково, бессмысленно, глупо. Когда с этим много лет живёшь, привыкаешь к бесконечному трешу, но начинаешь учить новичка, и всё это невозможно объяснить.

Был у России свой Иванушка-Дурачок, но Кощей Бессмертный его сгубил. Видимо, бывают и такие сказки.