Почему chatGPT (а также general AI) не заменит человека и никогда не сможет понять вещи, недоступные человеку

(во всяком случае, мы никогда не сможем утверждать про него, что он понял нечто недоступное нам)

ChatGPT захватил внимание всего мира, всего за 2 месяца с ним пообщались больше 100 миллионов человек, что является рекордов среди всех приложений за всю историю наблюдений. Игнорировать этот феномен не представляется возможным. Уже сейчас становится ясно, что даже в текущем виде chatGPT радикально изменит нашу жизнь, как минимум займет место удобного инструмента для решения множества повседневных задач, а также станет помощником в решении задач любой сложности.

Технология GPT (Generative Pre-trained Transformer) базируется на заранее загруженных в программу текстах, ручном обучении на диалогах с реальными людьми по заданным алгоритмам, и как следствие, с помощью нейронных сетей программа может по заданному описанию обычным человеческим языком генерировать практически любые тексты. Тогда как у самой известной модели chatGPT от лаборатории openAI существует множество проблем и ограничений, мы будем рассматривать абстрактную GPT программу, которая бы сочетала в себе характеристики chatGPT, а также их гипотетически возможное развитие. Среди ограничений существующей chatGPT можно отметить: зависимость от данных, которые могут быть недоступны (так, Twitter уже закрыл свои данные от openAI), зависимость от донастройки через обучения на диалогах с людьми (алгоритм не умеет без человеческой помощи самонастроиться), ограниченность корпуса текстов определенным годом, а также невозможность базировать свои ответы на данных реального мира, т.е. осуществлять какую угодно кроме как текстовую проверку рассматриваемых как верные утверждения. В частности, у алгоритма не существует как у человека «сверки со здравым смыслом» и его можно убедить в истинности утверждений вида «2+2=5», что представляется невозможным для рационально мыслящего человека, осознающего основания своих убеждений.

Чтобы лучше осознать роль GPT в развитии человеческого знания и культуры, рассмотрим идею знаменитой Вавилонской библиотеки. В ней собраны буквально все тексты, которые можно помыслить, написанные на человеческом языке. Так как количество букв ограниченно, таких текстов будет счетное число, а если ограничить такие тексты определенным объемом, таких текстов будет конечное число. Это трудно представить, но с математической точки зрения это не вызывает сомнений. Представим себе, что внутри Вавилонской библиотеки есть отдельный зал, где собраны все осмысленные тексты. Иными словами, в любом таком тексте есть либо связно изложенная определенная мысль, или набор мыслей, либо такой текст может быть признан имеющим художественную ценность. Если мы начнем думать о таком зале, то поймем, что самое сложное – критерии отбора книг для него. Особенно если мы будем говорить о художественных ценностях, мы поймем, что без человека как источника для оценки нам не обойтись. Но и в более общем виде, понятие «осмысленный» невозможно формализовать. Мы говорим о человеческом языке, что уже подразумевает некоторую условность. Но также и осмысленный текст, в текущем понимании может содержать противоречия (если они несущественные, если они приводятся как примеры или культурные отсылки, или если в этом и состоит главная мысль в виде привлечения внимания к какому-то парадоксу или просто как форма оригинального суждения). Таким образом, говоря об осмысленности мы попадаем на крайне неопределенную почву, но все же осмысленный текст от бессмысленного в большинстве случаев мы отличить сумеем.

Следует признать, что рассматриваемый GPT может пополнить известное нам на данный момент пространство осмысленных текстов. Но в любом случае, любой произведенный им текст будет нуждаться в осмыслении человека. Он может служить своего рода подсказкой, которую специалист в той или иной области может, если сочтет ее корректной, применить, но он не может полностью заменить специалиста в своей области, потому что высок риск, что предложенное им решение будет неверно, а без независимой оценки даже вероятность правильности его решения оценить будет невозможно. Но, забегая вперед, на это можно возразить что и человек – всего лишь инструмент в некоторой заданной погрешностью, допустим 0.01%, и, таким образом, через множество-множество поколений GPT, его погрешность будет значительно меньше погрешности человека и тогда ему можно будет доверить замену человека в той или другой специальности. Забегая вперед, мы покажем, что сторонники такой линии рассуждения упускают из своего рассмотрения.

Более того, GPT система вполне может найти некоторую закономерность или доказать теорему, или открыть новый факт (на основе логического вывода, например), или наоборот показать нам, что некоторый факт, который мы считали истинным ложен на основе других фактов, не подлежащих сомнению. GPT может найти нечто такое в мире, чего вся совокупность людей никогда не могла найти. Другими словами, положительная оценка для человечества GPT бесспорна в это контексте.

Тем не менее, нужно понимать, что GPT, как сложно бы он не был устроен, не способен к осмыслению. Здесь мы можем представить, что перед нами не GPT, а ИИ general intelligence (идеальный ИИ сингулярности), способный обучаться на входных данных, которые попадают в его сенсорные датчики, который способен проверять утверждения в ходе экспериментов, который способен обучаться не на человеческих текстах, а обучаться на основе других ИИ, что может принципиально в разы повысить скорость и эффективность такого обучения.

И дело тут не в том, что ответы им генерируемые могут содержать самые банальные ошибки. Дело в том, что GPT это результат исполнения определенного кода, алгоритма, программы. Мы можем спорить, человеческая способность понимать, оценивать факты о мире как истинные зависит от способности процесса эволюции сформировать у него органы, пригодные для этого, или же есть нечто иное, что заставляет нас верить в то, что мы можем доверять своим познавательным способностям. Если мы говорим об алгоритме, то здесь все иначе. Его ответ «да» или «нет» о рассматриваемом факте о мире ни от чего не зависит кроме как от кода, в рамках которого он написан. И чтобы оценить, адекватен ли его ответ, нам нужно оценить, адекватен ли код, чтобы правильно судить об истинности утверждений о мире? Сможем ли мы это сделать? На мой взгляд, это принципиально невозможно.

Если объяснить почему – максимально просто – чтобы так сделать, нам уже нужно:

A.     Обладать правильными ответами на самые сложные проблемы науки и бытия, которые перед нами стоят. Те из них, на которые мы еще не знаем ответа, и правильный ответ на которые ИИ и формируют ту самую «сингулярность».

B.     Более того, мы должны осознавать, какие мыслительные структуры приводят к правильным ответам на эти вопросы, а какие нет, что предполагает уже находящийся у нас положительный ответ на (A), в противном случае, если мы не знаем как ответить на вопросы, в которых ИИ разбирается лучше нас, мы тем более не сможем оценить адекватна ли структура его мышления ответам на эти вопросы или нет.

Обратимся к примерам. Представим себе самый совершенный ИИ, который в принципе может существовать. Представим, что мы отказались от человекоцентричных оценок фактов, признав, что человек также есть не более чем машина, которая, получая данные на вход отдает данные на выход по определенному алгоритму, базирующемся на работе мозга. Таким образом, мы сможем утверждать о превосходстве машины над человеком в определенной области знания.

Рассмотрим утверждение «машина лучше понимает строительное дело». Допустим, мы доверили машине строить здания. И в результате ее работы здания, построенные под руководством ИИ в большинстве своих характеристик при схожем бюджете превосходят характеристики зданий, построенных под руководством людей. Замечательно, у нас появились опытные данные, показывающие превосходство машины в строительном деле. Но базируется ли оно на превосходстве в понимании строительного дела? Возможны два варианта:

1.      Чтобы понять, что машина превосходит нас в понимании строительного дела, нам необходимо понять, на чем базируется это превосходство. Иными словами, нам необходимо понять понимание машиной строительства. Простые утверждения по типу: «машина разбирается лучше, потому что учитывает большее число переменных» не помогут нам, потому что большее число переменных не обязательно дает положительный результат, их еще нужно правильно использовать, но у нас нет уверенности, что машина правильно это делает, потому что мы не понимаем, каким образом она это делает. Мы можем спросить у нее. И если мы усвоили принципы, которые стоят за подходом машины к строительству и признали, что они превосходят наши принципы, то действительно мы можем утверждать, что пониманием машиной строительства превосходят наше. Однако, поняв на чем основан подход машины к строительству мы неизбежно усвоим этот подход и таким образом мы сравняемся с ней в понимании строительства.

2.      Мы принципиально никогда не сможем понять, почему подход машины к строительству лучше нашего и в чем он состоит. В таком случае подход машины будет «черным ящиком». Но есть ли у нас основания полагать, что подход машины действительно лучше нашего или подход машины «лучше нашего в первые N рассмотрений, а затем он может привести к полному провалу объекта со стороны машины, например N+1 объект развалится на наших глазах через секунду после постройки, потому что в принципах работы машины есть глубинная ошибка»? Мы не можем этого знать.

Таким образом, не понимая сути подхода машины к строительству мы не можем на основе любого числа рассмотрений говорить о его превосходстве. Машина – не законы природы, которые неизменны. Полагаясь только на опытные данные в рассмотрении ее успехов, мы можем пропустить условие, которое могло способствовать ее положительным результатам, и, когда данное условие перестанет иметь место, не сможем предсказать внезапную деградацию ее результатов. Таких «скрытых условий», способствующих успеху, может и не быть, но не понимая сути алгоритма мы не можем гарантировать их наличие или отсутствие, таким образом, не можем делать любые осмысленные рассуждения об успехах машины. Иными словами, мы можем признать скромное «построенные ранее машиной здания экономнее и лучше по качеству, чем построенные ранее человеком», но довольствуясь такой констатацией мы ничем не лучше древних людей, которые наделяли магическими свойствами стихии природы, которые они не понимали. В отличии от феноменально эффективного архитектора и проектировщика, который может объяснить свои принципы строительства и в значительной степени ликвидировать восприятие себя окружающими как «черного ящика», машина, за которой стоит непостижимый для нас механизм обучения на больших данных, если мы отвергаем (1) и признаем (2), принципиально не может так сделать.

Данное рассмотрение конкретного примера показывает абсурдность более общих утверждений, таких как «машина умнее человека». Надо признать, что в области запоминания больших массивов данных, работы с большими числами, выполнению одновременному большого числа сложных задач машины уже значительно «умнее» человека. Напротив, в вопросах понимания, если оно и наступит мы никак не сможем дать ясную оценку тому факту, что оно наступило.

Изъясняться человеко-подобным образом, проходить тест Тьюринга машины уже умеют. Но нам сейчас очевидно, что те машины, которые это делают – максимально далеки от «понимания» в человеческом смысле. И проблема даже не в том, что машина никогда не сможет понимать, проблема в том, что мы принципиально не сможем отличить «понимание» от «имитации понимания». Точно так же, как невозможно отличить правильное прохождение учебного теста на основе понимания и прохождение теста на основе шпаргалок.

Дело в том, что даже сейчас тот код, на котором обучается ИИ, он недоступен пониманию или осмыслению человека. Мы можем понимать принципы, в рамках которых он написан, но мы не можем понять, почему в конкретной ситуации машина, которая проходит по коду на основе своего обучения, действительно выбирает ответ исходя из некоего «понимания», а не по совпадению с наиболее близким ответом, вызванным наличием набора паттернов в ее дата-сете.

Разницу между описанным выше совпадением и пониманием легко осознать. Машина может отвечать правильно на набор вопросов благодаря предыдущему опыту человечества, на котором она обучена. Опыт человечества, заметим, основан на формулировании ответов на эти вопросы благодаря «пониманию», а не совпадению. Существует еще больший набор вопросов, на некоторые из которых человечество еще не ответило, но на них можно ответить благодаря операции суммирования всего совокупного человечества и правильного его комбинирования. Но существует также (теоретически) набор вопросов, на которые нельзя ответить с помощью построения вывода на основе комбинирования фактов из предыдущего опыта, либо эта комбинация нетривиальна и по тем или иным причинам недоступна для машины. В провале ответов на эти вопросы и состоит разница между ответами по «совпадению» и ответами по «пониманию». Хотя такой аргумент и относится только к GPT системам и не затрагивает general intelligence машины, существование которых теоретически не исключены, важно отметить, в чем понимания человека отличается от обученной на больших данных машины, работающей с текстами.

Вернемся к пониманию и «сильному ИИ». Чтобы понять, что машина «понимает», нам в первую очередь нужно понять, в чем состоит «понимание» у человека, какие определяющие черты у этого феномена. В научном контексте рассуждая о понимании человеком окружающего мира необходимо отталкиваться от его обусловленности биологией. Как было показано в множестве философских работ, если мы признаем биологическую основу «понимания», мы вынуждены признать, что возможны случаи, когда из-за биологических факторов за «пониманием» стоит, условно говоря набор импульсов в нейронах, который может запускаться даже в случае, когда внешний наблюдатель может признать отсутствие «понимания» в обыденном смысле. Иными словами, человеку кажется, что он понимает некий принцип, но это чувство вызвано биохимическими процессами: на самом деле принцип им не понят, а значит «биологическое» понимание не равно тому пониманию, которое мы считаем таковым с точки зрения здравого смысла.

Оценивая «понимание» ИИ фактов об этом мире, мы ориентируемся не на биологическое, а на «идейное» «понимание», которое не подлежит никакому исследованию, кроме концептуального, ведь мы не находим его внутри биологических процессов, которые следуют своей логике, основанной на совокупности законов физики. В свою очередь концептуальное исследование лишено необходимой для нас научной строгости, чтобы делать на его основании неоспоримые выводы. Строго говоря, для нас принципиально недоступна уверенность в способности нашего мышления абстрагироваться за его биологическую основу и вычленить сущность «понимания», не обусловленную набором биологических процессов. Таким образом, нам мало того, что тяжело сформулировать что есть понимание в биологическом смысле, ведь строго говоря оно часто приводит к неверным выводам, еще сложнее нам строго сформулировать что есть понимание само по себе, ведь нам как биологическим организмам оно недоступно в чистом виде. Следовательно, необходим принципиально другой анализ «понимания», не связанный с нашими интуитивными представлениями.

Другой подход, который может применяться к пониманию может быть основан на вероятностях. Человек понимает X, если 99% его утверждений о внутренних характеристиках X «истинны». Нам важны только внутренние свойства, понимаемые интуитивно, потому что иначе утверждением об человеке необходимо будет признать «человек состоит из клеток, и проблема квадратуры круга решена». Или «любое утверждение о внутренних характеристиках X будет истинным с вероятностью 99%», но такой критерий хуже, т.к. с ним невозможно работать на практике. Так что возьмем первый критерий, которым в статистике проверяют второй. Но и здесь перед нами стоит невероятная трудность. Чтобы оценить понимание искусственным интеллектом рассматриваемого X, нам необходимо оценить каждое утверждение, которое ИИ генерирует о внутренних свойствах X и оценить его истинность. Но, имея способность сделать это, получится, что мы сами поняли X не хуже, чем ИИ (после оценки утверждений ИИ о свойствах X мы можем заявить, что 100% наших утверждений о свойствах X истинно), а, следовательно, «понимание» ИИ в отношении конкретного предмета точно не выше нашего понимания. Далее осталось распространить это на все доступные предметы, и мы приходим к превосходству нашего понимания реальности над пониманием ИИ.

Получается мы приходим к тому же выводу в рамках статистического объяснения «понимания». Либо мы не можем оценить степень понимания ИИ того или иного предмета и в таком случае, делать утверждения о превосходстве бессмысленно, либо, в ходе проверки степени понимания ИИ предмета, мы сами неизбежно поймем предмет не хуже, чем его понял ИИ, а скорее всего даже лучше.

Существуют и более сильные утверждения об ИИ, например «ИИ будет способен понять такие вещи, которые человек в принципе не способен понять». Здесь все предельно просто. Если человек не способен понять X, то человек тем более не способен понять, что ИИ понял X. Допустим, X есть наукообразный текст на множество страниц, в котором множество слов и предложений нам понятно по отдельности, но общий смысл остается принципиально не понятен, и не может быть понятен в силу ограничений устройства человеческого мозга.

Зададим вопрос, почему человеку может быть непонятен X? Если X – любой сложности истинный текст, он так или иначе должен следовать из элементарных фактов. Надо признать, что уже сейчас едва ли найдется человек, который понимает сложную теорию. Например, едва ли найдется множество людей, понимающих доказательство Великой теоремы Ферма в том смысле, что они способны до самых аксиом разложить это доказательство без посторонней помощи в течение ограниченного времени, не прерываемого сном и прочими длительными отвлечениями. Тем не менее, базируясь на теоремах, доказательства которых они не всегда могут привести, люди могут утверждать, что поняли эту теорему. В таком широком смысле, когда нам не обязательно нужно доказывать каждый вспомогательный факт для понимания утверждений, может ли так оказаться, что ИИ понял X, а человек его принципиально понять не может.

Если мы нечто поняли, мы можем простыми словами это объяснить. Если мы поняли теорему, мы можем показать, как именно она следует из более простых теорем. Каким же образом ИИ мог понять данный факт, а человек его понять не может? Попробуем разобраться. Важно понимать, что понять не то же самое, что представить. Мы можем понимать множество фактов про многомерные пространства, но представить их никогда не сможем.

Допустим в разложении (сведении) X на элементарные факты существует переход, который человеческий мозг принципиально не может сделать, а искусственный интеллект может. Допустим также, что ИИ показал некоторое количество утверждений, вытекающих из X которые доступны проверке. Можем ли мы утверждать, что это свидетельствует о понимании ИИ X? Не можем, ведь если мы не поняли X, то как мы можем быть уверены, что утверждения, представленные ИИ, вытекают из X, а не используют X-образную терминологию без подлинной связи с X? Мы, проверив, сможем понять, что они истинны, но в какой связи они находятся с X мы решительно понять не сможем. Таким образом, мы не имеем оснований для утверждения «ИИ понял X».

Поставим другой популярный в дискуссиях о «сингулярности» вопрос: может ли ИИ «заменить» человека? Когда мы говорим о «замене», мы имеем в виду «использование для определенных целей». Так, машина заменила лошадь, ведь она лучше служила цели перемещения из точки А в точку B, а затем нашлись решения, которые заменяли лошадь и в других сферах. Однако, если мы внимательно присмотримся к нашей жизни, то увидим, что лошадь не подверглась полной замене. Лошади используются в цирках, зоопарках, их можно встретить в повозках в исторических городах Европы, лошади до сих пор используются в спорте, в скачках и просто для катания с целью развлечения.

Почему так? Любая «замена» объекта A объектом B подразумевает замену для определенной цели. Цели эти определяет человек и только он. Если машина будет выполнять определенную задачу лучше человека, она может заменить его как инструмент для решения этой задаче. Но может ли машина заменить человека целиком? Именно заменить человека она принципиально не может по банальной причине. Действительно, абсурдно представить себе, что даже если все задачи на земле будет выполнять ИИ, человек перестанет существовать. Ведь все эти задачи, когда мы их мыслим, они нужны только человеку. Если человека не будет, и он заменен, то не будет и задач, для которых была нужна его замена. Будут возможно другие задачи, но мы о них сказать ничего не можем.

Другой вопрос, мы можем представить как ИИ победит человека в войне за выживание на планете Земля, но такая война может зависеть не от наличия большего интеллекта, а от множества других факторов, таких как обладание ресурсами, силой и прочее. То есть если это и замещение, то совсем не того рода, как представляют фантасты, когда ИИ на наших глазах умнеет и умнеет, затем начинает в интеллекте превосходить человека и для человека просто не находится функции на земле. Представление, что для человека может не найтись функции, когда он единственный является тем, кто вкладывает какой-то смысл в понятия «функция» и «цель» (а иного мы не можем даже представить), является абсурдным.

Таким образом, стоит признать, что как на нынешнем, так и на потенциально будущем этапе развития ИИ его результаты непрерывно связаны с их интерпретацией человеком. Без этого мы имеем черный ящик, который сегодня может помочь нам построить необычное по характеристикам здание, а завтра оно разрушится. Потенциальные «фантастические» и «немыслимые» результаты ИИ сингулярности будут для нас буквально бесполезны, так как мы никак не сможем их интерпретировать или оценить. Ровно как мы и не сможем оценить или зафиксировать сам факт наступления сингулярности если рассматривать ее как превосходство понимания ИИ пониманию человека в некоторых вещах или способности ИИ понимать вещи, которые человек не способен понять.

ИИ может быть хорошим помощником и ускорить наш путь к пониманию устройства, природы этого мира, но если мы думаем, что он заменит нас и станет умнее, это бессмысленно, потому что у нас не может быть критериев оценки данных фактов. Если мы понимаем под умом не способность одновременно оперировать большим числом фактов или нечто подобное, а принципиально другой тип понимания и рассуждения о вещах, которые человек не может даже представить, то утверждать, что «ИИ рассуждает о вещи, который человек не может представить» то же самое что утверждать «ИИ не рассуждает о вещи, которую человек не может представить» или «ИИ рассуждает о том, что в принципе не имеет смысла и является ничем большим, чем набором символов» — и то, и другое для нас непостижимо и, более-менее является пустым множеством, у нас нет критериев, чтобы отделить одно от другого.

Michael GREENZAID