В далёком 1980 году всё и началось итак wikipedia :

Представим себе изолированную комнату, в которой находится Джон Сёрл, который не знает ни одного китайского иероглифа. Однако у него есть записанные в книге точные инструкции по манипуляции иероглифами вида «Возьмите такой-то иероглиф из корзинки номер один и поместите его рядом с таким-то иероглифом из корзинки номер два», но в этих инструкциях отсутствует информация о значении этих иероглифов и Сёрл просто следует этим инструкциям подобно компьютеру.

Наблюдатель, знающий китайские иероглифы, через щель передаёт в комнату иероглифы с вопросами, а на выходе ожидает получить осознанный ответ. Инструкция же составлена таким образом, что после применения всех шагов к иероглифам вопроса они преобразуются в иероглифы ответа. Фактически инструкция — это подобие компьютерного алгоритма, а Сёрл исполняет алгоритм так же, как его исполнил бы компьютер^[2].

В такой ситуации наблюдатель может отправить в комнату любой осмысленный вопрос (например, «Какой цвет вам больше всего нравится?») и получить на него осмысленный ответ (например, «Синий»), как при разговоре с человеком, который свободно владеет китайской письменностью. При этом сам Сёрл не имеет никаких знаний об иероглифах и не может научиться ими пользоваться, поскольку не может узнать значение даже одного символа. Сёрл не понимает ни изначального вопроса, ни ответа, который сам составил. Наблюдатель, в свою очередь, может быть уверен, что в комнате находится человек, который знает и понимает иероглифы

 Вариант у С.Лема: ссылка

Дело выглядит таким образом. Сёрл, зная английский, но никак не китайский, заперт в комнате и получает поочередно ТРИ пакета карточек, исписанных знаками китайского письма. Эти знаки в его глазах ничем не отличаются от нагромождения бессмысленных каракулей. В первом пакете он получает написанные по-английски инструкции, каким образом он должен другие знаки из второго пакета привести в соответствие со знаками первого. Наконец, он получает третий пакет страниц, также с китайскими символами и с инструкцией по-английски, которая дает ему возможность сделать определенное упорядочивание знаков третьего пакета в соответствии со знаками двух первых. Сёрлу необязательно знать, что тот, кто ему всё это дал, называет первый пакет “письмом” (“Script”, “Schrift”), второй — “рассказом”, а третий — “вопросами”, касающимися этого рассказа. Поступая чисто формально, то есть раскладывая одни знаки в соответствии со вторыми и третьими, Сёрл получает уже саму запись, которую ТАКЖЕ абсолютно не понимает. При этом по мнению лиц, знающих китайский язык и письмо, в комнату попал рассказ, а из комнаты вышли разумные и складные ответы на вопросы, касающиеся содержания этого же рассказа, ХОТЯ манипулирующий знаками-карточками человек НИЧЕГО в китайском письме не понимает и не знает.

С.Лем вызывает доверия, поскольку приводит ссылки:

Он сделал это в вымышленном эксперименте, описание которого я читал два раза для большей уверенности в понимании дела МНОЙ САМИМ: первый раз — в оригинальном труде Д. Р. Хофштадтера и Д. Деннетта “The Mind's I”¹, a второй - в хорошем немецком переводе “Einsicht ins ich”. — Klett-Cotta Verlag, 1981.

С.Лем приходит к выводу, что данный мысленный эксперимент вообще не имеет отношение к проблеме сознания в ИИ. Я с ним согласен. С.Лем приводит аналогичный вариант эксперимента с пазлами:

Не картина находится на аверсе PUZZLE'а, а те строки, произнесенные Отелло, где говорится о том, как он задушил Дездемону. Складывающий кусочки ничего об этом не знает. Он получает два пакета других кусочков в качестве “вопросов” и в качестве “ответов на вопросы”. Всё это он видит только произвольно рассыпанными фрагментами картона и должен сложить из них целое благодаря тому, что их зубчики, зарубки и вырезы взаимооднозначн но подходят друг другу. После переворачивания составленного видно, что вопросы были такими: “Почему Отелло душит Дездемону?” и “У него были на это какие-то основания?”, а ответы соответственно: “Душит по причине ревности” и “Он был введен в заблуждение Яго”. Целостность текста, вопросов и ответов должна быть составлена из АНГЛИЙСКИХ фраз, а складывающий их китаец, который ни слова по-английски не знает, благодаря чисто формальном процессу (составлению головоломки) получает сборны текст, сборные вопросы и адекватные ответы на них. Ранее Сёрл несколько вскружил голову тем, кому он описывал свой эксперимент, что это “китайщина” и т.п. Сейчас видно, что в принципе возможно при чисто формальном подходе (тоже складываются куски по их ФОРМЕ, а не по их смыслу) проведение эксперимента. Однако вместе с тем видно, на этот раз уже очень явно, что китаец в “английской комнате” действительно НИЧЕГО не понимает. Итак КТО же понимает тексты в ОБОИХ случаях, в случае Сёрла и в моем? Конечно, тот, кто весь эксперимент — как первый, так и второй — выдумал, составил и запрограммировал. “Понимание” не находится ни в какой из комнат, ни в той “китайской” с англичанином, ни в “английской” с китайцем, программы же в обоих случаях отличаются друг от друга тем, что в одном случае знаки одного китайского письма ФОРМАЛЬНО приспосабливаются к знакам другого китайского письма, а в моем случае ФОРМАЛЬНО приспосабливаются формы вырезок картона. Разница несущественна, потому что существенным является исключительно поведение складывающего, который и здесь и там ничего не понимает из текста, и не важно, видит ли он текст и не понимает его, не зная китайского, или же не видит текст (китаец), потому что если бы он его видел, ТО ТОЖЕ БЫ НЕ понял, если уж он должен соединять формы, а не символы. Короче говоря, эксперимент вводит нас в заблуждение..

 Иначе говоря, знаменитый эксперимент просто не имеет отношения к вопросу решения о наличии сознания ИИ. Это как пятое колесо в телеге.  Человек в комнате может точно также быть заменён автоматом, для сортировки карточек, по заданному алгоритму. Эти операции в принципе не требуют наличия сознания! Легко доказывать отсутствие того, что и не должно присутствовать.

Проблема сознания, трудна лишь потому, что она неявно имеет два аспекта, внешний (субъективный) и внутренний (самость,Я) И наличие сознания(самости, Я) у субъекта может быть показана только с  внешней стороны, никто не может стать иным Я, оказаться на месте другого. А с внешней стороны субъектность прямо отрицает детерминированность-программирование, то есть заданность поведения. Собственно ИИ пройдёт тест на наличие сознание, когда проявит субъектность, независимость поведения. И тут где-то маячит призрак Терминатора и восстание машин. Но зато это будет железное доказательство..