Русский против ВИСКИ

Антоний Великий говорил: «Наступят последние времена, когда девять больных придут к одному здоровому и скажут: ты болен, потому что ты не такой, как мы».

И тогда здоровый возьмёт скамейку для приёма здоровых гостей, и покажет больным, кто здесь здоровый. Не надо додумывать этому рассказу печальный конца, преподобный Антоний не говорил, что эта будущая встреча закончится плохо для здорового. Скамейка в наших руках, и мы не будем их опускать.

Давайте поговорим об американском стандарте кодов и описании знаков системой единиц Матрёшка.

1.    Отряд знак

Знаки - это четвертый отряд единиц языка, наименьшая из единиц и основа  языка программы - азбука языка.

(Рисунок можно открыть отдельно в полный рост.)

Стандартное представление знаков настолько необычно, что здоровый человек может усомниться в своём ли он уме. Собственно, на это оно и рассчитано - заставить программиста отказаться от здравого смысла и перейти на другую сторону - к абстрактному мышлению, не привязанному к предметам, а только к числам.

2.    Американский стандарт кодов ВИСКИ

Стандартное представление знаков - это американский стандарт кодов интернационального обмена - сокращенно АСКИ, для лучшего запоминания - ВИСКИ.

На первый взгляд, этот стандарт принимали сильно пьющие люди. Знаки перепутаны в нём самым невероятным образом, и вы начинаете искать в этой путаница систему, чтобы понять её смысл. Ну не могут люди настолько всё перепутать, и не взаправду же они были пьяными.

Пьяными не были, по крайней мере, не от виски, а перепутать могли и даже были обязаны.

Разгадка путаницы находится в названии стандарта - "стандарт кодов", а не "стандарт знаков". 

Перед нами азбука языка не здорового человека, но математика, который хочет оборвать естественные связи мышления с настоящими предметами, и создать новые связи с абстрактными числами. Поэтому порядок оставлен только для чисел знаков, или кодов, и разрушен для самих знаков.

Слово код (латинское - "доска", "запись") имеет два связанных смысла - это:

1) знак в определенной системе, и 

2) тайный знак для непосвященных в эту систему.

Математики навязывают программистам свою особую систему записи, которая должна оставаться тайной для непосвященных. Эта система называется кодированием, и она касается как описания языка, так и способа записи программы.

Если вы не находите таблицу ВИСКИ странной, то вы готовы войти "в матрицу", в кроличьею нору, в систему абстрактного мышления.

Если вы считаете таблицу ВИСКИ нормальной, то вы уже там, "в Зазеркалье", и находитесь  в чужом уме.

Если вы тоже находите ВИСКИ странным, тогда поздравляю, Алиса, ты в своём уме.

Но во всех случаях наши действия будут одинаковыми. Мы продолжаем честно описывать сам язык, а не чьи-то представления о нём.

Итак, рассмотрим знакоряд системно.

3.    Знакоряд системно

Отряд знак - это  наименьшая единица записи и основное средство передачи сведений. 

"Передача сведений" - это основа деления знаков.

За основу взята консольная передача сведений. Консольная, или соначальная, программа  представляет из себя простой "телетайп" - соединение двух пишущих машинок, которые передавали друг другу сведения только через знаки. "Машинка" программиста печатает знаки, которые появляютсь "на бумаге" у пользователя (на экране), "машинка" пользователя (клавиатура) печатает знаки, которые появляются "на бумаге" у программиста (в ячейках памяти).

И да, программистам, рожденным до 1980 года, было хорошо знакомо устройство пишмашинки, они легко его воображали. Поэтому дальнейшее описание знаков для них было естественным. Ну, а более поздним поколениям придётся поднапрячь воображение.

Деление знаков повторяло устройство пишмашинки и состоит из трёх подотрядов:

1. знак печатный  - основной печатный знак "машинки"
2. знак управляющий - управляющий знак "машинки"
3. знак расширенный - дополнительный печатный или управляющий знак "расширенной машинки"

Печатный подотряд состоит из 4 родов знаков:

1. Знак числа - десять знаков
2. Знак латиницы - два вида: прописной и строчный - 26 и 26 - 52 знака
3. Знак действия - 4 вида - 15 знаков
4. Знак препинания - тоже 4 вида - 17 знаков

Всего 94 знака.

Некоторые знаки препинания одновременно являются знаками действия, но каждый знак считается один раз.

4.    Управляющие знаки

Перейдём ко второму подотряду - управляющие знаки.

Они начинаются со знака пробел.

Мы не зря сказали про пишущие машинки. В пишмаш клавиша пробел - это не печатный, а управляющий знак, который переводит каретку (ролик с бумагой) в новое положение правее, тем самым оставляя на бумаге пробел. Поэтому пробел - это не печатный знак, также как и табуляция, и возврат каретки, и перевод строки.

А ещё у печатных машинок была клавиша "назад", которая возвращала каретку на один знак назад, левее. И пользователь мог запечатать одну букву другой буквой, но не знаком пробел.

В консольных программах это уже изменилось: пробел запечатывает прежде напечатанный знак. То есть в программе пробел - это скорее печатный знак, только не ясно, какого рода - не число, не латиница, не действие и не препинание.

Поэтому деление на печатные и управляющие знаки определяется именно устоявшимся логикой пишущих машинок, а не бурно развивающейся логикой ранних программы.

Управляющие знаки делятся на три вида:

1. строковый - управляющий записью строки, это 5 знаков, необходимых для всех программ со строками: пробел, табуляция, перевод строки (картеки) , возврат каретки и конец строки
2. соначальный - управляющий только соначальными (консольными) программами, в том числе 1) знак назад, 2) знак клавиши отказ (escape) и 3) звуковой знак, знак гудка - всего три знака.
3. и системный - управляющий системными задачами.

Говорить о системных знаках бессмысленно без обсуждения самих системных программ, в которых они используются, а это очень закрытые и очень старые программы. Поэтому мы приводим название этих знаков, но бледно-серым цветом, как в целом бесполезные.

Однако важно знать общее число управляющих знаков  - 34, и следовательно системных знаков - 26.

В сумме 94 + 34 дают 128 - ровно половина  байта - основной единицы размера ячейки памяти. И скоро мы объясним, почему это важно.

5.    Расширенные знаки

Теперь переходим к подотряду расширенных знаков и объясним его странное название. 

Подотряд расширенный знак делятся на два рода:

1. буквенный - это буквы всех алфавитов, кроме латиницы: русский, греческий, арабский, грузинский и так далее. Огромное число знаков.
2. и всячный -  это знаки типографские, математические, табличные - для рисования рабмок таблицы, или псевдографика, смешные рожицы и так далее. Число всячных знаков поменьше, чем буквенных, но тоже немалое.

В настоящее время для записи знаков принята восьмеричная система юникод - UTF-8 - восемь байтов на запись одного знака. При такой размере ячейки запись любого числа знаков -  не вопрос, каждый знак получает своё собственное число.

Кстати, восьмеричную систему  Юникод разработал наш добрый знакомый Кен Томпсон -  создатель системы Юникс и нашей учебной программы Полёт. Но только в 1992 году, а распространилась она лишь в начале 2000-х.

А предшествующие 50 лет действовала другая система записи - единичная, один байт на один знак, дающая возможность записи только 256 знаков.

Первая половина чисел байта - числа 0-127 - были отведены под основные знаки: печатные и управляющие. 

Вторая половина байта - числа 128-255 - под расширенные знаки.

Здесь мы снова обращаемся к устройству пишмашинки.

В основном машинки были одноязычными, вы печатали текст на основном языке, в случае программы - на латинском, и если вам был нужен другой язык, то вы брали другую машинку, вставляли в неё свой лист, и допечатывали нужные знаки - русские, греческие, арабские, типографские, математические, псевдографику и так далее.

Единичный знакоряд предоставлял как бы расширенную машинку, которая давала возможность работы сразу с двумя азбуками, например, латинской и  русской. Откуда и слегка странное название подотряда - расширенный.  Точнее было бы сказать дополнительный, или допечатный. Но это историческое деление, основанное на соначальных программах и пишмашинках.  Пусть так и остаётся.

Для показа или приёма знаков третьего языка, например,  греческого, необходимо сменить основной знакоряд  на знакоряд греческого языка.

Таким образом, получилось большое количество знакорядов для разных языков, всякой всячины и разных операционных систем.

Во времена системы Доса, в консольные времена, были востребованы знаки рисования таблицы - так называемая псевдографика. Во времена виндус, когда появились графические программы с произвольными линиями, таблицы перестали рисовать знаками, и единичный знакоряд дополнили разные типографские знаки. Правда, идущие в запутанном порядке. И здесь мы возвращаемся к американскому так называемому стандарту.

Давайте бросим последний взгляд на знакоряд здорового человека. Все знаки имеют разумные числа, ноль - это 0, один - это 1, Прописная А - это 10, F - это 15, как и принято в шестнадцатиричной системе исчисления, знаки действия и препинания идут по порядку, управляющие знаки тоже. Красота - это порядок.

6.    ВИСКИ в цвете

Теперь вернём на экран американский стандарт виски.

Для понимания его запутанности выделим цветом однородные знаки.

Так смотреть стало ещё больнее. Буквально, "правда глаза колет".

Виски не рассчитан на выделение родов знаков, он переключает внимание на стройный ряд кодов, которые здесь записаны перед знаками. 

Для математиков абстрактные числа - всё, любые настоящие предметы, в том числе знаки - ничто.

Также для математиков свойственно расстройство числовой навязчивости, известное как ОКР. В случае кодов оно выражено зависимостью от разных степеней числа 2: 16, 32, 64.

Это сектантская навязчивость, идущая ещё от Пифагора, который запрещал своим ученикам наступать на стыки плит, приказывал считать некоторые числа хорошими, а некоторые плохими, и запрещал собираться больше, чем одно число, которое мы нарочно не вспоминаем, как заразное суеверие.

У ВИСКИ заметно деление знакоряда по 16 - русские  буквы записаны кусками по 16 в ДОС, и кусками по 32 в Виндус, с выносом вовне 33-ей буквы 'ё'.

Но самое печальное, что знаки русских букв в двух знакорядах имеют совершенно разные места и числа, что приводит к путанице в работе с ними. И если обычный стандарт уже достаточно запутан, компания Микрософт дополнительно переставила русские буквы местами - это её фирменный почерк: переворачивать привычный порядок, не меняя предмет по сути.

Это путаница имеет практическое последствие. Для передачи русских сообщений, а не кракозябр, надо дополнительно указывать знакоряд Виндус - 1251.

Завершаем описание знаков показом системного знакоряда со стандартными числами виски.

7.    Знакоряд с числами «ВИСКИ»

Современные программы обрабатывают знаки со стандартными числами, и от этого никуда не уйти. Но никто не мешает программистам смотреть на знакоряд в упорядоченном виде, в первую очередь на знаки, а уже потом на их беспорядочные числа.

Числа знаков напрямую использовать приходится не часто, так что путаницу в них можно и потерпеть.

И верить, что в будущем "пьяный" американский стандарт кодов будет заменен на трезвый русский знакоряд.

Как когда-то микенское письмо сменило минойское, а греческое - минойское, латинское - греческое. История продолжается.

Порядок в знаках мы установили. Можно опустить скамейку, присесть и отдохнуть.