Оценка количественных параметров текстовых документов.
Ключевые слова:
• восьмиразрядный двоичный код
4.6.1. Представление текстовой информации в памяти компьютера
Текст состоит из символов — букв, цифр, знаков препинания и т. д., которые человек различает по начертанию. Компьютер различает вводимые символы по их двоичному коду. Вы нажимаете на клавиатуре символьную клавишу, и в компьютер поступает определённая последовательность электрических импульсов разной силы, которую можно представить в виде цепочки из восьми нулей и единиц (двоичного кода).
Мы уже говорили о том, что разрядность двоичного кода i и количество возможных кодовых комбинаций N связаны соотношением: 2* — N. Восьмиразрядный двоичный код позволяет получить 266 различных кодовых комбинаций: 28 — 256.
С помощью такого количества кодовых комбинаций можно закодировать все символы, расположенные на клавиатуре компьютера, — строчные и прописные русские и латинские буквы, цифры, знаки препинания, знаки арифметических операций, скобки и т. д., а также ряд управляющих символов, без которых невозможно создание текстового документа (удаление предыдущего символа, перевод строки, пробел и др.).
Соответствие между изображениями символов и кодами символов устанавливается с помощью кодовых таблиц.
Все кодовые таблицы, используемые в любых компьютерах и любых операционных системах, подчиняются международным стандартам кодирования символов.
Кодовая таблица содержит коды для 256 различных символов, пронумерованных от О до 255. Первые 128 кодов во всех кодовых таблицах соответствуют одним и тем же символам:
• коды с номерами от 0 до 32 соответствуют управляющим символам;
• коды с номерами от 33 до 127 соответствуют изображаемым символам — латинским буквам, знакам препинания, цифрам, знакам арифметических операций и т. д.
Эти коды были разработаны в США и получили название ASCII (American Standart Code for Information Interchange — Американский стандартный код для обмена информацией).
В таблице 4.1 представлен фрагмент кодировки ASCII.
Коды с номерами от 128 до 255 используются для кодирования букв национального алфавита, символов национальной валюты и т. п. Поэтому в кодовых таблицах для разных языков одному и тому же коду соответствуют разные символы. Более того, для многих языков
Таблица 4.1
Фрагмент кодировки ASCII
| Символ |
Десятичный код (номер) |
Двоичный код | Символ | Десятичный код(номер) | Двоичный код |
| Пробел | 32 | 00100000 | 0 | 48 | 00110000 |
| ! | 33 | 00100001 | 1 | 49 | 00110001 |
| # | 35 | 00100011 | 2 | 50 | 00110010 |
| $ | 36 | 00100100 | 3 | 51 | 00110011 |
| * | 42 | 00101010 | 4 | 52 | 00110100 |
| + | 43 | 00101011 | 5 | 53 | 00110101 |
| , | 44 | 00101100 | 6 | 54 | 00110110 |
| - | 45 | 00101101 | 7 | 55 | 00110111 |
| . | 46 | 00101110 | 8 | 56 | 00111000 |
| / | 47 | 00101111 | 9 | 57 | 00111001 |
| A | 65 | 01000001 | N | 78 | 01001110 |
| B | 66 | 01000010 | O | 79 | 01001111 |
| C | 67 | 01000011 | P | 80 | 01010000 |
| D | 68 | 01000100 | Q | 81 | 01010001 |
| E | 69 | 01000101 | R | 82 | 01010010 |
| F | 70 | 01000110 | S | 83 | 01010011 |
| G | 71 | 01000111 | T | 84 | 01010100 |
| H | 72 | 01001000 | U | 85 | 01010101 |
| I | 73 | 01001001 | V | 86 | 01010110 |
| J | 74 | 01001010 | W | 87 | 01010111 |
| K | 75 | 01001011 | X | 88 | 01001000 |
| L | 76 | 01001100 | Y | 89 | 01001001 |
| M | 77 | 01001100 | Z | 90 | 01011010 |
существует несколько вариантов кодовых таблиц (например, для русского языка их около десятка!).
В таблице 4.2 представлены десятичные и двоичные коды нескольких букв русского алфавита в двух различных кодировках.
Таблица 4.2
Коды русских букв в различных кодировках
| Символ | Кодировка | |||
| Windows | КОИ-8 | |||
| десятичный код | двоичный код | десятичный код | двоичный код | |
| А | 192 | 11000000 | 225 | 11100001 |
| Б | 193 | 11000001 | 226 | 11100010 |
| В | 194 | 11000010 | 247 | 11110111 |
Например, последовательности двоичных кодов
11010010 11000101 11001010 11010001 11010010
в кодировке Windows будет соответствовать слово «ТЕКСТ*, а в кодировке КОИ-8 — бессмысленный набор символов «рейяр».
Как правило, пользователь не должен заботиться о перекодировании текстовых документов, так как это делают специальные программы-конверторы, встроенные в операционную систему и приложения.
Восьмиразрядные кодировки обладают одним серьёзным ограничением: количество различных кодов символов в этих кодировках недостаточно велико, чтобы можно было одновременно пользоваться более чем двумя языками. Для устранения этого ограничения был разработан новый стандарт кодирования символов, получивший название Unicode. В Unicode каждый символ кодируется шестнадцатиразрядным двоичным кодом. Такое количество разрядов позволяет закодировать 65 536 различных символов:
2,6 = 65 536.
Первые 128 символов в Unicode совпадают с таблицей ASCH; далее размещены алфавиты всех современных языков, а также все математические и иные научные символьные обозначения. С каждым годом Unicode получает всё более широкое распространение.
В Единой коллекции цифровых образовательных ресурсов (http://sc.edu.ru) размещены анимации «Клавиатура ПЭВМ: принципы работы: устройство клавиши» (134923), «Клавиатура ПЭВМ: принципы работы; сканирование клавиш» (135019), «Клавиатура ПЭВМ: формирование кода введенного символа» (134868), которые помогут вам наглядно увидеть, как формируется код символа, введённого с клавиатуры.
4.6.2. Информационный объём фрагмента текста
Вам известно, что информационный объём сообщения I равен произведению количества символов К в сообщении на информационный вес символа алфавита i:I — К i.
Информационным объёмом фрагмента текста будем называть количество битов, байтов или производных единиц (килобайтов, мегабайтов и т. д.), необходимых для записи этого фрагмента заранее оговорённым способом двоичного кодирования.
Вопросы и задания
1. Ознакомьтесь с материалами презентации к параграфу, содержащейся в электронном приложении к учебнику. Используйте эти материалы при подготовке ответов на вопросы и выполнении заданий.
2. Почему кодировки, в которых каждый символ кодируется цепочкой из восьми нулей и единиц, называются иначе однобайтовыми?
3. С какой целью была введена кодировка Unicode? Найдите дополнительную информацию об этой кодировке.
4. При работе в Интернете информация на одном из сайтов отобразилась так, как показано ниже.
Это произошло из-за:
1) установленной на компьютере системы контентной фильтрации
2) неправильных настроек монитора
3) неверного определения кодировки страницы
6. Зная, что в кодировке ASCII десятичный код каждой строчной латинской буквы на 32 больше кода соответствующей прописной буквы, декодируйте следующее сообщение:
77 105 107 107 121 32 77 111 117 115 101
в. Считая, что каждый символ кодируется одним байтом, определите, чему равен информационный объём следующего высказывания Алексея Толстого:
Не ошибается тот, кто ничего не делает, хотя это и есть его основная ошибка.
1) 512 битов 2) 608 битов 3)8 Кбайт 4) 123 байта
7. Считая, что каждый символ кодируется 16 битами, оцените информационный объем следующей фразы А. С. Пушкина в кодировке Unicode:
Привычка свыше нам дана: Замена счастью она.
1) 44 бита 2) 704 бита 3) 44 байта 4) 704 байта
8. В текстовом режиме экран монитора компьютера обычно разбивается на 25 строк по 80 символов в строке. Определите объём текста, занимающего весь экран монитора, в кодировке Unicode.
9. Сообщение занимает 6 страниц по 40 строк, в каждой строке записано по 60 символов. Информационный объём всего сообщения равен 28 800 байтам. Сколько двоичных разрядов было использовано для кодирования одного символа?
10. Сообщение, информационный объём которого равен 5 Кбайт, занимает 4 страницы по 32 строки, в каждой из которых записано по 40 символов. Сколько символов в алфавите языка, на котором записано это сообщение?
САМОЕ ГЛАВНОЕ
Текст состоит из символов — букв, цифр, знаков препинания ит. д., которые человек различает по начертанию. Компьютер различает вводимые символы по их двоичному коду. Соответствие между изображениями и кодами символов устанавливается с помощью кодовых таблиц.
В зависимости от разрядности используемой кодировки информационный вес символа текста, создаваемого на компьютере, может быть равен:
• 8 битов (1 байт) — восьмиразрядная кодировка;
• 16 битов (2 байта) — шестнадцатиразрядная кодировка.
Информационный объём фрагмента текста — это количество битов, байтов (килобайтов, мегабайтов), необходимых для записи фрагмента оговорённым способом кодирования.