Интернационализация

с развитием глобального рынка интернационализация стала играть более важную роль в разработке программного обеспечения. По этой причине в стандартную библиотеку С++ были включены средства написания локализованного кода. В основном они связаны с вводом-выводом и обработкой строк. Этим средствам и посвящена данная глава. Большое спасибо Дитмару Кюлю (Dietmar Kuhl), эксперту в области ввода-вывода и средств интернационализации стандартной библиотеки С++, - он написал большую часть этой главы.

Стандартная библиотека С++ предоставляет общие средства поддержки национальных стандартов без привязки к конкретным системам и правилам. Например, строки не ограничиваются конкретным типом символов, чтобы обеспечить поддержку 16-разрядных азиатских кодировок символов. При интернационализации программ должны учитываться следующие обстоятельства.

О Разные кодировки символов обладают разными свойствами. Для работы с ними необходимы гибкие решения практических вопросов, например, что считать буквой или, еще хуже, какой тип должен использоваться для представления символов. Тип char не подходит для кодировок, содержащих более 256 символов.

О Пользователь рассчитывает, что применяемая им программа соответствует национальным и культурным стандартам (например, при форматировании денежных величин, чисел и логических значений).

В обоих случаях стандартная библиотека С++ предоставляет соответствующие средства.

Основной механизм интернационализации основан на использовании объекта локального контекста. Локальный контекст (locale) отражает расширяемый набор правил, адаптируемых для конкретных национальных стандартов. Локальные контексты уже применялись в языке С. В стандарте С++ этот механизм был обобщен и стал более гибким. Механизм локальных контекстов С++ может использоваться для выполнения любых настроек в зависимости от рабочей среды или предпочтений пользователя. Например, его можно расширить так, чтобы он учитывал единицы измерения, часовые пояса, стандартный размер бумаги и т. д.

Многие механизмы интернационализации практически не требуют дополнительной работы со стороны программиста. Например, в потоковом механизме ввода-вывода С++ числовые данные форматируются по правилам локального контекста. Программисту остается лишь позаботиться о том, чтобы классы потоков данных для ввода-вывода учитывали предпочтения пользователя.

Наряду с автоматическим использованием программист может напрямую обращаться к объектам локального контекста для форматирования, классификации символов и т. д. Некоторые средства интернационализации, поддерживаемые стандартной библиотекой С++, не требуются самой библиотеке - программисты должны вызывать эти функции в своих программах. Например, в стандартной библиотеке С++ не определены потоковые функции для форматирования времени, даты или денежрплх величин. Чтобы выполнить такое форматирование, необходимо вызвать соответствующую функцию (например, из пользовательского потокового оператора для вывода объектов денежных величин).

Интернационализация строк и потоков данных основана на концепции трактовок символов. Трактовки определяют базовые свойства и операции, зависящие от кодировки (такие, как признак «конца файла» или функции сравнения, присваивания и копирования строк).

Классы интернационализации были включены в стандарт относительно поздно. Хотя общий механизм чрезвычайно гибок, он нуждается в некоторой доработке. Например, функции контекстного сравнения строк (то есть сравнения строк с учетом правил локального контекста) используют только итераторы типа const charT*, где charT* - некоторый тип символов. Хотя с очень большой вероятностью в классе basic string<charT> задействуется именно этот тип итератора, это вовсе не гарантировано. Следовательно, не гарантировано и то, что строковые итераторы могут передаваться в аргументах функций контекстного сравнения строк. С другой стороны, результат вызова функции data() класса basic string может передаваться функциям контекстного сравнения.

Различия в кодировках символов

Одна из проблем, решаемых средствами интернационализации - поддержка разных кодировок символов. Эта проблема характерна в основном для Азии, где для представления символов используются разные кодировки. Как правило, в таких кодировках для кодирования каждого символа приходится задействовать более 8 бит, поэтому обработка текста требует новых концепций и функций.

Расширенные и многобайтовые кодировки

Существуют два основных принципа определершя кодировок, содержащих более 256 символов: многобайтовое и расширенное гфедставления.

О В многобайтовых кодировках символы представляются переменным количеством байтов. За однобайтовым символом (например, символом из кодировки ISO Latin-1) может следовать трехбайтовый символ (японский иероглиф).

О В расширенных кодировках символ всегда представляется постоянным количеством байтов независимо от его типа. В типичных кодировках символ представляется величиной 2 или 4 байта. На концептуальном уровне такие кодировки не отличаются от представлений, в которых для локальных контекстов, где достаточно кодировки ISO Latin-1 или даже ASCII, используется однобайтовая кодировка.

Многобайтовое представление более компактно по сравнению с расширенным, поэтому для хранения данных вне программ обычно применяется многобайтовое представление. И наоборот, с символами фиксированного размера гораздо удобнее работать, поэтому в программах обычно используется расширенное представление.

В ISO C+-f, как и в ISO С, используется тип wchar t для расширенных кодировок. С другой стороны, в С++ wchar t является ключевым словом, а не определением типа, что позволяет перегружать все функции с этим типом.

В многобайтовой строке один и тот же байт может представлять целый символ или его часть. В процессе перебора содержимого многобайтовой строки каждый байт интерпретируется согласно текущему «состоянию сдвига». В зависимости от значения байта и текущего состояния сдвига байт может представлять символ или изменение состояния сдвига. Многобайтовая строка всегда начинается с определенного исходного состояния сдвига. Например, в исходном состоянии байты могут представлять символы ISO Latin-1 до тех пор, пока не будет обнаружен специальный символ перехода. Символ, следующий за ним, определяет новое состояние сдвига. Допустим, в новом состоянии сдвига байты могут интерпретироваться как арабские символы до тех пор, пока не будет обнаружен следующий символ перехода.

Преобразование между кодировками символов осуществляется при помощи шаблона codecvto (см. с. 689). Этот класс используется в основном классом basic filebuf<> (см. с. 602) для преобразования между внутренними и внешними представлениями. В стандарте С++ многобайтовые кодировки символов не оговариваются, но в нем предусмотрена запись состояния сдвига. У функций класса codecvto имеется аргумент, в котором может храниться произвольное состояние строки. Кроме того, класс поддерживает функцию для определения последовательности символов, используемой для возврата к исходному состоянию сдвига.

Трактовки символов

Различия в кодировках существенны для обработки строк и ввода-вывода. Например, признак «конца файла» и конкретные особенности сравнения символов могут различаться в зависимости от реализации.

Предполагается, что строковые и потоковые классы будут специализироваться встроенными типами, прежде всего char и wchar t. Интерфейс встроенных типов должен оставаться неизменным, поэтому информация о разных аспектах представления символов выделяется в )тдельный класс - так называемый тсласс трактовок символов. Он передается строковым и потоковым классам в аргументе