Руководство пользователя для GNU Awk

Оглавление

Приложение A. Обзор gawk

• A.1 Обзор параметров командной строки
• A.2 Обзор языка
• A.3 Переменные и поля
  • A.3.1 Поля
  • A.3.2 Встроенные переменные
  • A.3.3 Массивы
  • A.3.4 Типы данных
• A.4 Образцы
  • A.4.1 Обзор образцов
  • A.4.2 Регулярные выражения
• A.5 Действия
  • A.5.1 Операторы
  • A.5.2 Операторы управления
  • A.5.3 Операторы ввода/вывода
  • A.5.4 Обзор оператора printf
  • A.5.5 Специальные файловые имена
  • A.5.6 Встроенные функции
  • A.5.7 Функции службы времени
  • A.5.8 Константы-цепочки
• A.6 Функции, определяемые пользователем
• A.7 Сведения из истории

Настоящее приложение содержит краткий обзор командной строки gawk и языка awk. Он предназначен для "быстрых справок." Изложение сжатое, но полное.

A.1 Обзор параметров командной строки

Командная строка содержит параметры самой gawk, программный текст awk (если не используется параметр `-f'), и значения для установки в предопределенных awk-переменных ARGC и ARGV:

gawk [POSIX or GNU style options] -f source-file [--] file ...
gawk [POSIX or GNU style options] [--] 'program' file ...

параметры, которые принимает gawk, следующие:

Использовать fs как разделитель входных полей (значение предопределенной переменной FS).

Читать исходную awk-программу из файла program-file, а не из первого аргумента командной строки.

-mf NNN -mr NNN Флажок `f' определяет максимальное количество полей, а флажок `r'--- максимальный размер записи. gawk игнорирует эти параметры, так как он не имеет предопределенных пределов; они нужны только для совместимости с Bell Labs research версией Unix awk.

-v var=val --присваивание assign var=val Присвоить переменной var значение val до начала исполнения программы.

-W traditional -W compat --traditional --compat Использовать режим совместимости, в котором расширения gawk не действуют.

Напечатать короткую версию Общей Публичной лицензии на стандартном выводе и прекратить выполнение программы. Этот параметр может быть исключен из будущих версий gawk.

Напечатать короткий обзор доступных параметров стандартного вывода и прекратить работу.

Выдавать предупреждения о сомнительных и непереносимых конструкциях awk.

Предупреждать о конструкциях, которые недоступны в оригинальной версии awk 7 Unix.

Использовать POSIX-совместимый режим, в котором отсутствуют расширения gawk и применяются дополнительные ограничения.

Допускаются интервальные выражения (см. раздел 4.3 [Операторы регулярных выражений], стр. 26), в regexps.

Использовать программный текст как исходный текст awk-программы. Параметр позволяет смешивать код из командной строки с исходным кодом из файлов. Это особенно полезно для смешивания программ в командной строке с библиотечными функциями.

Напечатать информацию о версии используемой копии gawk на выходе для ошибок.

-- Сигнал о конце параметров. Полезен для разрешения дальнейшим аргументам самой awk-программы начинаться с `-'. Он нужен в основном для согласования с POSIX-конвенцией об анализе аргументов.

Все остальные аргументы отмечаются как неверные и игнорируются. См. детали в разделе 14.1 [Параметры командной строки], стр.161.

A.2 Обзор языка

awk-программа состоит из последовательности 0 или более операторов формы образец-действие и необязательных определений функций. В операторах образец - действия либо образец либо действие могут отсутствовать:

pattern - action statements ""
  ...
pattern - action statements ""
function name(parameter list) - action statements ""

gawk сначала читает исходную программу из программного файла или файлов, если таковые имеются, или из первого аргумента (не параметра) командной строки. Параметр `-f' может быть использован в командной строке много раз. gawk читает программный текст из всех программных файлов, соединяя его части в порядке указания файлов. Это полезно для построения библиотек awk-функций, позволяя не включать их в каждую новую awk-программу, которая их использует. Чтобы воспользоваться библиотечной функцией в файле из программы, напечатанной в командной строке, нужно указать `--source 'program'' и впечатать вашу программу между простыми кавычками. См. раздел 14.1 [Параметры командной строки], стр. 161.

Переменная окружения AWKPATH содержит путь поиска для нахождения исходных файлов, указанных с параметром `-f'. По умолчанию используется путь `.:/usr/local/share/awk' *1*, если AWKPATH не установлен. Если имя файла, указанного в параметре `-f', содержит символ `/',путь поиска не используется. См. раздел 14.3 [Переменная окружения AWKPATH], стр. 166.

gawk компилирует программу во внутреннюю форму, и затем продолжает читать каждый файл, названный в массиве ARGV. Начальные значения ARGV берутся из аргументов командной строки. Если файлы в командной строке не указаны, gawk читает стандартный ввод.

Если "file", названный в командной строке имеет форму `var=val', он рассматривается как присваивание переменной: переменная var получает значение val. Если какой-нибудь из файлов имеет значение пустой строки, этот элемент в списке пропускается.

Каждую запись во вводе gawk проверяет на соответствие всем образцам в awk-программе. Для каждого образца, соответствующего записи, выполняется связанное с ним действие.

A.3 Переменные и поля

Переменные в awk не объявляются; они начинают существовать при первом их использовании. Их значениями могут быть или числа с плавающей точкой, или цепочки.

1 Путь может использовать каталоги, отличные от `/usr/local/share/awk', в зависимости от того, как gawk построен и установлен.

awk также имеет одномерные массивы; многомерные массивы могут моделироваться. Имеются несколько предопределенных переменных, которым awk присваивает значения, когда программа запускается; они перечисляются ниже.

A.3.1 Поля

Как только очередная входная строка прочтена, gawk разделяет ее на поля, используя значение в переменной FS как разделитель полей. Если FS есть один символ, поля разделяются этим символом. В противном случае ожидается, что FS есть полное регулярное выражение. В специальном случае, когда FS есть один пробел, поля разделяются группами пробелов, символов tab и/или символами newlin.*2* Если FS есть пустая строка (""), то каждый отдельный символ в записи считается отдельным полем. Заметим, что значение IGNORECASE (см. раздел 4.5 [Чувствительность к регистру при соответствии], стр. 33) также влияет на то, как разделяются поля, если FS есть регулярное выражение.

На каждое поле введенной строки можно ссылаться по ее позиции, $1, $2, и т.д. $0 означает всю строку. Значение поля можно также присваивать переменным. Номера полей не обязательно константы:

печатает пятое поле прочтенной строки. Переменная NF имеет значение количества полей в введенной строке. Ссылка на несуществующие поля (т.е. поля после $NF) дает пустое значение. Однако, присваивание несуществующему полю (например, $(NF+2) = 5) увеличивает значение NF, создает дополнительные поля с пустым значением и пере вычисляет значение $0 с полями, разделенными значением OFS. Уменьшение NF приводит к потере полей с номерами, большими чем новое значение и пере вычислению $0 с полями, разделенными значением OFS. См. главу 5 [Чтение входных файлов], стр. 37.

A.3.2 Встроенные переменные

gawk имеет следующие встроенные переменные: ARGC Количество элементов в ARGV. (Что такое ARGV, см. ниже).

ARGIND Индекс в ARGV текущего обработанного файла. Когда gawk обрабатывает входные файлы с данными, то всегда выражение `FILENAME == ARGV[ARGIND]' имеет значение true.

ARGV Массив аргументов командной строки. Массив индексируется от 0 до ARGC \Gamma 1. Динамическое изменение ARGC

2 В POSIX awk newline не разделяет поля.

и содержимое ARGV могут управлять файлами с данными. Элементы с пустыми значениями в ARGV игнорируются. ARGV не содержит параметров для awk или текста самой awk-программы.

CONVFMT Формат конверсии, используемый при переводе чисел в цепочки.

FIELDWIDTHS Разделенный пробелами список чисел, описывающий входные данные фиксированной ширины.

ENVIRON Массив значений переменных окружения. Массив индексирован именами переменных, каждый элемент имеет значение соответствующей переменной. Так, переменная окружения HOME есть ENVIRON["HOME"]. Одно из возможных значений может быть `/home/arnold'. Изменения этого массива не воздействуют на окружение, видимое программами, которые порождает gawk через перенаправление или функцию system. (Это может быть изменено в будущих версиях gawk.)

Некоторые операционные системы не имеют переменных окружения. Массив ENVIRON остается пустым при исполнении на таких системах.

ERRNO Системное сообщение об ошибке, когда происходит ошибка при использовании getline или close.

FILENAME Имя текущего входного файла. Если в командной строке файлы не указаны, значение FILENAME есть пустая цепочка.

FNR Номер входной записи в текущем входном файле.

FS Разделитель входных полей, по умолчанию пробел.

IGNORECASE Флажок чувствительности к регистру для сравнения цепочек и операций с регулярными выражениями. Если IGNORECASE имеет ненулевое значение, то при определении соответствия образцов в правилах, при разделении записей с RS, разделении полей с FS, в соответствиях регулярных выражений с `~' и `!~', в встроенных функциях gensub, gsub, index, match, split sub игнорируется регистр в операциях с регулярными выражениями и в сравнениях цепочек. Значение IGNORECASE не влияет на индексирование массивов.

NF     Количество полей в текущей входной записи.
NR     Общее количество входных записей, обнаруженных к настоящему моменту.
OFMT   Выходной формат чисел в операторах печати, "%.6g" по умолчанию.
OFS    Разделитель выходных полей, пробел по умолчанию.
ORS    Разделитель выходных записей, newline по умолчанию.

RS Разделитель входных записей, по умолчанию newline. Если RS имеет значение пустой цепочки, то записи разделяются пустыми строками. Если RS имеет значение пустой цепочки, то символ newline постоянно действует как разделитель полей, в дополнение к любому значению, которое может иметь FS. Если RS получило значение много символьной цепочки, оно означает regexp; входной текст, соответствующий regexp, разделяет записи

RT Входной текст, соответствующий тексту, обозначенному с помощью RS, разделитель записей.

RSTART Индекс первого символа в последнем соответствии; ноль, если соответствие не найдено.

RLENGTH Длина цепочки в последнем найденном соответствии; \Gamma 1 если соответствия нет.

SUBSEP Цепочка, используемая для разделения кратных индексов в элементах массивов, по умолчанию ""034". См. главу 10 [Встроенные переменные], стр. 115, о подробностях.

A.3.3 Массивы

Массивы индексируются выражениями в квадратных скобках (`[' и `]'). Индексы массивов всегда цепочки; числа превращаются в цепочки, если нужно, по стандартным правилам конверсии (см. раздел 7.4 [Конверсии цепочек и чисел], стр. 81).

Если используются кратные индексы, т.е. выражения, разделенные запятыми, внутри квадратных скобок, то индекс элемента массива есть конкатенация значений отдельных индексов, превращенных в цепочки и разделенных разделителем индексов (значением SUBSEP).

Специальный оператор in может использоваться в условном контексте для определения того, есть ли в массиве элемент с данным индексом:

if (val in array)
print array[val]

Если массив имеет кратные индексы, используйте `(i, j, ...) in array' для проверки, есть ли такой элемент в массиве.

Конструкция in может также использоваться в цикле for для итераций по всем элементам массива. См. раздел 11.5 [Сканирование всех элементов массива], стр. 127.

Можно удалить элемент из массива с помощью оператора delete. Можно очистить весь массив, выполнив `delete array'. См. главу 11 [Массивы в awk], стр.123.

A.3.4 Типы данных

Значение выражения в awk всегда или число или цепочка. Некоторые контексты (такие как арифметические операторы) требуют числовые значения. Они конвертируют цепочки в числа, интерпретируя текст цепочки как число. Если цепочка не похожа на число, она конвертируется в 0.

Другие контексты (такие как конкатенация) требуют в качестве значения цепочки. Они конвертируют числа в цепочки, фактически печатая их по sprintf. См. детали в разделе 7.4 [Конверсии цепочек и чисел], стр. 81.

Чтобы вызвать конверсию значения-цепочки в число, достаточно добавить к нему 0. Если это значение уже было числом, оно не изменится.

Чтобы вызвать конверсию числа в цепочку, достаточно приписать к нему пустую цепочку.

Сравнения производится численно, если оба операнда числа или один есть число, а другой есть цепочка-число. В других случаях один или оба операнда конвертируются в цепочки и происходит сравнение цепочек. Поля, ввод по getline, FILENAME, элементы ARGV, элементы ENVIRON и элементы массива, образованные по split, являются единственно объектами, которые могут быть числовыми цепочками. Строковые константы, такие как "3.1415927", не являются численными цепочками, они есть строковые константы. Полные правила сравнения описаны в разделе 7.10 [Типы переменных и сравнение выражений], стр. 88.

Неинициализированные переменные имеют значение цепочки "" (нулевая или пустая цепочка). В контексте, требующем число, это эквивалент нуля. См. подробности о наименовании и инициализации переменных в разделе 7.3 [Переменные], стр. 79; см. раздел 7.4 [Конверсии цепочек и чисел], стр. 81, о том как интерпретируются значения переменных.

A.4 Образцы

awk-программы большей частью составлены из правил, каждое состоит из образца и следующего за ним действия. Действие заключено между n `-' и `""'. В этой паре может отсутствовать либо образец, либо действие, но не оба вместе. Если нет образца, действие выполняется для всякой входной записи. Отсутствие действия эквивалентно `- print ""', который печатает целую строку.

Комментарии начинаются с символа `#' и продолжаются до конца строки. пустые строки могут использоваться для разделения операторов. Операторы нормально кончаются символом newline; однако, это не так в случае строк, заканчивающихся символами `,', `-', `?', `:', `&&' или `----'. Строки, оканчивающиеся на do или else, также автоматически продолжают свои операторы на следующую строку. В остальных случаях строка может быть продолжена посредством окончания ее на `"', и в этом случае newline игнорируется.

Несколько операторов могут располагаться в одной строке, если они разделены символами `;'. Это применимо как к операторам внутри действия правила, так и к самим операторам правил.

См. разделе 2.2.5 [Комментарии в awk-программах], стр. 13, для информации о соглашениях awk относительно комментариев; см. раздел 2.6 [Операторы awk и строки], стр. 17, с описание механизма продолжения строк в awk.

A.4.1 Обзор образцов

Образцом в awk может быть одно из следующих:
 /регулярное выражение/;
 относительные выражения видов:
 pattern && pattern
 pattern ---- pattern
 ! pattern
 ? pattern : pattern (pattern);
 диапазон pattern1, pattern2
 BEGIN
 END

BEGIN и END есть два специальных рода образцов, которые сопоставляются с вводом. Действия всех правил BEGIN сцепляются как если бы операторы были написаны в одном правиле BEGIN. Они выполняются до начала чтения ввода. Подобным же образом соединяются все правила END и выполняются после завершения ввода (или когда выполняется оператор exit). Образцы BEGIN и END не могут комбинироваться с другими образцами в выражениях pattern. В правилах BEGIN и END действия не могут быть пропущены.

Для образца вида /regular-expression/ связанный с ним оператор выполняется для каждой входной записи, которая соответствует регулярному выражению. Регулярные выражения кратко охарактеризованы ниже.

Относительное выражение может использовать любой оператор, описанный ниже в разделе о действиях. В общем случае оно проверяет соответствие определенных полей определенным регулярным выражениям.

Операторы `&&', `----' и `!' есть соответственно логическое "и", логическое "или" и логическое "нет", аналогично языку Си. Они делают короткозамкнутые оценки как и в Си, и используются для выражений-образцов. Как и в большинстве языков, скобки могут использоваться для изменения порядка действий.

Оператор `?:' подобен такому же оператору в Си. Если первый образец соответствует, то второй образец проверяется на соответствие входной записи; в противном случае проверяется на соответствие третий образец. Окончательно соответствовать записи может только второй или третий образец.

Образец вида `pattern1, pattern2' называется диапазонным образцом. Он соответствует всем входным записям, начиная с записи, отвечающей образцу pattern1, и кончая включительно записью, отвечающей образцу pattern2. См. раздел 8.1 [Элементы-образцы], стр. 97.

A.4.2 Регулярные выражения

Регулярные выражения (для краткости regexp) основываются на POSIX EREs (расширенные регулярные выражения). Управляющие последовательности, допустимые в константах-цепочках, также действительны в регулярных выражениях (см. раздел 4.2 [Управляющие последовательности], стр. 24). Regexps составляются из символов подобно следующему:

c соответствует символу c (предполагается , что с не совпадает ни с одним из перечисленных ниже символов).

"c соответствует буквально символу c. . соответствует любому символу, включая newline. В строгом режиме POSIX `.' не соответствует пустому символу, состоящему только из нулевых битов.

^ соответствует началу цепочки.
$ соответствует концу цепочки.

[abc...] соответствует любому из символов abc . . . (список символов). [[:class:]] соответствует любому символу из класса class.

Допускаются следующие классы:

alnum, alpha, blank, cntrl, digit, graph, lower, print, punct, space, upper, xdigit.

[[.symbol.]] соответствует много символьному collating symbol символу. gawk не поддерживает collating symbols (упорядочивающие символы). [[=classname=]] соответствует любому из эквивалентных символов в текущем локально названном по эквивалентности классе.

В настоящее время gawk не поддерживает классы эквивалентности. [^abc...] соответствует любому символу кроме abc . . . (список отрицаемых символов).

r1--r2 соответствует либо  r1 либо r2 (альтернатива).
r1r2 соответствует сначала r1, а затем r2 (конкатенация).
r+ соответствует одному или более соседних r.
r* соответствует нулю или более соседних r.
r? соответствует ни одному или  одному r.
(r) соответствует  r (группировка).

r-n"" r-n,"" r-n,m"" отвечают количествам вхождений г соответственно не меньше чем n, n или больше до некоторого номера, от n до m (интервальные выражения).

"y  Соответствует пустой цепочке в начале или конце слова.

"B  Соответствует пустой цепочке  внутри слова.
"!  Соответствует пустой цепочке в начале слова.
"?  Соответствует пустой цепочке в конце слова.
"w  Соответствует любому символу, могущему входить в состав слова 
	(буква, цифра и подчеркивание).
"W  Соответствует любому символу, не могущему входить в состав слова.
"`  Соответствует пустой цепочке в начале буфера 
	(то же самое, что цепочка в gawk).
"'  Соответствует пустой цепочке в конце буфера.

Различные параметры командной строки управляют интерпретацией gawk символов в regexps.

По умолчанию gawk обеспечивает все средства POSIX regexps и GNU regexp операторов, описанных выше. Однако, интервальные выражения не поддерживаются.

--posix Поддерживаются только POSIX regexps, операторы GNU не являются специальными (например, `"w' соответствует литералу `w'). Допускаются интервальные выражения.

--traditional Соответствует традиционным Unix awk regexps. Операторы GNU не являются специальными. Интервальные выражения не допускаются, также как символьные классы POSIX ([[:alnum:]] и прочие). Символы, описываемые восьмеричными и шестнадцатеричными управляющими последовательностями трактуются буквально, даже если они представляют метасимволы regexp.

--re-interval Допускаются интервальные выражения в regexps, даже если был указан `--traditional'. См. главу 4 [Регулярные выражения], стр. 23.