Руководство пользователя для GNU Awk

2. Начало awk

• 2.1 Роза под другим именем
• 2.2 Как выполнять awk-программу
  • 2.2.1 Одноразовые awk-программы
  • 2.2.2 Выполнение awk без входных файлов
  • 2.2.3 Выполнение длинных программ
  • 2.2.4 Исполнимые awk-программы
  • 2.2.5 Комментарии в awk-программах
• 2.3 Очень простой пример
• 2.4 Пример с двумя правилами
• 2.5 Более сложный пример
• 2.6 awk-операторы и строки
• 2.7 Другие свойства awk
• 2.8 Когда употреблять awk

Начальные сведения об awk

Основной функцией awk является поиск в файлах строк (или других единиц текста), имеющих определенную форму. Если строка соответствует одной из форм, awk предпринимает указанные действия над этой строкой. awk продолжает такую обработку входных строк, пока не достигнет конца входных файлов.

Программы awk отличаются от программ на других языках тем, что они управляются данными; то есть, вы описываете данные, подлежащие обработке, и что с ними нужно делать, когда они будут найдены. Большинство других языков являются процедурными; вы должны описать в деталях каждый шаг программы. При работе с процедурными языками обычно труднее всего ясно описать данные, которые ваша программа должна обработать. По этой причине часто awk-программы гораздо легче и писать и понимать.

Когда вы используете awk, вы пишите awk-программу, которая сообщает интерпретатору awk, что нужно делать. Программа состоит из последовательности правил. (Она может содержать также определения функций, продвинутое свойство, которое мы пока будем игнорировать. См. Гл. 13 [Функции, определяемые пользователем], стр. 153.) Каждое правило указывает одну форму для поиска и одно действие над найденной частью данных. Синтаксически, одно правило состоит из образца и следующего за ним действия. Действие заключено в фигурные скобки для отделения его от образца. Правила обычно разделяются переходами к новой строке. Поэтому awk-программа выглядит подобно следующему:

2.1 Роза под любым другим именем

Язык awk разрабатывался несколько лет. Полностью этот процесс описан в Гл. 17 [Развитие языка awk], стр.253. На описанный в книге язык ссылаются часто как на "новый awk." На многих системах имеются разные версии языка. Некоторые системы имеют интерпретатор awk, реализующий начальную версию языка и средства awk для новой версии. Другие имеют oawk для "старого awk" и простой awk для новой версии. Третьи имеют только одну версию, обычно новую.

Все это делает трудным для вас узнать, какой версией вы будете пользоваться при исполнении программы, которую пишете. Лучший совет, который вы можем здесь вам дать --- изучите вашу местную документацию. Ищите awk, oawk и nawk, а также gawk. Возможно, вы имеете какую-нибудь версию нового awk на вашей системе. Часто эти системы используют gawk для своей реализации awk, и именно это вы должны иметь ввиду для исполнения ваших программ. (Конечно, если вы читаете эту книгу, шансы достаточно велики, что вы имеете gawk!)

Повсюду в этой книге, где бы мы не ссылались на свойства, которые должны быть в любой полной реализации POSIX awk, мы просто употребляем термин awk. Когда мы ссылаемся на свойства, специфичные для реализации GNU, мы употребляем термин gawk.

2.2 Как запускать awk-программы

Имеются несколько путей для запуска awk-программ. Если программа короткая, проще всего включить ее в команду выполнения awk, подобно следующему:

где программа состоит из последовательности образцов и действий, как говорилось выше. (причина одиночных кавычек объясняется ниже, в разделе 2.2.1) [Короткие разовые awk-программы], стр. 10.

Если программа длинная, обычно удобнее записать ее в файл и выполнять по такой команде:

2.2.1 Короткие разовые awk-ппрограммы

Если вы хорошо знакомы с awk, вы часто печатаете простые программы в момент, когда хотите использовать их. Тогда вы пишите программу как первый аргумент команды awk:

где программа состоит из ряда образцов и действий, как упоминалось выше. Команда такого формата приказывает оболочке, или командному процессору, запустить awk и использовать программу для обработки входного файла (файлов). Программа заключена в одиночные кавычки, так как оболочка не должна интерпретировать символы awk как специальные символы оболочки. Кавычки также побуждают оболочку трактовать всю программу как единый аргумент для awk и позволяют программе быть длиннее одной строки. Этот формат также удобен для выполнения коротких или средне длинных awk-программ из сценариев оболочки, так как это позволяет избежать отдельного файла для awk-программы. Самостоятельный оболочечный сценарий более надежен, так как нет других файлов, которые могут привести к недоразумению.

Гл. 3 [Полезные однострочные программы], стр. 21, предлагает несколько коротких самостоятельных программ.

Между прочим, команда

awk '/foo/' files ...

по существу то же самое как

egrep foo files ...

2.2.2 Выполнение awk без входных файлов

Вы можете выполнять awk без всяких входных файлов. Если напечатать командную строку:

то awk обратится к программе стандартного ввода, которая обычно означает то, что вы печатаете на терминале. Это продолжается, пока вы не укажете end-of-file, напечатав Control-d. (В других операционных системах end-of-file может быть другим символом. Например, в OS/2 и MS-DOS, это Control-z.)

Например, следующая программа печатает дружественный совет (из книги Douglas Adams Руководство для путешествующего автостопом по Галактике) воздерживаться от жалоб на сложности компьютерного программирования (со свойством `BEGIN' мы еще не знакомы).

$ awk "BEGIN - print ""Don't Panic!"" """
a Don't Panic!

Эта программа не требует никакого ввода. `"' перед каждой внутренней двойной кавычкой необходимо вследствие оболочечных правил для кавычек, в частности потому, что они смешивают ординарные и двойные кавычки.

Следующая простая awk-программа эмулирует средство cat; она копирует все, что вы печатаете на клавиатуре, на стандартный выход. (Как это происходит, будет вскоре пояснено.)

$ awk '- print ""'

Now is the time for all good men

a Now is the time for all good men to come to the aid of their country.

a to come to the aid of their country. Four score and seven years ago, ...

a Four score and seven years ago, ... What, me worry?

a What, me worry? Control-d

2.2.3 Выполнение длинных программ

Иногда ваша awk-программа получается очень длинной. В таком случае удобно размещать ее в отдельном файле. Приказать awk использовать этот файл в качестве программы можно, напечатав:

`-f' побуждает интерпретатор awk извлекать awk-программу из файла source-file. Любое файловое имя может использоваться в качестве source-file. Например, можно поместить программу:

BEGIN - print "Don't Panic!" ""

в файл  `advice'. Тогда такая команда:

awk -f advice

сделает то же, что и следующая:

awk "BEGIN - print ""Don't Panic!"" """

что было объяснено ранее (см. раздел 2.2.2 [выполнение awk без входных файлов], стр. 11). Заметим, что вам обычно не нужны одиночные кавычки вокруг имени файла, который вы специфицируете как `-f', потому что большинство файловых имен не содержит специальных символов оболочки. Заметьте, что в `advice' awk-программа не заключена в одиночные кавычки. Они нужны только для программ, которые вставляются в командную строку awk.

Если вы хотите явно именовать ваши awk программные файлы как таковые, можно добавить расширение `.awk' к имени файла. Это не влияет на исполнение программы, облегчая понимание ее конструкции.

2.2.4 Исполнимые awk-программы

Если вы познакомились с awk, вы можете захотеть писать самостоятельные сценарии awk, используя сценарный механизм `#!'. Это можно делать на многих Unix systems2 (и впоследствии и на системах GNU). Например, можно модернизировать файл `advice' так:

#! /bin/awk -f
BEGIN - print "Don't Panic!" ""

Сделав этот файл исполнимым (с помощью утилиты chmod), можно просто напечатать `advice' для командного процессора, и система выполнит awk так, как и в случае `awk -f advice':

$ advice

a Don't Panic!

Механизм `#!' работает на системах Linux, системах Unix, происходящих от Berkeley Unix, на системах V Release 4, и некоторых System V Release 3. Строка с началом `#!' определяет полное имя файла интерпретатора, который нужно запустить, и возможный начальный аргумент командной строки для передачи этому интерпретатору. Затем операционная система запускает интерпретатор с этим аргументом и полным списком аргументов исполняемой программы. Первый аргумент в списке - есть полное файловое имя awk-программы. Остальные аргументы списка --- или параметры awk, или файлы с данными, или и то и другое.

Внимание: нельзя помещать более одного аргумента в строке `#!' после пути к awk. Это не будет работать: операционная система рассматривает остаток строки как один аргумент и передает его awk. Это может вызвать непредсказуемые последствия, обычно некоторую диагностику от awk.

Некоторые старые системы не имеют механизма `#!'. Подобный ему эффект можно получить, используя регулярный сценарий оболочки. Он может выглядеть подобно следующему:

Используя эту технику, необходимо заключать программу в одиночные кавычки, чтобы защитить ее от интерпретации оболочкой. Если кавычки опустить, то только эксперт по оболочке может предсказать результат.

"$@" побуждает оболочку передать все аргументы командной строки программе awk, без интерпретации. Первая строка, которая начинается с двоеточия, используется так, что этот сценарий оболочки будет работать даже если вызван пользователем, который использует оболочку Си. (Не все, но многие старые системы следуют этому правилу.)

2.2.5 Комментарии в awk-программах

Комментарий --- это текст, включаемый в программу только для читателя-человека. Он не является частью программы. Комментарий поясняет, что программа делает и как она работает. Почти все программные языки имеют возможность комментария, так как программы обычно трудно понять без его помощи. В программах awk комментарий начинается со знака `#',и продолжается до конца строки. `#' не обязан быть первым символом в строке. Язык awk игнорирует остаток строки после него. Например, мы можем включит следующий текст в `advice':

# Эта программа печатает забавное дружеское сообщение. Оно помогает
# пользователям-новичкам не бояться компьютера.
BEGIN - print "Don't Panic!" ""

Строчки комментария можно помещать также в формируемую клавиатурой одноразовую awk-программу, но это обычно приносит мало пользы; комментарий предназначен помогать вам или другим пользователям понимать программу потом.

Внимание: Как говорилось в разделе 2.2.1 [Короткие одноразовые программы], стр. 10, вы можете заключать короткие и средне длинные программы в одиночные кавычки, чтобы сделать самостоятельными ваши сценарии оболочки. Поступая так, не употребляйте апостроф (то есть одиночную кавычку) в комментарии (или в других местах вашей программы). Оболочка будет интерпретировать кавычку как завершающую кавычку всей программы. В результате этого оболочка напечатает сообщение о несоответствии кавычек, а если awk уже исполняется, она напечатает непонятное сообщение о синтаксических ошибках.

 Например:

awk 'BEGIN - print "hello" "" # let's be cute'

2.3 Очень простой пример

Следующая команда выполняет простую awk-программу, которая ищет во входном файле `BBS-list' цепочки символов `foo'. (Цепочка символов (string) обычно называется цепочкой. Этот термин происходит от английских наименований типа "цепочка жемчужин" или "цепочка вагонов в поезде.")

Когда находятся строки, содержащие `foo', они печатаются, потому что `print $0' означает печать текущей строки. (Просто `print' означает то же самое, так что можно написать его вместо print $0.)

Заметьте, что слеши `/' окружают цепочку `foo' в awk-программе. Слеши указывают, что `foo' есть образец для поиска. Этот тип образца называется регулярным выражением и объясняется в деталях ниже (см. Гл. 4 [Регулярные Выражения], стр. 23). Образец позволяет различать части слов. Awk-программы заключаются в одиночные кавычки, так что оболочка не будет рассматривать слеши как специальные символы оболочки.

Вот что напечатает наша программа:

$ awk '/foo/ - print $0 ""' BBS-list

a fooey 555-1234 2400/1200/300 B a foot 555-6699 1200/300 B a macfoo 555-6480
1200/300 A a sabafoo 555-2127 1200/300 C

В правиле awk могут быть опущены либо образец, либо действие, но не оба вместе. Если опущен образец, действие выполняется для каждой входной строки. Если опущено действие, действием по умолчанию является печать всех строк, соответствующих образцу.

Таким образом, мы можем опустить действие (оператор печати и фигурные скобки) в предыдущем примере, а результат останется прежним: все строчки с образцом `foo' будут напечатаны. Если же мы опустим оператор печати, но оставим фигурные скобки, то это будет означать пустое действие и ничего не будет напечатано.

2.4 Пример с двумя правилами

Интерпретатор awk читает входные файлы построчно. К каждой строке применяются образцы всех правил. Если строке соответствуют несколько образцов, соответствующие действия выполняются в порядке, в котором они фигурируют в программе awk. Если входной строке не соответствует ни один образец, никакие действия не выполняются. После обработки всех правил (возможно никаких), соответствующих строке, интерпретатор читает следующую строку (однако, см. раздел 9.7 [Следующий оператор], стр. 111, и также раздел 9.8 [Оператор nextfile], стр. 112). Это продолжается до достижения конца файла.

Например, awk-программа:

/12/ - print $0 "" /21/ - print $0 ""

содержит два правила. Образец первого правила есть цепочка `12', а действие `print $0'. Второе правило имеет образец `21' и действием тоже `print $0'. Каждое правило заключено в свою собственную пару скобок.

Эта программа печатает каждую строку, содержащую цепочку `12' или цепочку `21'. Если строка содержит обе цепочки, она печатается дважды, один раз по каждому правилу. Вот что будет, если мы выполним эту программу на наих двух файлах с данными, `BBS-list' и `inventory-shipped':

$ awk '/12/ - print $0 "" ? /21/ - print $0 ""' BBS-list inventory-shipped
a aardvark 555-5553 1200/300 B a alpo-net 555-3412 2400/1200/300 A a barfly
555-7685 1200/300 A a bites 555-1675 2400/1200/300 A a core 555-2912 1200/300
C a fooey 555-1234 2400/1200/300 B a foot 555-6699 1200/300 B a macfoo 555-6480
1200/300 A a sdace 555-3430 2400/1200/300 A a sabafoo 555-2127 1200/300 C
a sabafoo 555-2127 1200/300 C a Jan 21 36 64 620 a Apr 21 70 74 514

2.5 Более сложный пример

Приведем пример, который дает представление о том, что делают обычные программы awk. Этот пример показывает, как можно использовать awk для суммирования, отбора и перестройки выхода от других программных средств. В нем используются еще не рассмотренные возможности awk, так что не смущайтесь, если вам не все детали будут понятны.

ls -lg -- awk '$6 == "Nov" - sum += $5 ""
END - print sum ""'

Эта программа печатает общее количество байтов во всех файлах текущего каталога, которые в последний раз модифицировались в Ноябре (любого года). (В оболочке Си вам нужно напечатать двоеточие и затем обратный слеш в конце первой строки; в POSIX-подчиненной оболочке, такой как Bourne shell или Bash, GNU Bourne-Again shell пример можно печатать, как показано.)

Часть `ls -lg' этого примера есть системная команда, которая выдает список файлов в каталоге, включающий размеры файлов и даты их последнего изменения. Ее выход выглядит так:

-rw-r--r-- 1 arnold user 1933 Nov 7 13:05 Makefile -rw-r--r-- 1 arnold user
10809 Nov 7 13:03 gawk.h -rw-r--r-- 1 arnold user 983 Apr 13 12:14 gawk.tab.h
-rw-r--r-- 1 arnold user 31869 Jun 15 12:20 gawk.y -rw-r--r-- 1 arnold user
22414 Nov 7 13:03 gawk1.c -rw-r--r-- 1 arnold user 37455 Nov 7 13:03 gawk2.
c -rw-r--r-- 1 arnold user 27511 Dec 9 13:07 gawk3.c -rw-r--r-- 1 arnold user
7989 Nov 7 13:03 gawk4.c

Первое поле содержит написанный красным допуск, второе поле содержит количество связей к файлу, третье идентифицирует владельца файла. Четвертое поле указывает группу файла, пятое содержит его размер в байтах. Шестое, седьмое и восьмое содержат соответственно месяц, день и время последней модификации файла. Наконец, девятое поле содержит имя файла.

`$6 == "Nov"' в нашей awk-программе есть выражение, которое проверяет, соответствует ли шестое поле выхода от `ls -lg' цепочке `Nov'. Каждый раз, когда строка имеет цепочку `Nov' своим шестым полем, выполняется действие `sum += $5'. Оно добавляет пятое поле (размер файла) к переменной sum. В результате, когда awk окончит чтение всех входных строк, sum будет содержать сумму всех длин файлов, строки которых соответствуют образцу. (Так будет, потому что все переменные awk автоматически инициализируются нулем.)

После того, как будет обработана последняя строка выхода от ls, выполняется правило END и печатается значение sum. В нашем примере это будет 80600. Использованная здесь более сложная awk-техника объясняется дальше (см. раздел 8.2 [Обзор действий], стр 102). Прежде чем переходить к более сложному awk-программированию, вы должны узнать, как awk обрабатывает ваш ввод и выдает ваш выход. Манипулируя полями и используя операторы печати, вы можете получать очень полезные и впечатляюще выглядящие отчеты.

2.6 awk операторы над строками

Чаще всего каждая строка в awk-программе есть отдельный оператор или отдельное правило, подобно следующему:

awk '/12/ - print $0 ""

/21/ - print $0 ""' BBS-list inventory-shipped

Однако,  gawk игнорирует переходы к новой строке после каждого из следующих
слов
, - ? : ---- &&

и делает newline в каждой точке, рассматриваемой как конец оператора. (Расщепление строк после `?' и `:' есть простейшее расширение gawk. Упомянутые здесь `?' и `:' есть трехоперандные условные выражения, описанные в разделе 7.12 [Условные выражения], стр. 92.) Если вы хотите расщепить единый оператор на две строки в точке, где переход к новой строке означал бы его конец, нужно продолжить его, закончив первую строку символом обратного слеш, `"'. Обратный слеш должен быть последним символом строки, чтобы быть распознанным как символ продолжения. Это разрешается абсолютно везде в операторе, даже внутри цепочки или регулярного выражения.

Например:

awk '/This regular expression is too long, so continue it"

on the next line/ - print $1 ""'

Мы, вообще говоря, не употребляем продолжения обратным слешем в примерах программ в этой книге. Поскольку в gawk нет ограничений на длину строки, это необязательно; но это облегчает чтение программы. По этой причине и для ясности мы ограничиваемся обычно короткими операторами в примерах программ, приведенных в книге. Продолжение через обратный слеш наиболее полезно, когда ваша awk-программа находится в отдельном исходном файле, а не печатается в командной строке. Надо также отметить, что многие реализации awk чувствительны к местам продолжения с помощью обратного слеш. Например, они могут не разрешать разрезать таким образом строковые константы. Поэтому, в целях максимальной переносимости ваших awk-программ, лучше не разрезать регулярные выражения или цепочки.

Внимание: продолжение с обратным слеш не работает, как описано выше, с оболочкой Си. Продолжение с обратным слеш работает в awk-программах в файлах и также в коротких программах при условии использования POSIX-подчиненной оболочки, такой как Bourne shell или Bash, GNU Bourne-Again shell. Но Си-оболочка (csh) ведет себя не так! Там вы должны взять два обратных слеш подряд и переход к новой строке. Заметим также, что при использовании Си-оболочки каждая newline в вашей awk-программе должна заканчиваться обратным слешем.

 Например:

% awk 'BEGIN - " ? print "" ? "hello, world" "
? ""'
a hello, world

Здесь `%' and `?' есть первичная и вторичная подсказки Си-оболочки, аналогичные стандартным `$' и `?'.

awk представляет собой строко-ориентированный язык. Каждое действие правила должно начинаться на той же строке, что и образец. Чтобы иметь образец и действие в разных строках, нужно использовать продолжение обратным слешем, другого пути для этого нет.

Заметим, что продолжение обратным слешем и комментарии нельзя смешивать. Каждый `#' для awk есть начало комментария, он игнорирует остаток строки.

Например:

$ gawk 'BEGIN - print "dont panic" # a friendly " ? BEGIN rule ? ""'

error gawk: cmd. line:2: BEGIN rule error gawk: cmd. line:2: ^ parse error

Здесь кажется, что обратный слеш продолжает комментарий на следующую строку. Однако, комбинация обратный слеш-новая строка не замечается, так как относится к комментарию. Поэтому `BEGIN' отмечается как синтаксическая ошибка.

Когда awk-операторы в пределах одного правила коротки, вы можете разместить их более одного в строке. Для этого операторы разделяются точками с запятой `;'. Это также приложимо к самим правилам. Так, предыдущая программа может быть написана в форме:

/12/ - print $0 "" ; /21/ - print $0 ""

ЗАМЕЧАНИЕ: требование разделять правила в одной и той же строке двоеточиями отсутствовало в оригинальном языке awk; оно было добавлено для совместимости с трактовкой операторов внутри одного действия.

2.7 Другие особенности awk

Язык awk обеспечивает несколько предопределенных, или встроенных, переменных, которые ваша программа может использовать для получения и обработки информации от awk. Имеются и другие переменные, которые ваша программа может установить для контроля за тем, как awk обрабатывает ваши данные.

Вдобавок, awk имеет некоторое количество встроенных функций для обеспечения общих вычислительных и строковых операций. При развитии наших представлений о языке awk мы введем большинство переменных и многие из функций. Все они систематически определены в Гл. 10 [Встроенные переменные], стр. 115 и Гл. 12 [Встроенные функции], стр. 135.

2.8 Когда использовать awk

Вы можете удивиться, насколько awk может быть полезен для вас. Используя утилиты, сложные образцы, разделители полей, арифметические операторы, критерии отбора, вы можете получить гораздо более сложный результат. Язык awk очень полезен для получения отчетов о больших количествах сырых данных, таких как обобщение информации, полученной от других утилит, подобных ls. (См. раздел 2.5 [Более сложный пример], стр. 15.)

Программы, написанные средствами awk, обычно много короче программ, написанных на других языках. Это делает awk-программы легко составляемыми и используемыми. Часто они составляются прямо на терминале, используются один раз и затем забываются. Поскольку awk-программы интерпретируются, вы избегаете (обычно длинного) этапа компиляции в обычном цикле редактирование-компиляция- тестирование-отладка при создании программного обеспечения.

Сложные программы пишутся на awk с использованием полного настраиваемого ассемблера для восьмибитовых микропроцессоров (см. детали в Appendix D [Глоссарий], стр. 301) и ассемблера микрокода для Prolog-компьютеров специального назначения. Однако, возможности awk не всегда достаточны для задач большой сложности. Если вам приходится писать сценарии awk длиной более чем, скажем, несколько сот строк, следует попробовать воспользоваться другим программным языком. Например, использовать Emacs Lisp, если вам необходимо употреблять запутанные строки и сложные образцы. Командный процессор также может помочь с цепочками и соответствием образцов; кроме того, он позволяет полностью использовать системные утилиты. Более распространенные языки, такие как C, C++ и Lisp, предоставляют возможности для системного программирования и преодоления сложности больших программ. Программы на этих языках могут иметь больше строк входного кода, чем эквивалентные awk-программы, но их легче поддерживать и обычно работают они более эффективно.