Руководство пользователя для GNU Awk
16. Практические awk-программы
Эта глава представляет попурри из awk-программ для наслаждения их чтением. Она состоит из двух частей. Первая содержит awk-версии нескольких общих утилит POSIX. Во второй собраны разные интересные программы. Многие из них используют библиотечные функции, представленные в Главе 15 [Библиотека awk-функций], стр. 169. 16.1 Пере изобретение колеса для забавы и пользыВ этом разделе собраны несколько утилит POSIX, которые реализованы средствами awk. Пере изобретение этих программ в awk часто забавно, поскольку алгорифмы могут быть очень ясно выражены и обычно их коды очень выразительны и просты. Это чистая правда, потому что awk делает для вас очень много. Нужно заметить, что эти программы вовсе не обязательно предназначены для замены установленных версий в вашей системе. Наоборот, их цель --- проиллюстрировать программирование на языке awk алгорифмов для реальных задач. Программы расположены в алфавитном порядке.16.1.1 Вырезание полей и колонокУтилита cut выделяет или "вырезает" символы или поля из их стандартного ввода и посылает в стандартный вывод. cut может вырезать или список символов или список полей. По умолчанию поля разделяются символами tab, но вы можете указать в параметре командной строки другой символ как разделитель полей. В cut определение полей менее общее чем в awk. cut может только извлечь регистрационное имя зарегистрированного пользователя из входа who. Например, следующий конвейер генерирует отсортированный единый список работающих пользователей: who -- cut -c1-8 -- sort -- uniqПараметры для cut следующие: -c list Использует list как список символов для вырезания (to cut out). Элементы в списке могут разделяться запятыми, а диапазоны символов могут разделяться символами минуса. Список `1-8,15,22-35' содержит символы от 1 до 8, 15 и от 22 до 35. -f listИспользует list как список полей для вырезки. -d delimИспользует delim как символ-разделитель полей вместо tab -sПодавляет печать строк, не содержащих разделителей полей. awk-реализация cut использует библиотечную функцию getopt (см. раздел 15.10 [Обработка параметров командной строки], стр. 186), библиотечную функцию join (см. раздел 15.6 [Соединение элементов массива в цепочку], стр. 176). Программа начинается с комментария, описывающего параметры и функцию usage, которая печатает сообщение и прекращает работу. usage вызывается, если обнаружены неверные аргументы. # cut.awk --- реализация cut в awk # Arnold Robbins, arnold@gnu.org, Public Domain # May 1993 # Параметры: # -f list Cut fields # -d c Символ разделитель полей # -c list Cut characters # # -s Подавляет строки без символов-разделителей function usage( e1, e2) - e1 = "usage: cut [-f list] [-d c] [-s] [files...]" e2 = "usage: cut [-c list] [files...]" print e1 ? "/dev/stderr" print e2 ? "/dev/stderr" exit 1 "" Переменные e1 и e2 используются для удобного расположения данных на странице. Долее идет правило BEGIN, которое анализирует параметры командной строки. Оно заносит в FS один символ tab, разделитель полей по умолчанию. Разделитель выходных полей устанавливается тот же что и на входе. Затем используется getopt для анализа параметров в командной строке. Одна из переменных by.fields или by.chars устанавливается в true, для указания, что обработка будет идти по полям или по символам соответственно. При вырезке по символам разделитель выходных полей устанавливается в пустую цепочку.
BEGIN " -
FS = ""t" # по умолчанию OFS = FS
while ((c = getopt(ARGC, ARGV, "sf:c:d:")) != -1) -
if (c == "f") -
by.fields = 1 fieldlist = Optarg
"" else if (c == "c") -
by.chars = 1 fieldlist = Optarg OFS = "" "" else if (c == "d") -
if (length(Optarg) ? 1) -
printf("Using first character of %s" " "
for delimiter"n", Optarg) ? "/dev/stderr" Optarg = substr(Optarg, 1, 1) ""
FS = Optarg OFS = FS if (FS == " ") # отмена семантики awk
FS = "[ ]" "" else if (c == "s")
suppress++ else
usage() ""
for (i = 1; i ! Optind; i++)
ARGV[i] = ""
особый случай составляет пробел как разделитель полей. Использование " " (один пробел) как значение FS неправильно--awk будет разделять поля группами пробелов, tab и/или newlines, а мы хотим разделения одним пробелом. Заметим также, что после конца работы getopt мы должны очистить все элементы ARGV от первого до Optind, чтобы awk не пыталась обработать параметры командной строками как имена файлов. После окончания действий над параметрами командной строки, программа проверяет, что параметры имеют смысл. Только один из `-c' и `-f' должен быть указан, и оба требуют список полей. Затем вызывается или set.fieldlist или set.charlist для выделения списка полей или символов. if (by.fields && by.chars) usage() if (by.fields == 0 && by.chars == 0) by.fields = 1 # default if (fieldlist == "") - print "cut: needs list for -c or -f" ? "/dev/stderr" exit 1 "" if (by.fields) set.fieldlist() else set.charlist() "" Пусть будет set.fieldlist. Тогда сначала список полей расщепляется по запятым в компоненты массива. Затем, для каждого элемента массива, проверяется, что это действительно диапазон, и если так, то он откладывается в сторону. Диапазон проверяется, чтоб быть уверенным, что первое число меньше второго. Каждое число в списке добавляется в массив flist, в котором просто собираются поля для печати. Используется нормальное разделение полей. Программа оставляет за awk разделение полей при печати.
function set.fieldlist( n, m, i, j, k, f, g) -
n = split(fieldlist, f, ",") j = 1
# index in flist for (i = 1; i != n; i++) -
if (index(f[i], "-") != 0) -
# a range
m = split(f[i], g, "-") if (m != 2 ---- g[1] ?= g[2]) -
printf("bad field list: %s"n",
f[i]) ? "/dev/stderr" exit 1 "" for (k = g[1]; k != g[2]; k++)
flist[j++] = k "" else
flist[j++] = f[i] "" nfields = j - 1 ""
Функция set.charlist сложнее чем set.fieldlist. Здесь идея состоит в использовании gawk-переменной FIELDWIDTHS (см. раздел 5.6 [Чтение данных фиксированной ширины], стр. 49), где описывается ввод с постоянной шириной. При использовании списка символов мы точно это и имеем. Установка FIELDWIDTHS более сложна, чем просто перечисление полей, которые должны быть напечатаны. Мы должны следить за полями для печати и также за промежуточными символами, которые должны быть пропущены. Например, предположим, вы ищете символы от 1 до 9, 15, и от 222 до 35. Вы должны использовать `-c 1-8,15,22-35'. Необходимое значение для FIELDWIDTHS будет "8 6 1 6 14". Это дает нам пять полей, и должны быть напечатаны $1, $3 и $5. Промежуточные поля есть "заполнители", мусор между нужными данными. flist перечисляет поля для печати, а t следит за полным списком полей, включая поля-заполнители.
function set.charlist( field, i, j, f, g, t,
filler, last, len) -
field = 1 # count total fields n = split(fieldlist, f, ",")
j = 1 # index in flist
for (i = 1; i != n; i++) -
if (index(f[i], "-") != 0) - # диапазон
m = split(f[i], g, "-") if (m != 2 ---- g[1] ?= g[2]) -
printf("bad character list: %s"n",
f[i]) ? "/dev/stderr" exit 1 "" len = g[2] - g[1] + 1
if (g[1] ? 1) # compute length of filler
filler = g[1] - last - 1 else
filler = 0 if (filler)
t[field++] = filler t[field++] = len # length of field
last = g[2] flist[j++] = field - 1 "" else -
if (f[i] ? 1)
filler = f[i] - last - 1 else
filler = 0 if (filler)
t[field++] = filler t[field++] = 1 last = f[i] flist[j++] = field -
1 "" "" FIELDWIDTHS = join(t, 1, field - 1) nfields = j - 1 ""
Вот правило, по которому фактически обрабатываются данные. Если параметр `-s' был дан, то suppress будет иметь значение true. Первый оператор if подтверждает, что входная запись должна иметь разделитель полей. Если cut обрабатывает поля, то suppress есть true, и символ разделителя полей не входит в запись, когда запись пропускается. Если запись правильна, то в этой точке gawk разделяет данные на поля, либо используя символ в FS либо используя поля фиксированной ширины и FIELDWIDTHS. Цикл распространяется на список полей, которые должны быть напечатаны. Если соответствующее поле имеет в себе данные, оно печатается. Если следующее поле также имеет данные, то символ-разделитель вставляется между полями. - if (by.fields && suppress && $0 !~ FS) next for (i = 1; i != nfields; i++) - if ($flist[i] != "") - printf "%s", $flist[i] if (i ! nfields && $flist[i+1] != "") printf "%s", OFS "" "" print "" "" Эта версия cut опирается на gawk-переменную FIELDWIDTHS, чтобы осуществить основанное на символе вырезание. Хотя это возможно и в других реализациях awk с помощью substr (см. раздел 12.3 [Встроенные функции для действий с цепочками], стр. 137), это делать очень болезненно. Переменная FIELDWIDTHS позволяет элегантно решить проблему отделения входной строки от символов. 16.1.2 Поиск регулярных выражений в файлахУтилита egrep ищет в файлах образцы. Она использует регулярные выражения, которые почти идентичны тем, которые используются в awk (см. раздел 7.1.2 [Константы регулярных выражений], стр. 77). Она используется следующим образом: egrep [ options ] 'pattern' files ... Образец ('pattern') есть regexp. Обычно regexp заключается в кавычки, чтобы удержать оболочку от обработки различных специальных символов. Обычно egrep печатает строки, которые соответствуют образцу. Если в командной строке указано много имен файлов, каждая выходная строка предваряется именем файла и двоеточием. Имеются следующие параметры: -c Печатать количества строк, отвечающих образцу, вместо самих строк. -s Молчать и ничего не печатать. Только код возврата указывает, были или нет обнаружены соответствия. -v Обратить смысл теста. egrep печатает строки, которые не соответствуют образцу и успешный код возврата означает, что соответствия образцу не обнаружены. -i Игнорировать различия в регистре в образце и входных данных. -l При соответствии печатать только имена файлов, в которых обнаружены соответствия, а не сами строки. -e pattern Использовать pattern как regexp для соответствия. Целью параметра `-e' является разрешение для pattern начинаться с `-'. Эта версия использует библиотечную функцию getopt (см. раздел 15.10 [Обработка параметров командной строки], стр. 186), и библиотечную программу смены файлов (см. раздел 15.9 [Обнаружение границ файлов с данными], стр.185). Программа начинается с описательных комментариев, затем идет правило BEGIN, которое обрабатывает аргументы командной строки с помощью getopt. Параметр `-i' (игнорировать регистр) удовлетворить особенно просто в gawk; мы просто используем встроенную переменную IGNORECASE (см. Главу 10 [Встроенные переменные], стр. 115). # egrep.awk --- моделирование egrep в awk # Arnold Robbins, arnold@gnu.org, Public Domain # May 1993 # Options: # -c считать строки # -s молчание - использовать код возврата # -v обратный тест; успех, если нет соответствий # -i игнорировать регистр # -l печатать только имена файлов # -e аргумент есть образец BEGIN - while ((c = getopt(ARGC, ARGV, "ce:svil")) != -1) - if (c == "c") count.only++ else if (c == "s") no.print++ else if (c == "v") invert++ else if (c == "i") IGNORECASE = 1 else if (c == "l") filenames.only++ else if (c == "e") pattern = Optarg else usage() "" Далее следует код, который обслуживает специфические свойства egrep. Если с `-e' не указаны никакие образцы, то используется первый не параметр в командной строке. Аргументы командной строки вплоть до ARGV[Optind] очищаются, так что awk не будет обрабатывать их как файлы. Если файлы не указаны, используется стандартный ввод, а если было указано несколько файлов, мы обнаруживаем это и делаем так, чтобы имена файлов при выводе предшествовали строкам с соответствиями. Две последние строки закомментированы, так как они не нужны в gawk. Они должны быть задействованы, если используется другая версия awk. if (pattern == "") pattern = ARGV[Optind++] for (i = 1; i ! Optind; i++) ARGV[i] = "" if (Optind ?= ARGC) - ARGV[1] = "-" ARGC = 2 "" else if (ARGC - Optind ? 1) do.filenames++ # if (IGNORECASE) # pattern = tolower(pattern) "" Со следующих строк комментарий нужно снять, если используется не gawk. Это правило переводит все символы входной строки в нижний регистр, если был указан параметр `-i'. Оно не является необходимым в gawk. #- # if (IGNORECASE) # $0 = tolower($0) #""Функция beginfile вызывается правилом `ftrans.awk' перед началом обработки каждого нового файла. В нашем случае она очень проста; нужно только инициализировать нулем переменную fcount. Она следит за тем, сколько строк в текущем файле соответствуют образцу. function beginfile(junk) - fcount = 0 "" Функция endfile вызывается после завершения обработки каждого файла. Она используется только тогда, когда пользователь хочет подсчитывать количество строк с соответствиями. no.print получит значение true только если нужен выходной статус. count.only будет true, если подсчеты строк желательны. Поэтому egrep будет только печатать счетчик строк, если задействованы печать и счет. Выходной формат должен быть выбран в зависимости от того, сколько файлов будут обрабатываться. В конце fcount добавляется к total, и мы узнаем, сколько всего строк соответствуют образцу. function endfile(file) - if (! no.print && count.only) if (do.filenames) print file ":" fcount else print fcount total += fcount "" Это правило производит большую часть работы по определения соответствия строк. of matching lines. The variable matches will be true if the line matched the pattern. If the user wants lines that did not match, the sense of the matches is inverted using the `!' operator. fcount is incremented with the value of matches, which will be either one or zero, depending upon a successful or unsuccessful match. If the line did not match, the next statement just moves on to the next record. Имеется несколько оптимизаций для увеличения производительности в следующих нескольких строках кода. Если пользователю нужен только выходной статус, (no.print есть true) и не нужно считать строки, то достаточно знать, что одна строка в этом файле соответствует образцу, и мы можем перейти к следующему файлу по nextfile. Точно так же, если мы печатаем только имена файлов и не хотим считать строки, мы можем печатать имя файла и затем перепрыгивать к следующему файлу с помощью nextfile. Наконец, если необходимо, можно печатать каждую строку с предшествующими именем файла и двоеточием. - matches = ($0 ~ pattern) if (invert) matches = ! matches fcount += matches # 1 or 0 if (! matches) next if (no.print && ! count.only) nextfile if (filenames.only && ! count.only) - print FILENAME nextfile "" if (do.filenames && ! count.only) print FILENAME ":" $0 else if (! count.only) print "" Правило END заботится о выдаче правильного выходного статуса. Если соответствия не были обнаружены, он равен 1, в противном случае 0. END " - if (total == 0) exit 1 exit 0 "" Функция usage печатает свое сообщение в случаи ошибок в параметрах и прерывает программу. function usage( e) - e = "Usage: egrep [-csvil] [-e pat] [files ...]" print e ? "/dev/stderr" exit 1 "" Переменная e используется, чтобы печать укладывалась на странице. Сделаем одно замечание о стиле программирования. Вы могли заметить, что правило END использует для продолжения обратный слеш, с одной открытой скобкой на строке. Это так, потому что это более точно отвечает способу написания функций. Многие примеры в этой главе используют этот стиль. Вы можете решить для себя, нравится ли вам писать ваши правила BEGIN и END этим способом или нет. 16.1.3 Печать информации о пользователяхУтилита id перечисляет пользовательские реальные и фактические идентификационные номера, реальные и фактические групповые идентификационные номера, и, если они имеются, множества пользовательских групп. id печатает эффективные пользовательские и групповые идентификаторы только тогда, когда они отличаются от реальных. Если возможно, id также выдает пользовательские и групповые имена. Вывод может выглядеть так: $ id a uid=2076(arnold) gid=10(staff) groups=10(staff),4(tty) Это та же самая информация, которая выдается специальным файлов gawk `/dev/user' (см. раздел 6.7 [Специальные имена файлов в gawk], стр. 72). Однако, утилита id обеспечивает более удобный вывод, чем просто цепочка чисел. Приведем простую версию id, написанную на awk. Она использует библиотечные функции пользовательской базы данных (см. раздел 15.11 [Чтение пользовательской базы данных], стр. 192), и библиотечные функции групповой базы данных (см. раздел 15.12 [Чтение групповой базы данных], стр. 197). Эта программа достаточно незамысловата. Вся работа делается в правиле BEGIN. Пользовательские и групповые идентификационные номера получаются от `/dev/user'. Если файла `/dev/user' нет, программа не работает. В коде программы много повторений. Вход пользовательской базы с реальным числовым идентификатором расщепляется на части посредством `:'. Имя есть первое поле. Подобный же код используется для эффективного идентификационного номера пользователя и для групповых номеров.
# id.awk --- реализация id в awk
# Arnold Robbins, arnold@gnu.org, Public Domain # May 1993
# выход таков:
# uid=12(foo) euid=34(bar) gid=3(baz) "
# egid=5(blat) groups=9(nine),2(two),1(one)
BEGIN " -
if ((getline ! "/dev/user") ! 0) -
err = "id: no /dev/user support - cannot run"
print err ? "/dev/stderr" exit 1 "" close("/dev/user")
uid = $1 euid = $2 gid = $3 egid = $4
printf("uid=%d", uid) pw = getpwuid(uid) if (pw != "") -
split(pw, a, ":") printf("(%s)", a[1]) ""
if (euid != uid) -
printf(" euid=%d", euid) pw = getpwuid(euid) if (pw != "") -
split(pw, a, ":") printf("(%s)", a[1]) "" ""
printf(" gid=%d", gid) pw = getgrgid(gid) if (pw != "") -
split(pw, a, ":") printf("(%s)", a[1]) ""
if (egid != gid) -
printf(" egid=%d", egid) pw = getgrgid(egid) if (pw != "") -
split(pw, a, ":") printf("(%s)", a[1]) "" ""
if (NF ? 4) -
printf(" groups="); for (i = 5; i != NF; i++) -
printf("%d", $i) pw = getgrgid($i) if (pw != "") -
split(pw, a, ":") printf("(%s)", a[1]) ""
if (i ! NF)
printf(",") "" "" print "" ""
16.1.4 Разделение большого файла на частиПрограмма split разделяет большие текстовые файлы на меньшие части. По умолчанию, выходные файлы именуются `xaa', `xab', и т. д. Каждый файл содержит 1000 строк, за исключением последнего. Для изменения количества строк в каждом файле нужно указывать в командной строке число с предшествующим минусом, например `-500' для файлов с 500 строк вместо 1000. Чтобы изменить имена выходных файлов на что-нибудь вроде `myfileaa', `myfileab', и т.д., нужно указать дополнительный аргумент с именем файла. Приведем версию split в awk. Она использует функции ord и chr, представленные в разделе 15.5 [Перевод символов в числа и обратно], стр. 174. Программа сначала устанавливает параметры по умолчанию, а затем проверяет, не слишком ли много аргументов задано. Затем она смотрит на каждый заданный аргумент. Первый аргумент может быть минусом со следующим за ним числом. Если так, то он выглядит как отрицательное число. Это число превращается в положительное и становится счетчиком строк. Имя файла с данными обходится и последний аргумент используется как префикс для имен выходных файлов. # split.awk --- моделирует split в awk # Arnold Robbins, arnold@gnu.org, Public Domain # May 1993 # использование: split [-num] [file] [outname] BEGIN - outfile = "x" # default count = 1000 if (ARGC ? 4) usage() i = 1 if (ARGV[i] ~ /^-[0-9]+$/) - ount = -ARGV[i] ARGV[i] = "" i++ "" # проверка argv в случае чтения из stdin вместо файла if (i in ARGV) i++ # пропуск имени файла с данными if (i in ARGV) - outfile = ARGV[i] ARGV[i] = "" "" s1 = s2 = "a" out = (outfile s1 s2) "" Следующее правило делает большую часть работы. tcount (временный счетчик) следит, сколько строк было напечатано до сих пор в выходном файле. Если это больше чем count, нужно закрыть текущий файл и начать новый. s1 and s2 следят за текущими суффиксами имени файла. Если они обе `z', файл слишком велик. В противном случае s1 передвигается на следующую букву алфавита, а s2 начинается опять с `a'.
if (++tcount ? count) -
close(out) if (s2 == "z") -
if (s1 == "z") -
printf("split: %s is too large to split"n", "
FILENAME) ? "/dev/stderr" exit 1 "" s1 = chr(ord(s1) + 1) s2 = "a" "" else
s2 = chr(ord(s2) + 1) out = (outfile s1 s2) tcount = 1 "" print ? out ""
The usage function simply prints an error message and exits.
function usage( e) -
e = "usage: split [-num] [file] [outname]" print e ? "/dev/stderr" exit 1 ""
Используется переменная e, так что результат хорошо размещается на странице. Эта программа несколько небрежна; она надеется, что awk автоматически закроет последний файл, вместо того, чтобы сделать это самой в правиле END. 16.1.5 Размножение вывода в несколько файловПрограмма tee известна как "подгонка к конвейеру". tee копирует свой стандартный ввод в свой стандартный выход и также дуплицирует его в файлы, названные в командной строке. Она используется так: tee [-a] file ... Параметр `-a' побуждает писать в конец названных файлов, вместо того, чтобы закрывать их запускаться вновь. Правило BEGIN сначала делает копию всех аргументов командной строки в массив с именем copy. ARGV[0] не копируется, так как не нужен. tee не может использовать ARGV непосредственно, поскольку awk будет пытаться обрабатывать каждый файл, названный в ARGV, как входные данные. Если первый аргумент есть `-a', то флажок append ставится в true и обе ARGV[1] и copy[1] вычеркиваются. Если ARGC меньше двух, то никакие файлы не были названы, и tee печатает сообщение usage и кончает работу. В конце awk побуждается к чтению стандартного ввода установкой в ARGV[1] значения "-", и двойки в ARGC. # tee.awk --- tee в awk # Arnold Robbins, arnold@gnu.org, Public Domain # May 1993 # Revised December 1995 BEGIN " - for (i = 1; i ! ARGC; i++) copy[i] = ARGV[i] if (ARGV[1] == "-a") - append = 1 delete ARGV[1] delete copy[1] ARGC-- "" if (ARGC ! 2) - print "usage: tee [-a] file ..." ? "/dev/stderr" exit 1 "" ARGV[1] = "-" ARGC = 2 "" Одно правило выполняет всю работу. Так как образца нет, оно выполняется для каждой входной строки. Тело правила просто печатает строку в каждом файле, названном в командной строке, и затем в стандартном выходе. - # вынесение if из цикла ускоряет его работу if (append) for (i in copy) print ?? copy[i] else for (i in copy) print ? copy[i] print "" Можно было бы кодировать цикл так: for (i in copy) if (append) print ?? copy[i] else print ? copy[i] Это короче, но менее эффективно. `if' проверяется для каждой записи и для каждого выходного файла. При повторении тела цикла `if' проверяется только раз для каждой входной записи. Если имеются N входных записей и M входных файлов, первый метод выполняет только N операторов `if', в то время как второй будет выполнять N *M операторов `if' В конце работы правило END закрывает все выходные файлы.END " - for (i in copy) close(copy[i]) "" 16.1.6 Печать, не дуплицированных строк текстаУтилита uniq читает отсортированные строки текста данных из стандартного ввода и (по умолчанию) удаляет дублированные строки. Другими словами, печатаются только уникальные строки. Отсюда и имя утилиты. uniq имеет несколько параметров. Она вызывается так: uniq [-udc [-n]] [+n] [ input file [ output file ]]Параметры имеют следующий смысл: -d Печать только повторенных строк. -u Печать только неповторяющихся строк. -c Считать строки. Этот параметр подавляет `-d' и `-u'. Считаются как повторяющиеся, так и неповторяющиеся строки. -n Пропустить n полей перед сравнением строк. Определение полей по правилу умолчания в awk: не-whitespace символы, отделенные группами пробелов и/или tab. +n Пропустить n символов перед сравнением строк. Предварительно пропускаются поля, указанные параметром `-n'. input file Входные данные читаются из входного файла, названного в командной строке, а не из стандартного ввода. output file Генерированный вывод направляется в названный выходной файл, а не в стандартный вывод. Нормально uniq работает так, как будто присутствуют оба параметра `-d' и `-u'. Приведем awk-реализацию uniq. Она использует библиотечную функцию getopt (см. раздел 15.10 [Обработка параметров командной строки, стр. 186), и библиотечную функцию join (см. раздел 15.6 [Соединение элементов массива в цепочку], стр. 176). Программа начинается с функции usage, затем следует краткий обзор параметров и комментарий об их назначении. Правило BEGIN работает с аргументами командной строки и параметрами. Оно использует уловку, чтобы заставить getopt действовать с параметрами формы `-25', рассматривая такой параметр как параметр-букву `2' с аргументом `5'. Если действительно были указаны две или более цифр (Optarg выглядит как число), Optarg сцепляется с цифрой параметра и затем результат складывается с нулем для превращения его в число. Если имеется только одна цифра в параметре, то Optarg не нужен и Optind должен быть уменьшен так, что getopt будет обрабатывать его в следующий раз. Так что этот код в некоторой степени необычный. Если параметров нет, по умолчанию печатаются и повторенные и не повторенные строки. Выходной файл, если указан, присваивается в outputfile. Ранее outputfile инициализировался как стандартный вывод , `/dev/stdout'.
# uniq.awk --- модель uniq в awk
# Arnold Robbins, arnold@gnu.org, Public Domain
# May 1993
function usage( e) -
e = "Usage: uniq [-udc [-n]] [+n] [ in [ out ]]"
print e ? "/dev/stderr" exit 1 ""
# -c счет строк. подавляет -d и -u
# -d только повторные строки
# -u только не повторяющиеся строки
# -n пропустить n полей
# +n пропустить n символов, но сначала пропускать поля
BEGIN " -
count = 1 outputfile = "/dev/stdout" opts = "udc0:1:2:3:4:5:6:7:8:9:"
while ((c = getopt(ARGC, ARGV, opts)) != -1) -
if (c == "u")
non.repeated.only++ else if (c == "d")
repeated.only++ else if (c == "c")
do.count++ else if (index("0123456789", c) != 0) -
# getopt требует аргументы к параметрам
# это запутывает нас с аргументами вроде -5
if (Optarg ~ /^[0-9]+$/)
fcount = (c Optarg) + 0 else -
fcount = c + 0 Optind-- "" "" else
usage() ""
if (ARGV[Optind] ~ /^"+[0-9]+$/) -
charcount = substr(ARGV[Optind], 2) + 0 Optind++ ""
for (i = 1; i ! Optind; i++)
ARGV[i] = ""
if (repeated.only == 0 && non.repeated.only == 0)
repeated.only = non.repeated.only = 1
if (ARGC - Optind == 2) -
outputfile = ARGV[ARGC - 1] ARGV[ARGC - 1] = "" "" ""
Следующая функция, are.equal, сравнивает текущую строку, $0, с предыдущей строкой, last. Она реализует пропуск полей и символов. Если не были заказаны ни счет полей ни счет символов, то are.equal просто возвращает 1 или 0 в зависимости от результата простого сравнения last и $0. В противном случае действия усложняются. Если должны быть пропущены поля, каждая строка превращается в массив с помощью split (см. раздел 12.3 [Встроенные функции для действий с цепочками], стр. 137), и затем нужные поля опять соединяются в строку с помощью join. Полученные строки поступают в clast и cline. Если никакие поля не пропускаются, в clast и cline устанавливаются last и $0 соответственно. Наконец, если пропускаются символы, используется substr для удаления ведущих charcount символов в clast и cline. Затем две цепочки сравниваются и are.equal возвращает результат сравнения. function are.equal( n, m, clast, cline, alast, aline) - if (fcount == 0 && charcount == 0) return (last == $0) if (fcount ? 0) - n = split(last, alast) m = split($0, aline) clast = join(alast, fcount+1, n) cline = join(aline, fcount+1, m) "" else - clast = last cline = $0 "" if (charcount) - clast = substr(clast, charcount + 1) cline = substr(cline, charcount + 1) "" return (clast == cline) "" Два следующие правила составляют тело программы. Первое выполняется только для самой первой строки данных. Оно устанавливает last равным $0, для сравнения с последующими строками текста. Второе правило выполняет всю работу. Переменная equal будет 1 или 0 в зависимости от результатов сравнения, выдаваемых функцией are.equal. Если uniq учитывает повторяющиеся строки, то переменная count увеличивается при равенстве строк. В противном случае строка печатается и count сбрасывается, поскольку две строки не равны. Если uniq не подсчитывает, count увеличивается, если строки равны. Иначе, если uniq подсчитывает повторные строки и более чем одна строка была замечена, или если uniq считает неповторяющиеся строки и только одна строка имеется, то строка печатается и count сбрасывается. Наконец, подобная же логика используется в правиле END для печати последней строки в входных данных.
NR == 1 -
last = $0 next ""
-
equal = are.equal()
if (do.count) - # overrides -d and -u
if (equal)
count++ else -
printf("%4d %s"n", count, last) ? outputfile
last = $0 count = 1 # reset "" next ""
if (equal)
count++ else -
if ((repeated.only && count ? 1) ----
(non.repeated.only && count == 1))
print last ? outputfile last = $0 count = 1 "" ""
END -
if (do.count)
printf("%4d %s"n", count, last) ? outputfile else
if ((repeated.only && count ? 1) ----
(non.repeated.only && count == 1)) print last ? outputfile ""
16.1.7 Подсчет объектовУтилита wc (word count) подсчитывает количества строк, слов и символов в одном или более входных файлов. Она используется так: wc [-lwc] [ files ... ]Если в командной строке файлы не указаны, wc читает свой стандартный ввод. Если указано несколько файлов, будут напечатаны суммарные счетчики для всех файлов. Параметры и их смысл следующие: -l Только подсчет строк -w Только подсчет слов. "слова" есть связные последовательности символов, не содержащая символов whitespace, разделенные пробелами и/или символами tab. К счастью, это нормальный способ для awk разделения полей в входных данных. -c Только подсчет символов. Реализация wc средствами awk особенно элегантна, поскольку awk сама делает большую часть работы; она разделяет строки на слова (т.е. поля) и считает их, подсчитывает строки( т.е. записи) и может легко сообщать нам длину строк. Эта версия использует библиотечную функцию getopt (см. раздел 15.10 [Обработка параметров командной строки], стр. 186), и функции переключения файлов (см. раздел 15.9 [Слежение за границами файлов с данными], стр. 185). Эта версия имеет одно важное отличие от традиционных версий wc. Наша версия постоянно печатает счетчики в порядке: строки, слова, символы. Традиционные версии запоминают порядок параметров `-l', `-w' и `-c' в командной строке и печатают счетчики в этом порядке. Правило BEGIN обрабатывает аргументы. Переменная print.total будет true, если в командной строке указано более одного файла. # wc.awk --- счет строк, слов, символов # Arnold Robbins, arnold@gnu.org, Public Domain # May 1993 # Параметры: # -l счет только строк # -w счет только слов # -c счет только символов # #По умолчанию подсчет строк, слов и символов BEGIN - # Побуждаем getopt печатать сообщение # о неверных параметров. Мы игнорируем их если ((c = getopt(ARGC, ARGV, "lwc")) != -1) - if (c == "l") do.lines = 1 else if (c == "w") do.words = 1 else if (c == "c") do.chars = 1 "" for (i = 1; i ! Optind; i++) ARGV[i] = "" # если параметров нет, делать все if (! do.lines && ! do.words && ! do.chars) do.lines = do.words = do.chars = 1 print.total = (ARGC - i ? 2) "" Функция beginfile проста; она просто сбрасывает счетчики строк, слов и символов на 0 и запоминает имя текущего файла в fname. Функция endfile добавляет значения текущего файла к соответствующим суммам для строк, слов и символов. Затем печатает эти данные для файла, который был только что прочтен. Она оставляет для beginfile сброс счетчиков для следующего файла с данными. function beginfile(file) - chars = lines = words = 0 fname = FILENAME "" function endfile(file) - tchars += chars tlines += lines twords += words if (do.lines) printf ""t%d", lines if (do.words) printf ""t%d", words if (do.chars) printf ""t%d", chars printf ""t%s"n", fname "" Имеется одно правило, которое выполняется для каждой строки. Оно добавляет длину строки к переменной chars. Оно должно добавлять 1, поскольку символ newline, разделяющий записи (значение RS), не входит в состав строки. Переменная lines увеличивается для каждой прочтенной записи, а words увеличивается на значение NF, количество "слов" в этой строке.*1* Наконец, правило END просто печатает суммы по всем файлам.# делать для каждой строки - chars += length($0) + 1 # get newline lines++ words += NF "" END - if (print.total) - if (do.lines) printf ""t%d", tlines if (do.words) printf ""t%d", twords if (do.chars) printf ""t%d", tchars print ""ttotal" "" "" |
| <<< | Оглавление | Страницы: 16 17 | >>> |