How to name a commands group in POSIX shell script

Introduction

シェルスクリプトでは，パイプを使うことで複数のコマンドを繋いで処理できる。しかし，パイプをつないで記述されたコードは，全体として何をやっているのか意味がわかりにくくなる。また，複数のオプションを組み合わせたコマンドの記述や，自分がよく知らないコマンドが使われた場合，どういう処理をやっているのかわかりにくくなる。

処理内容をわかりやすくするために，複数の処理を変数や関数にまとめ，適切な名前を与える方法がある。例として，以下にpwdコマンドが存在するかどうかを判定するコードを掲載する。

command -v pwd >/dev/null && echo found || echo not found

このコードでは，command -vの処理内容を理解していないと，見ただけでは意味がわからない。しかし，このコードを以下のように関数化して，人がわかるような名前を与えることで，command -vの意味を知らなくても全体の処理内容を理解しやすくなる。

is_exe_enabled(){
 command -v "$1" /dev/null
}

is_exe_enabled pwd && echo found || echo not found

また，関数にまとめるだけでなく，変数にまとめることでも可読性の向上を実現できる。例えば，以下のコードはbashのバージョンが4.3以上であればbindコマンドを実行している。

if bash --version | grep -q -e ' 4\.[3-9]*' -e ' [5-9]\.'"; then
 bind 'TAB: menu-complete'
fi

このコードは以下のように，IS_BASH_VER_GE_43変数に一度代入すれば，どのバージョンを対象としているのかがよりわかりやすくなる。

IS_BASH_VER_GE_43="eval bash --version | grep -q -e ' 4\.[3-9]*' -e ' [5-9]\.'"
if $IS_BASH_VER_GE_43; then
 bind 'TAB: menu-complete'
fi

このように，関数や変数などシェルスクリプトには複数の処理に対して別の名前を付ける方法がいくつかある。ここで疑問が生じる。わかりやすくなったのはいいが，それで実行速度が遅くなっていないだろうか？複数の実現方法があるのならば，最も簡単で最も速度の速い方法を採用したい。

そこで，シェルスクリプトで処理をグループ化して可読性をあげるための方法を紹介し，実行速度を計測することで，どの方法がベストであるかを検討した。

なお，コードの可読性の向上に関しては，コメントを書くことで補うこともできる。しかし，コメントで説明した場合，実際のコードとコメントの内容を合わせて読む必要があり，読み手に負担がかかる。コメントを書く前に，コメントが不要になるようにコード自体をわかりやすくすべきだろう。

Method

処理のグループ化には以下の3種類の方法がある。

1. Variable（変数）
2. Function（関数）
3. alias

## Simple command (without eval)
EXE=pwd
$EXE

## Compound command (with eval)
IS_BASH_VER_GE_43="eval bash --version | grep -q -e ' 4\.[3-9]*' -e ' [5-9]\.'"
if $IS_BASH_VER_GE_43; then
 bind 'TAB: menu-complete'
fi

## 現在のシェルのオプションとしてset -eが有効になっているかを判定
IS_ENABLED_SET_E=$( case "$-" in (*e*) echo true;; (*) echo false;; esac )
if $IS_ENABLE_SET_E; then
 echo "set -e is enabled"
fi

is_exe_enabled(){
 command -v ${1+"$@"} >/dev/null
}

is_opt_enabled()(
 EXE="$1"; OPT="$2"
 "$EXE" --help 2>&1 | grep -q -- "$OPT"'[[:blank:],=[]'
)

alias IS_ENABLED_SET_E='case "$-" in (*e*) echo true;; (*) echo false;; esac'
if IS_ENABLE_SET_E; then
 echo "set -e is enabled"
fi

alias ll='ls -l'

bash -O expand_aliases   ## enable with startup
shopt -s expand_aliases  ## enable after startup

command -v shopt && shopt -s expand_aliases

:
################################################################################
## \file      alias.sh
## \author    SENOO, Ken
## \copyright CC0
################################################################################

: <<-EOT
 aliasが使えないことがあるのでその検証。
 複合コマンド内でaliasを定義と実行を同時にできない。
 リストもダメなようだ
EOT

is_exe_enabled(){
 IS_ENABLED_SET_E=$( case "$-" in (*e*) echo true;; (*) echo false;; esac )
 is_command_enabled(){ command -v : >/dev/null 2>&1; }

 $IS_ENABLED_SET_E && set +e
 if is_command_enabled; then
  $IS_ENABLED_SET_E && set -e
  command -v ${1+"$@"} >/dev/null 2>&1 && return || return
 fi
 $IS_ENABLED_SET_E && set -e

 IFS=:
 for path in $PATH; do
  unset IFS
  command -p [ -x "$path/"${1+"$@"} ] && return
 done
}


echo_alias_result(){
 EXIT_STATUS=$?
 STR=${1+"$@"}
 if [ $EXIT_STATUS = 0 ]; then
  echo "Alias run success: $STR"
 else
  echo "Alias run failure: $STR"
 fi
}

EXE=':'
SHS='sh ksh ksh93 pdksh oksh lksh mksh posh ash dash bash zsh yash busybox'

TMP_ALIAS_FILE1='tmp-alias1.sh'
cat <<-EOT >$TMP_ALIAS_FILE1
 alias c=:
 c 2>&-
EOT

TMP_ALIAS_FILE2='tmp-alias2.sh'
cat <<-EOT >$TMP_ALIAS_FILE2
 { alias c=:; }
 c 2>&-
EOT

for sh in $SHS; do
 is_exe_enabled $sh || continue
 case $sh in busybox) sh='busybox ash'; esac
 $sh -c "shopt -q 2>&-" && sh="$sh -O expand_aliases"
 echo "$sh"
 $sh -c 'alias >/dev/null 2>&-' || continue

 ## Expected Success
 $sh <<-EOT; echo_alias_result 'Normal'
  alias c=$EXE
  c
 EOT
 $sh <<-EOT; echo_alias_result 'Define inside, run outside'
  { alias c=$EXE; }
  c
 EOT
 $sh <<-EOT; echo_alias_result 'Define outside, run inside'
  alias c=$EXE
  { c; }
 EOT
 $sh <<-EOT; echo_alias_result 'Include1'
  { . ./$TMP_ALIAS_FILE1; }
 EOT
 $sh <<-EOT; echo_alias_result 'Include2'
  { . ./$TMP_ALIAS_FILE2; }
 EOT
 $sh <<-EOT 2>&-; echo_alias_result 'func(){}'
  func(){
   alias c=$EXE
  }
  func
  c
 EOT

 ## Expected Failure
 $sh -c 'alias c=$EXE | c'    2>&-; echo_alias_result '|'
 $sh -c 'alias c=$EXE & c'    2>&-; echo_alias_result '&'
 $sh -c 'alias c=$EXE; c'     2>&-; echo_alias_result ';'
 $sh -c 'alias c=$EXE && c'   2>&-; echo_alias_result '&&'
 $sh -c '! alias c=$EXE || c' 2>&-; echo_alias_result '||'

 $sh <<-EOT 2>&-; echo_alias_result 'if'
  if true
  then
   alias c=$EXE
   c
  fi
 EOT

 $sh <<-EOT 2>&-; echo_alias_result 'for'
  for i in 0
  do
   alias c=$EXE
   c
  done
 EOT

 $sh <<-EOT 2>&-; echo_alias_result 'case'
  case '' in *)
   alias c=$EXE
   c
  esac
 EOT

 $sh <<-EOT 2>&-; echo_alias_result 'while'
  i=0
  while [ \$((i+=1)) = 1 ]
  do
   alias c=$EXE
   c
  done
 EOT

 $sh <<-EOT 2>&-; echo_alias_result 'until'
  i=0
  until [ \$((i+=1)) = 2 ]
  do
   alias c=$EXE
   c
  done
 EOT

 $sh <<-EOT 2>&-; echo_alias_result '()'
  (
   alias c=$EXE
   c
  )
 EOT

 $sh <<-EOT 2>&-; echo_alias_result '{}'
  {
   alias c=$EXE
   c
  }
 EOT
 $sh <<-EOT 2>&-; echo_alias_result 'func(){}'
  func1(){
   alias c=$EXE
  }
  func2(){
   c
  }
  func1
  func2
 EOT
done

Result

ここまでで処理に名前を付けてグループ化する3種類の方法について紹介した。

実際にこれらの方法でコマンドを実行して，実行速度を計測した。

実行は以下の8パターンを試した。

1. 通常：:
2. 変数（単独）：MACRO_N
3. 変数（eval）：MACRO_E
4. alias：MACRO_A
5. 関数（波括弧）：MACRO_B
6. 関数（丸括弧）：MACRO_P
7. 複合文（波括弧）：{ :; }
8. 複合文（丸括弧）：( : )

関数の実行方法が変わった際にどれくらい実行速度が変わるかを見たいだけなので，試験用のコマンドは何もしない組み込みコマンドの:を採用した。

上記の7と8は処理の命名グループ化とは直接は関係ないが，コマンド実行時間がどれくらいかかるかの参考にする良い機会と判断したので，追加した。

なお，使用したシェルは以下であり，Ubuntu 16.04で測定した。

ksh93   Version AJM 93u+ 2012-08-01
pdksh   @(#)PD KSH v5.2.14 99/07/13.2
oksh    @(#)PD KSH v5.2.14 99/07/13.2
lksh    @(#)LEGACY KSH R52 2016/04/09
mksh    @(#)MIRBSD KSH R52 2016/04/09
posh    0.12.6
dash    January 19, 2003
bash    GNU bash, version 4.3.48(1)-release (x86_64-pc-linux-gnu)
zsh     zsh 5.1.1 (x86_64-ubuntu-linux-gnu)
yash    Yet another shell, version 2.39
busybox ash     BusyBox v1.22.1 (Ubuntu 1:1.22.0-15ubuntu1) multi-call binary.

検証には以下の2個のコードを利用し，./run-time-macro.shを実行した。

:
################################################################################
## \file      run-time-macro.sh
## \author    SENOO, Ken
## \copyright CC0
################################################################################

main(){
 init
 SHS='sh ksh ksh93 pdksh oksh lksh mksh posh ash dash bash zsh yash busybox'
 for sh in $SHS; do
  case $sh in busybox) sh='busybox ash'; esac
  is_exe_enabled $sh || continue
  printf "$sh: "
  $sh time-macro.sh
 done
}

## \brief Initialize POSIX shell environment
init(){
 PATH="$(command -p getconf PATH 2>&-):${PATH:-.}"
 export PATH="${PATH#:}" LC_ALL='C'
 umask 0022
 set -eu
}

is_exe_enabled(){
 IS_ENABLED_SET_E=$( case "$-" in (*e*) echo true;; (*) echo false;; esac )
 is_command_enabled(){ command -v : >/dev/null 2>&1; }

 $IS_ENABLED_SET_E && set +e
 if is_command_enabled; then
  $IS_ENABLED_SET_E && set -e
  command -v ${1+"$@"} >/dev/null 2>&1 && return || return
 fi
 $IS_ENABLED_SET_E && set -e

 IFS=:
 for path in $PATH; do
  unset IFS
  command -p [ -x "$path/"${1+"$@"} ] && return
 done
}

main

:
################################################################################
## \file      time-macro.sh
## \author    SENOO, Ken
## \copyright CC0
################################################################################

## \brief Compare macro for readable code.
## 0. none
## 1. variable
## 2. eval
## 3. alias
## 4. function(){}
## 5. function()()
## 6. {}
## 7. ()

main(){
 init
 echo "Execution time[s] for $N times"
 echo "only body"
 run_body
 echo "including definition"
 run_total
}

## \brief Initialize POSIX shell environment
init(){
 PATH="$(command -p getconf PATH 2>&-):${PATH:-.}"
 export PATH="${PATH#:}" LC_ALL='C'
 umask 0022
 set -eu

 is_exe_enabled shopt && shopt -s expand_aliases
 export N=100000
 TAB=$(printf '\t')
 N_TEST=$(( 8 + 1 ))
 EXE=':'
 MACRO_N="MACRO_N='$EXE'"
 MACRO_E="MACRO_E='eval $EXE'"
 MACRO_A="alias MACRO_A='$EXE'"
 MACRO_B="MACRO_B(){ $EXE; }"
 MACRO_P="MACRO_P()( $EXE  )"
 BRACE="{ $EXE; }"
 PAREN="( $EXE )"
}

is_exe_enabled(){
 IS_ENABLED_SET_E=$( case "$-" in (*e*) echo true;; (*) echo false;; esac )
 is_command_enabled(){ command -v : >/dev/null 2>&1; }

 $IS_ENABLED_SET_E && set +e
 if is_command_enabled; then
  $IS_ENABLED_SET_E && set -e
  command -v ${1+"$@"} >/dev/null 2>&1 && return || return
 fi
 $IS_ENABLED_SET_E && set -e

 IFS=:
 for path in $PATH; do
  unset IFS
  command -p [ -x "$path/"${1+"$@"} ] && return
 done
}

run_body(){
 {
  printf 'Command\nReal\nUser\nSys\n'
  timeit_body '$EXE' "$EXE"
  timeit_body '$MACRO_N' "$MACRO_N"
  timeit_body '$MACRO_E' "$MACRO_E"
  timeit_body  'MACRO_A' "$MACRO_A"
  timeit_body  'MACRO_B' "$MACRO_B"
  timeit_body  'MACRO_P' "$MACRO_P"
  timeit_body  "$BRACE" "$BRACE"
  timeit_body  "$PAREN" "$PAREN"
 } 2>&1 | format
}

## \brief Time exe only body
timeit_body(){
 EXE_STR="$1"; EXE_VAR="$2"
 echo "$EXE_VAR"

 \time -p sh <<-EOT
  eval "$EXE_VAR"
  for i in \$(yes | head -n $N); do
   $EXE_STR
  done
 EOT
}

run_total(){
 {
  printf 'Command\nReal\nUser\nSys\n'
  timeit_total '$EXE'     "$EXE"
  timeit_total '$MACRO_N' "$MACRO_N"
  timeit_total '$MACRO_E' "$MACRO_E"
  timeit_total  'MACRO_A' "$MACRO_A"
  timeit_total  'MACRO_B' "$MACRO_B"
  timeit_total  'MACRO_P' "$MACRO_P"
  timeit_total  "$BRACE" "$BRACE"
  timeit_total  "$PAREN" "$PAREN"
 } 2>&1 | format
}

## \brief Time exe including definition
timeit_total(){
 EXE_STR="$1"; EXE_VAR="$2"
 echo "$EXE_VAR"

 \time -p sh <<-EOT
  eval "$EXE_VAR"  ## for alias
  for i in \$(yes | head -n $N); do
   eval "$EXE_VAR"  ## run definition
   $EXE_STR
  done
 EOT
}

format(){
 pr -t"$N_TEST"s"$TAB" | sed -e 's/real *//g' -e 's/user *//g' -e 's/sys *//g'
}

main

実行結果を整理したものを以下の表に示した。

まず，表の見方について説明する。この表は10万回実行した際の経過時間[s]を示している。そのため，100倍して，単位にm（ミリ）をつければ1回あたりにの行速度となる。

(a) Only bodyはコマンドの定義を含めずに，本体部分を実行した際の速度となっている。そして，(b) Including definitionはコマンドの定義を含めた計測時間となっている。なお，aliasは複合文内で定義をすると実行できないため，計測のforループ外で定義する必要がある。処理の負担を平等にするため全てのケースでevalにより定義を実行している。そのため，Including definitionはevalのコマンドの実行分の約0.05 s/10万回の時間が余計にかかっている。また，最後の複合文2個は定義と本体が同一であるため，単純に2回実行することになり，時間がかかっている。2列目の:の列が命名によるグループ化を行っていないケースなので，これが実行速度の基準となる。

調査結果の考察を以下に掲載する。

Summary

シェルスクリプトの可読性を向上させるために，複数のコマンドに名前を付けてグループ化する方法を検討した。その概要を以下に示す。

コマンドの実行というシェルスクリプトを書くうえでかなり基本的な部分に注目した検討を行った。実行速度を計測することで，今までなんとなく把握していた，丸括弧によるサブシェルでの実行が遅いということや，変数やalias展開は実行速度が速いということが定量的に分かった。

今後は今回の調査結果を利用して，可読性と実行速度に注意を払ったシェルスクリプトの作成を心がける。