シェルスクリプトで指定回数 (N回) ループ


シェルスクリプトで指定回数ループする方法を記す。

最終的に,awkを使った実装が高速で汎用的なので,ベストだと結論づけた。

N=10
for i in $(awk "BEGIN{for(i=1; i<=$N; ++i) print i}"); do
echo $i
done

ただし,ループ変数が不要な場合は,for-printfを使う方法が最速で手短だ。

N=10
for i in $(printf "%0${N}d\n" | fold -w 1); do
echo $i
done

また,速度が重要でない場合や,記述の簡潔さを重視する場合は,whileによる方法も検討に値する。

N=10
i=0
while [ $((i+=1)) -le $N ]; do
echo $i
done

背景

シェルスクリプトで,指定回数だけ処理を実行したいときがある。Linux系OSであればseqコマンド,Mac含むBSD系OSだとjot,その他シェル独自拡張 (bash/ksh93/zsh) のブレース展開や算術for文を使って実現できる。

N=10
## seq is not POSIX
for i in $(seq $N); do
echo $i
done
N=10
## jot is not POSIX
for i in $(jot $N); do
echo $i
done
## shell specific syntax
for i in {1..$N}; do
echo $i
done

for ((i=1; i<=10; ++i)); do echo $i done

しかし,どの方法もPOSIX非準拠となってしまう。seqは機能の単純さや利用頻度からPOSIXで定義されているかと勘違いしがちだが,実はPOSIXで未定義だ。

回数を指定した反復は頻出事項であり,POSIX互換な方法を確立する必要があると感じたので検討した。

アプローチとして以下の2種類がある。

  1. ループ方法の工夫
    1. while
    2. printf
  2. seqの代替
    1. bc
    2. awk

ループ方法の工夫

while

まず,最も簡単な方法はwhileを使うことだ。

N=10
i=0
while [ $((i+=1)) -le $N ]; do
echo $i
done

whileを使えば,通常のループに自然に組み込めるので,違和感は少ない。また,連番に必要なコードはループ変数を増加させるだけなので,最小となる。

欠点
  • ループ内でループ変数のインクリメントが必要
  • ループの度に評価が行われるので速度が遅い
printf

次の方法は,printfで指定回数文だけ空白区切りの文字列を用意することだ。

N=10
# for i in $(printf "%0${N}d\n" | sed 's/0/0 /g'); do
for i in $(printf "%0${N}d\n" | fold -w 1); do
echo $i # 0
done

この方法は少しトリッキーなので仕組みを解説する。

printfコマンドで%0による0パティングにより任意の数の0を一度に出力できることを利用している。最初のprintf "%0${N}d\n"で任意の個数の0を出力して,これを1文字ずつ改行することで実現する。foldの他にsedで00 に置換することでも実現できる。

処理の内容が単純で,ループ変数のインクリメントが不要なので,速い実行速度を期待できる。

欠点
  • ループ変数の値が0固定
  • コードがトリッキーで覚えにくい

seqコマンドの代替

もう片方のアプローチとしては,seqコマンドそのものを代替することだ。seqコマンドのように連番の数字を別の方法で出力して,それをfor文に使う。bcコマンドとawkコマンドを使う2通りの方法がある。

bc

まず,bcコマンドを使う方法は以下の通りだ。

N=10
for i in $(echo "for (i=1; i<=$N; ++i) i" | bc); do
echo $i
done

この方法では,bcコマンドが計算式と認識できる式をパイプで渡してbcコマンドで式を実行している。

欠点
  • コードが複雑
  • 標準でインストールされていない環境がある

bcコマンドはPOSIXで定義されているが,標準で付属されていない環境がいくつかある。試しに,Ubuntu16.04で以下のコマンドを実行すると,外部パッケージとしてインストールされていることがわかる。

apt search bc 2>&- | grep -B 1 "GNU bc"
bc/xenial,now 1.06.95-9build1 amd64 [installed,automatic]
  GNU bc arbitrary precision calculator language

その他,seqコマンドをPOSIX互換で本気で実装する場合,bcコマンドは小数の出力形式がまちまちであるなどいくつかの欠点がある。

awk

続いて,awkで実装する場合以下の通りとなる。

N=10
for i in $(awk "BEGIN{for(i=1; i<=$N; ++i) print i}"); do
echo $i
done

bcとほぼ同様で,C系言語のfor文の書式で連番を出力している。awkだと出力形式などをカスタマイズしやすいという利点がある。

欠点
  • コードが複雑

portability – Portable POSIX shell alternative to GNU seq(1)? – Unix & Linux Stack Exchange

速度比較

ここまでで,POSIX互換な合計5通りのループの実装方法を説明した。最後にこれらの実装の速度を比較して,どれが最良であるかの判断材料とする。

以下のコードで示すように,10万回のループを実行して速度を測る。

POSIX互換なループ実装の速度比較コード
N=100000 \time -p sh -c 'while [ $((i+=1)) -le $N ]; do echo $i >/dev/null; done'
N=100000 \time -p sh -c 'for i in $(printf "%0${N}d\n" | sed "s/0/0 /g"); do echo $i >/dev/null; done'
N=100000 \time -p sh -c 'for i in $(printf "%0${N}d\n" | fold -w 1); do echo $i >/dev/null; done'
N=100000 \time -p sh -c 'for i in $(echo "for (i=1; i<=$N; ++i) i" | bc); do echo $i >/dev/null; done'
N=100000 \time -p sh -c 'for i in $(awk -v N=$N "BEGIN{ for(i=1; i<=N; ++i) print i}"); do echo $i >/dev/null; done'

さらに,上記のコードを5回実行して平均をとったものを以下の表にまとめた。

速度比較と欠点のまとめ
方法 5回平均user時間[s] 欠点
while 0.312 ループ毎に評価が必要なので遅い。
for-printf-sed 0.168 ループ変数が0固定。
for-printf-fold 0.160 ループ変数が0固定。
for-bc 0.266 whileに比べると複雑。インストールされていないことがある。
for-awk 0.180 whileに比べると複雑。

この結果から,最速だったのはprintfを使ったものだった。この方法では,ループ変数のインクリメントなどが不要であり,処理が単純なので速かったのだと思われる。また,sedとfoldでは,foldのほうがわずかに速かった。foldのほうが記述が簡単なので,for-printfでのループではfoldを使うのが良いだろう。

次点はawkによるものだった。最も遅かったのはやはりwhileによるものだった。whileではループの度にインクリメントや評価が行われるので,速度が遅くなるだろうという予想通りの結果となった。

printfawkによるものはwhileの方法の約2倍の実行速度であり有力だと感じた。

結論

5通りのループの実装方法を紹介し速度を計測した。この結果から,awkによる実装がベストだろうと思った。

N=10
for i in $(awk "BEGIN{for(i=1; i<=$N; ++i) print i}"); do
echo $i
done

理由は以下2点だ。

  1. 速度が速い
  2. 応用が効く

短いループを何回も行う場合でも,実行速度は重要になる。awkを使っておけば,ループ変数の出力の形式を調整したり,デクリメントなど複雑な連番処理にも対応でき,seq自体をawkを使って自分で実装して代替することもできそうだ。

しかし,awkで行う場合は記述が長くなってしまう。ループ変数がそもそも不要であったり,デクリメントなどループ変数の処理が不要な場合は,記述の手軽さからprintfコマンドを使うのも悪くない。

N=10
for i in $(printf "%0${N}d\n" | fold -w 1); do echo $i # 0 done

また,速度は劣るものの,記述が簡単であり,ループ変数から番号も取得できるので,素直にwhile文を使うのもありだろう。whileだとデクリメントや2個飛ばしなども,ループ変数の加減算により簡単にできる。

N=10
i=0
while [ $((i+=1)) -le $N ]; do
echo $i
done

用途に応じて,awkprintfwhileを使い分けるのがよいだろう。個人的には,以下の優先順位で利用を検討するのがよいと思った。

POSIX互換なループの実現方法
方法 利用場面
for-printf ループ変数が不要な場合。
while ループ回数が少なく,速度が重要でない場合。
for-awk 実行速度が重要な場合,汎用性を高める場合。

今後,シェルスクリプトで指定回数のループを行うときは,seqを使わずにfor-printfwhilefor-awkを使いPOSIX互換なシェルスクリプトを心がけていこう。

オプションのないseqのawkでの実装

最後に,参考までにawkによるseqの実装コードを記す。オプションのパースが複雑になるので,ひとまずオプションは使わないという前提をおいている。

引数の処理を行い,デクリメントなども対応している。その内勉強も兼ねて,POSIX互換なseqの実装にも挑戦してみたい。

awkによるオプションのないseqの実装例
:
################################################################################
## \file      seq-minimum.sh
## \author    SENOO, Ken
## \copyright CC0
################################################################################

set -eu
umask 0022
export LC_ALL='C' PATH="$(command -p getconf PATH):$PATH"
seq()( HELP_WARN="Try 'seq --help' for more information.\n" ## Check arguments case $# in 1) LAST="$1";; 2) FIRST="$1" LAST="$2";; 3) FIRST="$1" INCREMENT="$2" LAST="$3";; 0) printf "seq: missing operand\n$HELP_WARN" 1>&2; exit 1;; *) printf "seq: extra operand '$4'\n$HELP_WARN" 1>&2; exit 1;; esac ## Set default value : ${FIRST:=1} ${INCREMENT:=1} ${COMPARISON:=<} case "$INCREMENT" in -*) COMPARISON='>';; esac ## Execute seq awk "BEGIN{for(i=$FIRST; i$COMPARISON=$LAST; i+=$INCREMENT) print i}" ) seq ${1+"$@"}

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

Install Sphinx from source on Linux

Pythonで書かれたドキュメントツールであるSphinxをオフラインのLinuxでソースからインストールしたので方法を記す。今回の方法ではPython2でも3でも対応できる。

Introduction

職場のソースコードの文書化システムとしてSphinxがどんなものか試すことになり,まずはインストールする必要があった。

Pythonは3.4からパッケージマネージャーのpipが標準で付属しており,通常であればこれを使えば簡単にSphinxをインストールできる。

pip install --user sphinx

ただし,pipは不足している依存関係をWebからダウンロードしようとするので,インターネットと繋がっていなければこの手段は使えない。今回は職場のインターネットに繋がっていないマシンにインストールしてみたかったので,この方法ではだめだ。そこで,インターネットに繋がるマシンで必要な依存関係を自分でダウンロードして,インストールしたいマシンにtar.gzを配置する。そこで,tar.gzに対してpipを実行することでインストールする。

必要な依存関係はパッケージのsetup.pyrequires変数に書かれている。これをみると,Sphinxの依存関係は以下であることがわかる。

requires = [
    'six>=1.4',
    'Jinja2>=2.3',
    'Pygments>=2.0',
    'docutils>=0.11',
    'snowballstemmer>=1.1',
    'babel>=1.3,!=2.0',
    'alabaster>=0.7,<0.8',
    'imagesize',
    'requests',
]

さらに,これらの依存関係に存在するパッケージが以下に示す依存関係を必要とする。

babel
pytz
jinja
markupsafe

全部のパッケージを手動でsetup.pyからインストールするのは面倒なので,以下の手順でpipでインストールする。

  1. 最初にpipをソースからインストール
  2. 残りのSphinxの依存関係はpipでソースファイルからインストール

pipの依存関係はsetupttoolsである。これらを整理すると,以下の順番でインストールを行うこととなる。

  1. ソースのsetup.pyからpipをインストール
    1. setuptools
    2. pip
  2. Sphixの依存関係をpipでインストール
    1. pytz, markupsafe
    2. その他(six, Jinja2, Pygments, docutils, snowballstemmer, babe, alabaster, imagesize,requests)
    3. Sphinx

今回はルート権限を使いたくないので,$HOME/.local配下に全てインストールする。便宜のためLOCAL=$HOME/.localとしておく。

Download all dependencies

依存関係を手作業で全てダウンロードするのは面倒なのでwgetでのダウンロードコードを以下に掲載する。

bash
LOCAL="$HOME/.local"
GET="wget -nc"
mkdir -p "$LOCAL/src/python"
cd "$LOCAL/src/python"

## For pip
$GET https://pypi.python.org/packages/6b/dd/a7de8caeeffab76bacf56972b3f090c12e0ae6932245abbce706690a6436/setuptools-28.3.0.tar.gz
$GET https://pypi.python.org/packages/e7/a8/7556133689add8d1a54c0b14aeff0acb03c64707ce100ecd53934da1aa13/pip-8.1.2.tar.gz

## For Sphinx
$GET 'https://pypi.python.org/packages/1f/f6/e54a7aad73e35232356103771ae76306dadd8546b024c646fbe75135571c/Sphinx-1.4.8.tar.gz#md5=5ec718a4855917e149498bba91b74e67'

$GET 'https://pypi.python.org/packages/53/35/6376f58fb82ce69e2c113ca0ebe5c0f69b20f006e184bcc238a6007f4bdb/pytz-2016.7.tar.bz2#md5=8d8121d619a43cf0b38a4195de1cb8a5'
$GET 'https://pypi.python.org/packages/c0/41/bae1254e0396c0cc8cf1751cb7d9afc90a602353695af5952530482c963f/MarkupSafe-0.23.tar.gz#md5=f5ab3deee4c37cd6a922fb81e730da6e'

$GET 'https://pypi.python.org/packages/b3/b2/238e2590826bfdd113244a40d9d3eb26918bd798fc187e2360a8367068db/six-1.10.0.tar.gz#md5=34eed507548117b2ab523ab14b2f8b55'
$GET 'https://pypi.python.org/packages/f2/2f/0b98b06a345a761bec91a079ccae392d282690c2d8272e708f4d10829e22/Jinja2-2.8.tar.gz#md5=edb51693fe22c53cee5403775c71a99e'
$GET 'https://pypi.python.org/packages/b8/67/ab177979be1c81bc99c8d0592ef22d547e70bb4c6815c383286ed5dec504/Pygments-2.1.3.tar.gz#md5=ed3fba2467c8afcda4d317e4ef2c6150'
$GET 'https://pypi.python.org/packages/37/38/ceda70135b9144d84884ae2fc5886c6baac4edea39550f28bcd144c1234d/docutils-0.12.tar.gz#md5=4622263b62c5c771c03502afa3157768'
$GET 'https://pypi.python.org/packages/20/6b/d2a7cb176d4d664d94a6debf52cd8dbae1f7203c8e42426daa077051d59c/snowballstemmer-1.2.1.tar.gz#md5=643b019667a708a922172e33a99bf2fa'
$GET 'https://pypi.python.org/packages/6e/96/ba2a2462ed25ca0e651fb7b66e7080f5315f91425a07ea5b34d7c870c114/Babel-2.3.4.tar.gz#md5=afa20bc55b0e991833030129ad498f35'
$GET 'https://pypi.python.org/packages/71/c3/70da7d8ac18a4f4c502887bd2549e05745fa403e2cd9d06a8a9910a762bc/alabaster-0.7.9.tar.gz#md5=b29646a8bbe7aa52830375b7d17b5d7a'
$GET 'https://pypi.python.org/packages/53/72/6c6f1e787d9cab2cc733cf042f125abec07209a58308831c9f292504e826/imagesize-0.7.1.tar.gz#md5=976148283286a6ba5f69b0f81aef8052'
$GET 'https://pypi.python.org/packages/2e/ad/e627446492cc374c284e82381215dcd9a0a87c4f6e90e9789afefe6da0ad/requests-2.11.1.tar.gz#md5=ad5f9c47b5c5dfdb28363ad7546b0763'

Install setuptools and pip

まず,setuptoolsとpipをソースのsetup.pyからインストールする。setup.pyからインストールするときは,インストール先にPYTHONPATHに設定されているディレクトリを指定しなければエラーとなる。PEP 370によれば,Unixでは~/.local/lib/pythonX.X/site-packages(X.Xはバージョン)が既定で指定されているので,事前にこのディレクトリを用意しておけばよい。なお,この場所が気に入らなければ,PYTHONUSERBASE環境変数に値を指定することで,~/.localの部分を変更できる。

現在のPythonのバージョンをシェルスクリプトのワンライナーで変数に取得してディレクトリを作成しておく。

PYTHONVERSION=$(python -V 2>&1 | grep -E -o '[0-9]+\.[0-9]+')  # Get python version
mkdir -p ~/.local/lib/python$PYTHONVERSION/site-packages

そして,stuptoolsとpipを順番にインストールする。

## setuptools
cd $LOCAL/src/python
tar xf setuptools-*.tar.gz
cd setuptools-*
python setup.py install --prefix=$LOCAL

## pip
cd $LOCAL/src/python tar xf pip-*.tar.gz cd pip-* python setup.py install --prefix=$LOCAL

これでpipのインストールが完了した。

Install Sphinx

続いてpipを使ってSphinxに必要なパッケージをインストールしていく。babelとjinja2だけpytzとMarkUpSafeの依存
関係が必要なので,これらを先にインストールしていく。また,一個ずつpipでインストールするのは煩雑なので,Sphinxだけ最後にインストールする
ようにして,for文を使ったシェルスクリプトで一括でインストールする。

cd $LOCAL/src/python
pip install --user pytz-*.tar.*
pip install --user MarkupSafe-*.tar.*

for i in *.tar*
do
[ "${i%%*Sphinx*}" ] && pip install --user "$i"
done

pip install --user Sphinx-*.tar.*

これでSphinxのインストールは完了した。

Conclusion

Sphinxをソースコードからインストールする方法を記した。必要なものは全てソースからインストールしたのでPythonのバージョンに依存せず,2でも3でも対応できた。実際には,Python2.7と3.3で動作を確認できた。

普段はpipを使っていてあまり意識しないが,Sphinxはたくさんの小さなパッケージに依存していることが分かった。1個ずつ手動でインストールするのは面倒なので,pipが便利だと思った。たぶん今回のようにオフラインの環境にインストールすることはこの先もあまりないと思うので勉強になった。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です