先行ステップと後続ステップを同時に実行する

名前付きパイプの利用

USS(Unix System Service)の階層型ファイル・システムによって、FIFO特殊ファイルを利用することができます。FIFO特殊ファイルは、「名前付きパイプ」とも呼ばれるプロセス間通信に使われる仕組みの1つです。z/OSのUSSでは、MVSバッチ・ジョブもこのFIFO特殊ファイルを使用することができ、次の図に示すような処理を同時に実行させることができます。

名前付きパイプによるデータの受け渡し

FIFOファイルの使用は簡単です。バッチ・ジョブのDDステートメントでは、DSNではなくPATHパラメーターを指定します。USS内ファイルのパス名の他に、DSNTYPE=PIPEを追加で指定すれば名前付きパイプになります。FIFOファイルを利用すれば、書き込み側ジョブと読み込み側ジョブのいずれが先に実行されてもかまいません。読み取り側が先に実行されても、書き込み側がレコードを書き込むまでは読み取り側のREAD動作で待ち状態になります。このサンプルでは、どちらが先に実行されてもいいように、どちらのジョブのFIFOファイルのPATHOPTSにもOCREATオプションを指定しています。(先に走った方がFIFOファイルを作る)

JES2のJEC(JOB Execution Controls) を利用することで、並行処理可能なステップをジョブに分割し易くなっています。名前付きパイプの機能と組み合わせれば、データの依存関係にあるジョブであっても同時に実行することができます。USSのFIFO特殊ファイル(名前付きパイプ)の利用は、バッチ処理パフォーマンスを向上させる有用な方法の1つです。

実際の効果

名前付きパイプによるバッチ・ジョブELAPS時間
レコード数 書き込み→読み込みの縦列処理 書き込みと読み込みの並行処理 処理効率
300万レコード 約4秒(3~4秒) 約2秒(1~2秒) △50%
500万レコード 約5秒(5~5秒) 約3秒(2~3秒) △40%
1000万レコード 約10秒(9~10秒) 約5秒(5~5秒) △50%

IBM Z14(3906-M04:z/VM Guest)でのバッチ・ジョブ実行時間の実測結果です。以前にzEC12(2827-H43:z/VM Guest)システムでも計測しましたが、いずれも2つのジョブ・ステップを順番に実行した時に比べて4割から5割の時間が削減されています。2つのステップを順番に実行したときの実行時間を1とすれば、それぞれのステップをジョブに分割して同時に実行した場合は、約0.5~0.6程度の実行時間で終了しています。
テスト用のz/OSシステムで関連するジョブだけを実行しているので遅延はほとんどありませんが、実働のシステムでは他にも沢山のジョブが同時に実行されるので遅延時間も加算されます。しかし、順番での実行であっても並行しての実行であってもシステム状況による遅延は同様に発生しますから、相対的な速度差が大きくぶれるようなことはないでしょう。
名前付きパイプを利用すれば、先行処理で書き出したデータ・レコードを即座に後続処理で読み出すことができます。結果として両方の処理が並行して実行できるので合計の処理時間は大幅に短縮されます。プログラムの修正などをすることなく、JCLとジョブ・スケジューリングの見直しでバッチ処理の効率向上を図ることができます。

FIFO特殊ファイル(名前付きパイプ)は、USSの階層型ファイルシステム内に作成されます。利用するには、その前提である階層型ファイルシステムについて概要と使い方を知っておく必要があります。USSの階層型ファイルシステムについては、「z/OS UNIXファイルシステム」「バッチ・ジョブから階層型ファイル・システムを使う」の記事でも解説しています。

なお、名前付きパイプの機能は、USS(Unix System Service)の階層型ファイルシステムによるFIFO特殊ファイルとは別に、IBMのプログラム製品である「BatchPipes for OS/390」(*1)によっても利用できます。20年以上も前から提供されているもので、実際に導入し利用しているユーザーもいるでしょう。BatchPipesが導入されている場合は、そちらを使うことで名前付きパイプの機能を利用できます。ただし、BatchPipesは有償のプログラム製品です。利用状況のモニタリングやパフォーマンス・チューニング等、有償製品のBatchPipesは機能的にも豊富ですが、z/OS単体で利用できるUSSのFIFO特殊ファイルであれば容易に試して効果の検証を行うことができます。


*1 2000年に当時のOS/390向けに最後のバージョンが出荷された以降エンハンスはされていないが、現在のz/OS V2でも同製品が継続して出荷されている。

Print Friendly, PDF & Email