日本語 man コマンド類 (ja-man-1.1j_5) と日本語 man ドキュメント (ja-man-doc-5.4 (5.4-RELEASE 用) など) をインストールすると、以下のような man コマンド閲覧、キーワード検索が コンソールからできるようになります。
4.11-RELEASE-K, 5.4-RELEASE-K, 5.5-RELEASE-K, 6.0-RELEASE-K から 6.4-RELEASE-K, 7.0-RELEASE-K から 7.4-RELEASE-K, 8.0-RELEASE-K から 8.4-RELEASE-K, 9.0-RELEASE-K から 9.3-RELEASE-K, 10.0-RELEASE-K から 10.3-RELEASE-K, 11.0-RELEASE-K から 11.4-RELEASE-K, 12.0-RELEASE-K, 12.1-RELEASE-K は、 プライベート版 (小金丸が編集してまとめたもの) ですが、 より多くの翻訳したファイルが含まれています。 (5.4-RELEASE-K から 6.4-RELEASE-K, 7.0-RELEASE-K から 7.4-RELEASE-K, 8.0-RELEASE-K から 8.4-RELEASE-K, 9.0-RELEASE-K から 9.3-RELEASE-K, 10.0-RELEASE-K から 10.3-RELEASE-K, 11.0-RELEASE-K から 11.4-RELEASE-K, 12.0-RELEASE-K から 12.3-RELEASE-K, 13.0-RELEASE-K から 13.2-RELEASE-K は、全翻訳済み)
13.3-STABLE-K, 15.0-CURRENT-K は現在、作成中で日々更新されています。
Table of Contents
bzip2(1) bzip2(1)
名称
bzip2, bunzip2 - ブロックソーティングによるファイル圧縮器, v1.0.6
bzcat - ファイルを伸長して標準出力へ書き込む
bzip2recover - 破損した bzip2 ファイルからデータを復元
書式
bzip2 [ -cdfkqstvzVL123456789 ] [ filenames ... ]
bunzip2 [ -fkvsVL ] [ filenames ... ]
bzcat [ -s ] [ filenames ... ]
bzip2recover filename
解説
bzip2 は、Burrows-Wheeler ブロックソーティングテキスト圧縮アルゴリズム
と Huffman 符号を使ってファイルを圧縮します。圧縮率は大抵、より一般的な
LZ77/LZ78 をベースとした圧縮器より大変良く、性能は、統計的圧縮器の PPM
ファミリに迫っています。
コマンドラインオプションは、意図的に GNU gzip のものに似せてあります
が、同一ではありません。
bzip2 は、コマンドラインフラグを伴ったファイル名のリストを受け取りま
す。各ファイルは、"original_name.bz2" という名前の圧縮済みファイルで置
き換えられます。圧縮された各ファイルは、元のファイルと同じ更新時刻およ
びパーミッションを持ち、そして可能なら同じ所有者となります。これにより
これらの属性は、伸長時に正しく復元可能となります。ファイル名の扱いは単
純で、元ファイルの名前、パーミッション、所有者、日付の概念が無いファイ
ルシステムや、MS-DOS のようにファイル名の長さに大きな制限があるファイル
システムでは、それらを保存する機構はありません。
bzip2 と bunzip2 は、デフォルトでは、既存のファイルを上書きしません。上
書きしたい場合は、-f フラグを指定してください。
ファイル名が指定されない場合、bzip2 は、標準入力を圧縮して標準出力へ書
き込みます。この場合 bzip2 は、圧縮された結果を端末へ書き込みません。そ
れは、全く読むことができず、出力することは、無意味だからです。
bunzip2 (または bzip2 -d) は、指定されたすべてのファイルを伸長します。
bzip2 で生成されたのではないファイルを検出・無視し、さらに警告を発しま
す。bzip2 は、以下のようにして圧縮済みファイルの名前から伸長後のファイ
ル名を推測します:
filename.bz2 は filename とします
filename.bz は filename とします
filename.tbz2 は filename.tar とします
filename.tbz は filename.tar とします
anyothername は anyothername.out とします
ファイル名が .bz2, .bz, .tbz2 または .tbz のような、認識できる名前で終
わっていない場合、bzip2 は、元のファイル名が推測できない旨を通知して
.out を付加した名前を元のファイル名として使います。
圧縮の場合と同様に、ファイル名が指定されない場合は、標準入力を伸長して
標準出力へ書き込みます。
bunzip2 は、2 つ以上の圧縮済みファイルを連結したファイルを正しく伸長し
ます。得られるファイルは、伸長後のファイルを連結したものです。連結した
圧縮ファイルに対しても健全性のテスト (-t) がサポートされています。
-c フラグを与えることで、ファイルを圧縮または伸長した結果を標準出力へ書
き込むことができます。このフラグを与えて、複数のファイルを圧縮または伸
長することができます。結果は、標準出力へ順番に書き込まれます。この方式
による複数ファイルの圧縮では、複数の圧縮ファイルからなるストリームが生
成されます。このストリームは、バージョン 0.9.0 以降の bzip2 でしか正し
く伸長できません。これより前のバージョンの bzip2 では、ストリーム中の最
初のファイルを伸長した後に停止します。
bzcat (または bzip2 -dc) は、指定された全てのファイルを伸長し、標準出力
に書き込みます。
bzip2 は、引数として環境変数 BZIP2 と BZIP を順番に読み、コマンドライン
から読んだ引数より先に処理します。これは、デフォルトの引数を与えるのに
便利です。
圧縮後のファイルが元のファイルよりも少し大きくなる場合でも、常に圧縮は
行われます。圧縮機構には、常に 50 バイトのオーバヘッドがあるので、約
100 バイトよりも小さなファイルは、大きくなる傾向があります。ランダムな
データ (ほとんどのファイル圧縮器の出力も) は、1 バイト当たり約 8.05
ビットで符号化され、約 0.5% 大きくなります。
保護のための自己チェックとして、bzip2 は、伸長後のファイルと元のファイ
ルとの同一性を確かめるために 32 ビット CRC を使います。これにより、圧縮
済みデータの破損や bzip2 のまだ見つかっていないバグ (ほとんど無いはすで
す) から守ります。データの破壊が検出できない確率は、極めて小さく、各
ファイルの処理 40 億回あたり 1 回程度です。ただし、このチェックは、伸長
の時にしか行われず、したがって何か間違いが発生したことしか分かりませ
ん。圧縮前の元データを復元するのには、役に立ちません。破損したファイル
からデータを復元するのに bzip2recover を試みることはできます。
戻り値: 正常終了の場合は、0 が返されます。実行環境の問題 (ファイルが見
つからない、無効なフラグ、入出力エラーなど) の場合は、1 が戻ります。圧
縮ファイルが破損している場合は、2 が戻ります。bzip2 にパニックを引き起
こす内部整合性エラー (例えばバグ) の場合は、3 が戻ります。
オプション
-c --stdout
圧縮または伸長した結果を標準出力に書き込みます。
-d --decompress
伸長を強制します。bzip2, bunzip2, bzcat は、実際には同じプログラ
ムで、どの動作をするのかは、どの名前が使われたかに基づいて決めら
れます。このフラグは、それよりも優先され、bzip2 に伸長を強制させ
ます。
-z --compress
-d の反対: 起動時の名前にかかわらず、圧縮を強制します。
-t --test
指定されたファイルの健全性チェックをしますが、伸長はしません。実
際には、伸長を試み、その結果は捨てています。
-f --force
出力ファイルの上書きを強制します。通常 bzip2 は、既存の出力ファ
イルを上書きしません。さらに bzip2 にファイルへのハードリンクを
切断させます。このオプションが指定されていない場合は、ハードリン
クの切断はされません。
bzip2 は、通常、正しいマジックヘッダバイトを持たないファイルの伸
長を拒否します。強制 (-f) すると、そのようなファイルを修正せずに
そのまま通過させます。これは、GNU gzip の動作と同じです。
-k --keep
圧縮または伸長後でも入力ファイルを保存します (削除しません)。
-s --small
圧縮、伸長、テストの際のメモリ使用量を減らします。ブロックバイト
あたり 2.5 バイトしか必要としないように変更されたアルゴリズムを
使って、ファイルの伸長やテストが行われます。全てのファイルが
2300k のメモリで伸長できますが、通常の約半分の速度になってしまい
ます。
圧縮時に -s を使うと 200k のブロックサイズが選択されます。メモリ
使用量は、ほぼ同じ大きさに制限されますが、圧縮率が犠牲になりま
す。つまり、マシンに搭載されているメモリが少なければ (8 メガバイ
ト以下) つねに -s フラグを使ってください。後述するメモリ管理の項
目を参照してください。
-q --quiet
本質的でない警告メッセージは、出力しません。入出力エラーと致命的
なイベントに関連するメッセージは、出力されます。
-v --verbose
詳細表示モードです。処理されたファイル毎に圧縮率を表示します。さ
らに -v を与えると詳細表示のレベルが上がり、主に診断を目的とする
多くの情報が出力されます。
-L --license -V --version
ソフトウェアのバージョン、ライセンス条項とその条件が表示されま
す。
-1 (または --fast) から -9 (または --best)
圧縮時のブロックサイズを 100 k, 200 k .. 900 k に設定します。伸
長時には、何も影響がありません。下のメモリ管理の項目を参照してく
ださい。--fast と --best という別名は、第一義的には、GNU gzip と
の互換性のためです。特に、--fast は、非常に高速になるわけではあ
りません。また、--best は、単にデフォルト動作を選択するだけで
す。
-- これ以降の引数については、ダッシュで始まるものでもファイル名とし
て扱われます。これによりダッシュで始まるファイル名も扱うことがで
きます。例えば次のように使います: bzip2 -- -myfilename
--repetitive-fast --repetitive-best
これらのフラグは、バージョン 0.9.5 以降では冗長です。これらは、
以前のバージョンで整列アルゴリズムの動作を大雑把に制御するために
提供されたもので、時々は、役立っていたものでした。0.9.5 以降でこ
れらのフラグが無関係になる改良されたアルゴリズムが使われていま
す。
メモリ管理
bzip2 は、大きなファイルをブロック毎に圧縮します。ブロックサイズは、達
成される圧縮率と、圧縮または伸長に要するメモリの量に影響します。-1 から
-9 までのフラグは、それぞれブロックサイズを 100,000 バイトから 900,000
バイト (デフォルト) に指定します。伸長時には、圧縮時に使われたブロック
サイズが圧縮ファイルのヘッダから読まれ、bunzip2 は、ファイルを伸長する
のに十分なだけのメモリを確保します。ブロックサイズは、圧縮ファイルに格
納されているので、伸長時には、フラグ -1 から -9 は、無関係であり、無視
されます。
圧縮と伸長に必要なメモリ量は、次のように見積もることができます:
圧縮: 400k + ( 8 x ブロックサイズ )
伸長: 100k + ( 4 x ブロックサイズ ), または
100k + ( 2.5 x ブロックサイズ )
ブロックサイズを大きくするにしたがい、効果は、急速に減少していきます。
大部分の圧縮は、最初の 200k あるいは 300k のブロックサイズで得られま
す。この事実を覚えておけば、小規模なマシンで bzip2 を使うときに役立つで
しょう。また、圧縮時に選択されたブロックサイズにより伸長に必要なメモリ
量が設定されることを知っておくのも重要です。
ブロックサイズがデフォルトの 900k で圧縮されたファイルを bunzip2 が伸長
する時は、3700 キロバイト必要です。4 メガバイトしかメモリを搭載していな
いマシンであらゆるファイルを伸長するために、bunzip2 には、約半分の 2300
キロバイトの量のメモリを使うオプションがあります。伸長速度も半分になる
ので、このオプションは、必要な場合にのみ使うべきです。そのフラグは、-s
です。
一般には、メモリ量が許す限り大きなブロックサイズを試して使ってくださ
い。こうすることで最も高い圧縮率を達成できます。ブロックサイズは、圧縮
と伸長の速度にほとんど影響しません。
単一のブロックに収まっているファイルに関しては、もう一つの重要なポイン
トがあります。これは、大きなブロックサイズにした場合にほとんどのファイ
ルがあてはまります。この場合、ファイルは、ブロックより小さいので、利用
される実メモリの量は、ファイルの大きさに比例します。例えば、長さが
20,000 バイトのファイルを -9 というフラグを与えて圧縮する場合、圧縮器
は、約 7600k のメモリを割り当てますが、そのうち 400k + 20000 * 8 = 560
キロバイトしか使いません。同様に伸長器は、3700k を割り当てますが、100k
+ 20000 * 4 = 180 キロバイトしか使いません。
異なるブロックサイズにおける最大メモリ使用量をまとめた表を示します。ま
た全部で 14 ファイル、合計 3,141,622 バイトからなるカルガリーテキスト圧
縮文献集を圧縮した後のサイズも示します。このカラムから、ブロックサイズ
によって圧縮がどのように変わるかを知ることができます。文献集は、比較的
小さなファイルが多いので、この表は、大きなファイルに対して大きなブロッ
クサイズを使った場合の利点を過小評価する傾向にあります。
圧縮時 伸長時 伸長時 文献集の
フラグ 使用量 使用量 使用量 (-s) サイズ
-1 1200k 500k 350k 914704
-2 2000k 900k 600k 877703
-3 2800k 1300k 850k 860338
-4 3600k 1700k 1100k 846899
-5 4400k 2100k 1350k 845160
-6 5200k 2500k 1600k 838626
-7 6100k 2900k 1850k 834096
-8 6800k 3300k 2100k 828642
-9 7600k 3700k 2350k 828642
破損したファイルからデータを復元する
bzip2 は、ファイルを大抵 900 キロバイトのブロック毎に圧縮します。それぞ
れのブロックは、独立に扱われます。メディアや転送時の誤りにより、複数ブ
ロックからなる .bz2 ファイルが破壊された場合でも、ファイル中の破損して
いないブロックからデータを復元できる可能性があります。
各ブロックの圧縮された表現は、48 ビットのパターンで区切られており、これ
を使ってブロックの境界を十分確実に見つけることができます。各ブロック
は、32 ビットの CRC を持ち、破損したブロックを破損していないブロックと
区別することができます。
bzip2recover は、.bz2 ファイル中のブロックを探し、それぞれのブロックを
別々の .bz2 ファイルへ書き込む単純なプログラムです。その後で bzip2 -t
を使って得られた各ファイルの健全性をテストし、破損していないファイルを
伸長することができます。
bzip2recover は、単一の引数として破損したファイルの名前をとり、抽出され
たブロックを含む "rec00001file.bz2", "rec00002file.bz2"という大量のファ
イルを書き込みます。出力されるファイル名は、その後の処理でワイルドカー
ドが使えるように設計されています。例えば "bzip2 -dc rec*file.bz2 >
recovered_data" とすれば、ファイルを正しい順番で処理できます。
bzip2recover は、大きな .bz2 ファイルを扱うときに最も役に立ちます。大き
な .bz2 ファイルには大量のブロックが含まれているからです。破損したブ
ロックの復旧はできないため、単一のブロックだけで構成されている破損ファ
イルに対しては役に立たないのは明らかです。メディアや転送時の誤りで発生
するデータの損失の可能性を最小にしたい場合には、小さなブロックサイズで
圧縮することが考えられます。
性能に関する注釈
圧縮におけるソート段階では、ファイル中の類似した文字列を集めます。この
ため、"aabaabaabaab ..." のように記号が何回も長く (数百回) 繰り返されて
いるファイルを圧縮する場合は、通常より遅くなります。バージョン 0.9.5 以
降では、以前のバージョンに比べてこの点がかなり改善されています。圧縮時
間の最も悪い場合と平均的な場合の比は、10:1 の範囲です。以前のバージョン
では、100:1 というような比でした。オプション -vvvv を与えることで、進行
状況を大変詳しく見ることができます。
伸長の速度は、これらの現象に影響されません。
bzip2 は、動作のために大抵数メガバイトのメモリを確保し、全くランダムに
その領域を変更します。これは、マシンがキャッシュミスに対してどれだけの
速度で対処できるかが、圧縮や伸長の性能を大きく決定するということを意味
します。このため、キャッシュミスの割合を減らすようにコードを少し変更す
ることにより、性能が大きく向上することがわかっています。bzip2 は、とて
も大きなキャッシュを持つマシンで最高の性能を出すと考えられます。
警告
入出力エラーのメッセージは、それほど役立ちません。bzip2 は、できるだけ
入出力エラーを検出し、正しく終了するように試みますが、何が問題なのかの
詳細は、時々かなり間違ったものになることがあります。
このマニュアルページは、bzip2 のバージョン 1.0.6 について述べています。
このバージョンが生成する圧縮データは、前方互換性と、以前の公開リリース
であるバージョン 0.1pl2, 0.9.0, 0.9.5, 1.0.0, 1.0.1, 1.0.2 と上記に対す
る後方互換性がありますが、次の例外があります: 0.9.0 以降は、複数の圧縮
ファイルを連結したファイルを伸長できますが、0.1pl2 はできません。スト
リームの先頭にあるファイルを伸長した後に停止します。
バージョン 1.0.2 以前の bzip2recover では、圧縮ファイル中のビットの位置
を表現するために 32 ビット整数を使っているので、512 メガバイトより長い
圧縮ファイルを扱うことができませんでした。バージョン 1.0.2 以上では、64
ビット整数をサポートするプラットフォーム (GNU がサポートするものと
Windows) の一部で、64 ビット整数を使用しています。bzip2recover にこの制
限が有るか無いかを確認するには、引数無しで実行してください。MaybeUInt64
を符号無し 64 ビット整数にして再コンパイルすれば、制限無しバージョンを
作成可能です。
作者
Julian Seward, jseward@bzip.org
http://www.bzip.org
bzip2 に含まれるアイデアは、(少なくとも) 以下の人々によるものです:
Michael Burrows と David Wheeler (ブロックソート変換)、David Wheeler
(再掲、Huffman 符号化器)、Peter Fenwick (オリジナルの bzip における構造
化コーディングモデルと多くの改良)、Alistair Moffat, Radford Neal そして
Ian Witten (オリジナルの bzip における算術符号化器)。私は、彼らの助けや
支援そしてアドバイスに感謝しています。ドキュメントの情報源については、
ソース配布中のマニュアルを参照してください。Christian von Roques は、圧
縮速度の向上のためにより速いソートアルゴリズムを探すことを勧めてくれま
した。Bela Lubkin は、圧縮速度が最も遅い場合の改良を勧めてくれました。
Donna Robinson は、文書を XML 化しました。bz* スクリプトは、GNU gzip 由
来です。多くの人がパッチを送り、移植性の問題について助けの手を差しの
べ、マシンを貸し、アドバイスをくれました。これらは、概ね助けになるもの
でした。
bzip2(1)