JPEGエンコーダの画質評価を行う

　画像フォーマットとして現在最も一般に普及しているのはJPEGと言えるでしょう。他にもPNG, TIFF, GIF辺りは古くから使われていますし、最近ではHEIF(HEIC)やWebMといった新しいフォーマットも登場しています。それでも、対応機器・ソフトウェアの数を考えると、やはりJPEGが最もスタンダードな画像形式と言えるでしょう。
　そんなJPEGですが、非可逆圧縮方式で画像データを記録するため、データ量は抑えられますが画質は劣化します。画像ファイルを小さくするために圧縮率を高めると、画質はさらに劣化します。といった特徴は比較的広く知られていますが、その劣化の程度がどの位なのか定量的に評価を行ってみました。
　

評価対象

• Photoshop CC 2019
• ImageMagick 7.0.8-14 Q16 x64 (libjpeg)

評価方法

　元画像に対してどれだけ劣化したかを評価するために、今回は指標としてPSNR(Peak Signal to Noise Ratio)を使います。オーディオなどでは、S/N比, SNR(Signal to Noise Ratio)として知られている指標と同じようなものですが、少し違います。頭にPが付いている通り信号はピーク値を採用します。画像の場合は、信号とはすなわち各ピクセルの情報であり、width*heightで表されるピクセル数の信号が存在するわけです。要するに、モノラルオーディオなら1chだけ、ステレオオーディオなら左右の2chだけですが、画像の場合は普通に数百万画素あるので、そのうち最も強度の強いピクセル(≒最も明るいピクセル)を代表として計算に使うわけです。
　以前、当ブログでGoogle製のJPEGエンコーダGuetzliを検証した際は、差分の最大値などで評価していました。
wave.hatenablog.com
　が、画像処理系の論文などではPSNRで評価していることが多いようなので、今回はPSNRで評価することにします。
　

評価用マスタ画像

　ffmpegで映像のテストソースを生成できますが、その1フレーム目を今回の画質評価用のマスタ画像として使います。解像度は1920x1080(Full HD)とし、ffmpegが出力する時点で非可逆圧縮されたくないので、マスタ画像はPNGで生成しています。

　お手元の環境で追試する場合は、以下のコマンドで今回使用した評価用マスタ画像と同じ画像を生成可能です。

ffmpeg -f lavfi -i testsrc=rate=30:size=1920x1080 -frames 1 MASTER_FRAME.png

検証

• Photoshopで評価用マスタ画像(PNG)を読み込み、JPEG形式で保存する際の画質(quality)パラメータ(0-12)毎に出力されたJPEG画像のPSNRを測定
  
  • JPEG保存時のオプションダイアログには画質指定以外に、形式オプションとして[ベースライン(標準)],[ベースライン(最適化)],[プログレッシブ スキャン:N]の3つの選択肢があるが、プログレッシブは今回の検証からは除外*1
• ImageMagickで評価用マスタ画像(PNG)を読み込み、-qualityオプション指定値(0-100)毎に出力されたJPEG画像のPSNRを測定

PSNR測定結果

　縦軸左にPSNR、縦軸右にJPEGファイルサイズ、横軸に画質パラメータとしてグラフにプロットすると以下の通り。

Photoshop

• [ベースライン(標準)]の場合

▶生データを表示

Quality	PSNR[dB]	FileSize[byte]
0	32.6019	54,725
1	32.5877	55,623
2	32.8511	58,790
3	32.9925	69,036
4	33.0673	70,904
5	33.1997	73,327
6	33.3865	80,235
7	43.797	112,763
8	48.1784	120,423
9	50.3957	128,193
10	53.5044	135,890
11	54.9123	192,681
12	55.7154	231,527

• [ベースライン(最適化)]の場合

▶生データを表示

Quality	PSNR[dB]	FileSize[byte]
0	32.6019	41,796
1	32.5877	42,614
2	32.8511	45,870
3	32.9925	47,046
4	33.0673	48,855
5	33.1997	51,205
6	33.3865	56,082
7	43.797	75,132
8	48.1784	84,017
9	50.3957	92,326
10	53.5044	98,766
11	54.9123	111,922
12	55.7154	124,148

　画質パラメータが同じなら、[ベースライン(標準)]と[ベースライン(最適化)]でPSNRは完全一致*2しています。つまり、[ベースライン(最適化)]は[ベースライン(標準)]と完全に同じ画質を維持しながら、ファイルサイズが削減できるようです。保存に要する時間も体感ではほぼ差が無いので、[ベースライン(最適化)]を常用すればいいでしょう。
　画質パラメータ6と7の間でPSNRが33.3865から43.797へと10dB以上も大きく変化しています。画質パラメータ6以下はPSNRが酷く、目視しても明らかに汚い(目に見える盛大なブロックノイズ、エッジ周辺が汚い、諧調が階段状)ため、実用に向かない品質*3と判断して良いでしょう。Web掲載用などデータボリュームに対する配慮が必要な用途では、画質パラメータ7～12の間で、所望するファイルサイズと画質のバランスを取ることになるでしょう。画質最優先なら画質パラメータ12(PSNR=55.7154)で固定でしょう。
　

ImageMagick

▶生データを表示

Quality	PSNR[dB]	FileSize[byte]
0	52.9359	83,402
1	26.2985	15,868
2	26.2985	15,868
3	26.3517	16,057
4	28.5124	16,560
5	28.6537	17,113
6	29.1406	17,584
7	28.4673	18,095
8	29.6378	18,518
9	30.2337	18,928
10	30.731	19,293
11	30.2369	19,534
12	29.8002	19,839
13	30.8391	20,333
14	31.1912	20,597
15	31.2646	20,952
16	30.7702	21,166
17	30.6249	21,513
18	31.0807	21,828
19	31.3516	22,137
20	31.4019	22,370
21	31.3337	22,689
22	31.6062	22,996
23	31.5822	23,280
24	31.6753	23,695
25	31.9077	24,150
26	31.6927	25,004
27	32.1054	25,396
28	31.9228	25,679
29	32.0735	25,886
30	32.1433	26,207
31	32.2641	26,551
32	32.3444	26,877
33	32.3292	27,044
34	32.4311	27,208
35	32.4538	27,419
36	32.4089	27,717
37	32.4239	27,935
38	32.5253	28,167
39	32.5788	28,422
40	32.5677	28,525
41	32.5705	28,829
42	32.6597	28,969
43	32.6841	29,125
44	32.6632	29,484
45	32.6676	29,590
46	32.6993	29,866
47	32.7071	29,970
48	32.7112	30,267
49	32.8136	30,606
50	32.8459	30,670
51	32.8585	30,716
52	32.9563	31,005
53	32.9717	31,235
54	32.9736	31,336
55	32.9643	31,552
56	32.9865	31,684
57	33.0108	31,961
58	33.0216	32,238
59	33.0309	32,426
60	33.0569	32,624
61	33.0681	33,038
62	33.0715	33,196
63	33.0693	33,455
64	33.1154	33,665
65	33.1086	34,133
66	33.1237	34,861
67	33.0805	35,123
68	33.1223	35,550
69	33.1496	35,934
70	33.218	36,186
71	33.2267	36,851
72	33.2379	37,039
73	33.2669	37,503
74	33.2742	37,959
75	33.2896	38,109
76	33.3252	38,754
77	33.3497	39,369
78	33.3554	39,783
79	33.3765	40,119
80	33.3989	40,598
81	33.4209	41,080
82	33.43	41,621
83	33.4437	42,844
84	33.4716	43,427
85	33.4709	44,696
86	33.4701	45,540
87	33.4985	46,345
88	33.5055	48,028
89	33.5123	48,778
90	51.884	80,724
91	52.3967	81,997
92	52.9359	83,402
93	53.479	89,717
94	54.0307	93,430
95	54.4301	96,532
96	54.9837	103,656
97	55.3504	111,950
98	55.6558	120,126
99	55.8383	140,292
100	55.9062	153,851

　qualityオプション89と90の間でPSNRが33.5123から51.884へと18db以上も大きく変化しています。qualityオプション1～89はPSNRが酷く、目視しても明らかに汚いため、Photoshopの画質パラメータ6以下同様に多くの場面で実用に耐えない品質と判断して良いでしょう。Web掲載用などデータボリュームに対する配慮が必要な用途では、画質パラメータ0*4または90～100の間で、所望するファイルサイズと画質のバランスを取ることになるでしょう。画質最優先なら画質パラメータ100(PSNR=55.9062)ですが、99でもPSNRは55.8383でPhotoshopの最高品質(画質パラメータ12)よりも高いPSNRを維持しています。98ではPSNRは55.6558となりPhotoshopの最高品質よりは極僅かに劣ります(普通に目視しても違いは判りませんが)。
　

Photoshop/ImageMagickの画質パラメータとPSNRの比較

　Photoshopは0～12の13段階、ImageMagickは1～100の100段階の画質パラメータが存在します。そこで、Photoshopの画質パラメータMで得られる画質(PSNR)に近いImageMagickのquality値Nの関係をプロットしてみるすると以下の通り。

　Photoshopの品質パラメータ7(PSNR=43.797)～9(PSNR=50.3957)に近いPSNRとなるImageMagickのquality値はありません。このため、このレンジのPSNRの画質のJPEGを作りたいならPhotoshopでしか作れないことになります。それ以上に高画質なPSNRの場合は、ImageMagickの方がより小さなファイルサイズを実現できていますし、前述の通りImageMagickのquality 99や100はPhotoshopの最高画質パラメータ12を凌駕するPSNRを実現できていますので、PhotoshopでJPEGをエンコードする意義は無さそうです。
　

まとめ

• 最高画質のJPEG出力をしたければ、PhotoshopではなくImageMagickでquality100
• 高画質のJPEG出力をしたければ、PhotoshopでもImageMagickでもどちらでも
  • ただし、同程度の画質(PSNR)であればImageMagickの方がファイルサイズはたぶん小さい
• 中画質のJPEG出力をしたければ、Photoshopの品質パラメータ7～9でしか出力できないPSNRのレンジがある
• PhotoshopでJPEG出力する場合、[ベースライン(標準)]を積極的に選択する理由は無く、[ベースライン(最適化)]を選択すれば完全に同一の画質でファイルサイズを小さくできる
  • ただし、極端に高解像度な画像や極端に貧弱な(古い)マシンの場合は保存時間がかかるかもしれない

※1パターンの画像でしか評価を行っていないため、異なる画像では結果が異なる可能性があります。
　

雑記

　以下は主観ですが、静止画のPSNRの値そのものについては概ね以下のように感じられました。

• PSNR>50なら、よほど凝視しない限り画質劣化は気づかない
• 50>PSNR>40でも、概ね画質劣化は気づかない
• PSNR<40は、画質劣化が普通に視認できる

　個人的にはImageMagickでquality指定をしないでJPEG出力することが多く、JPEG画像を加工する場合には劣化をできるだけ防ぐためにquality 100を指定していることもあります。このようにして出力されたJPEGはよほど細部を凝視しない限り、劣化は気づきません。ここで改めてImageMagickのデフォルトのqualityはどうなっているのか確認してみると、入力画像の画質を推定できればその値が使われ、そうでなければ92とあります。

The default is to use the estimated quality of your input image if it can be determined, otherwise 92.

Command-line Options @ ImageMagick
　私が自前で生成した画像であれば、非圧縮またはLightroomやPhotoshopの最高画質のJPEGを扱っていることが殆どなので、結果的にはImageMagickのquality 92以上の品質でJPEG出力されていると考えられます。今回の評価用マスタ画像でいうと、PSNRが概ね53以上ということになります。
　で、それが解って何なのだという話ですが、映像の場合はどうなのかという点を調査したいのです。パラメータを変えてエンコードした映像の品質について、「PSNRがXだから、JPEGのqualityをYにしたときと同じような劣化だね」という評価につなげるべく、事前調査としてJPEGの各Quality毎のPSNRを調べてみたのです。というわけで、H.264やH.265などの各種エンコーダの場合についても同様の評価を実施する予定です。
　

以上。

*1:プログレッシブは画像読み込み時に段階的に表示させることができるようにし、体感的な表示レスポンスを改善させるためのもので画質云々ではないため。

*2:念のため[ベースライン(標準)]と[ベースライン(最適化)]で出力されたJPEGをデコードした画像を比較しても画質パラメータが同じなら完全一致しました。

*3:何かしら画像があれば見た目はどうでもいいというような場合を除く。

*4:ImageMagickのリファレンスでは取り得る値は1～100であり、0の場合の説明は無い。故に、-quality 0を常用するのは推奨しない。