SONYから以下のプレスリリースが発表されました。
www.sony.co.jp
何が凄いのか
従来からExmorRSとして積層型CMOSイメージセンサを手掛けているSONYですが、今回はDRAMまでイメージセンサに積層したことが技術的特徴となっているようです。
一般にイメージセンサからISP等の後段の部材への信号伝送には、そのインタフェースに応じた速度制約があります。また、ハイスピード撮影時にはフレームレートまたは解像度が向上すればするほどデータ量が増加します。この大量データの伝送をどうするかという問題に対して、バッファ的に用いるDRAMをイメージセンサ上に作り込んだと解釈すれば良さそうです。その結果、イメージセンサからの高速読み出しを実現できたようです。
読み出しが高速化できるということで、ハイスピード撮影に適性があるのはもちろんのことですが、通称こんにゃく現象とも言われるフォーカルプレーン歪みを抑止することにも成功しているようです。
静止画撮影時
1930万画素のデータを1/120秒で読み出せるということで、従来のIMX318の約4倍高速だそうです。
単純に考えると従来コンニャク現象が発生していたような撮影シーンの内、シャッタースピードが1/30～1/120の場合には、今回の新イメージセンサではコンニャク現象が起きないということになります。
それよりも高速なシャッタースピードの場合には被写体との相対速度に応じてコンニャク現象は起きるのでしょうけれど、コンニャク状の歪み具合は1/4まで縮小されることが期待できると考えられそうです。
メカシャッターを積んだデジタルカメラであれば、廉価モデルでも1/2000秒程度のシャッタースピードまで対応していることが殆どのため、この訴求は電子シャッターのスマートフォン向けならではと言えそうです。この技術がミラーレスや一眼レフ向けの大型センサに転用されることがあるならば、そのメリットは動画撮影時のフォーカルプレーン歪みの抑止と共に、静止画撮影時の連射スピードや連射間隔の短縮などになるのではないでしょうか。
動画撮影時
フルHD解像度で最高1000fpsでハイスピード撮影が可能だそうです。ハイスピード撮影機能自体は今となっては目新しい機能ではありませんが、フレームレートが高くなるのと反比例して記録解像度が大幅に落ちる機材がほとんどです(単位時間当たりのデータ量を増やさないためには、フレームレートが高くなったら解像度を落とすしかない)。
このため、ハイスピード撮影に対応したコンシュマー向け製品*1では、知る限りフルHD解像度での撮影時には60fpsや120fpsまでしか対応していませんでした。
今回のイメージセンサではフルHD解像度を維持したまま一気に1000fpsまで上限が上がったため、ごく短時間に起きる細部のディティールの変化も記録できることが期待され、従来見たことのない映像が記録できるようになるかもしれません。
具体的には以下のデモ映像が公開されています。
www.youtube.com
デモ映像ではハイスピード撮影箇所は960fps撮影で15fpsで再生と明示されています。当該個所の長さ(再生時間)をざっくりと計ってみると最長でも約5秒程度のようです。
プレスリリースによれば搭載されたDRAM容量は1G bitとのことですので、128MBに相当します。また、画像フォーマットは当然ながらBayer RAWとのことですので、デコード前の各ピクセルはRGBいずれかの情報しか持っていません。RAW時点の各ピクセルが8bitで量子化されていると仮定すると、フルHD(1920x1080)解像度で撮影時は1フレーム辺り約2MBの情報量になります。すなわち、積層された1G bitのDRAMには約64フレームまで保持することが可能な計算になります。
64フレームを15fpsで再生すると約4.3秒に相当するため、デモ映像の最長約5秒と概ね一致します。ということから察するに、(フルHD解像度を維持したままでは)これ以上の長時間のハイスピード撮影はできないものと考えられます。
量子化ビット数が実はもっと低いとか、ハードウェア上に圧縮アルゴリズムが仕込まれているとかそういったことがあればもっと長時間のハイスピード撮影が可能なのでしょうけれど、プレスリリースには記載がなく判別できません。
ちなみに64フレームは1000fps撮影時には実時間で6.4ミリ秒でしかありません。科学実験のようなものを撮るには短すぎますし、ここぞという撮影タイミングを図るのも難しそうです。
ハイスピード撮影可能な時間が短いことはDRAM容量が増えない以上はどうにもなりませんが、撮影タイミングについては以下の記載があります。
スーパースローモーションで撮影したい決定的な瞬間を逃さないために、自動的に被写体の急激な変化を検知して高速撮影を開始するように設定することも可能です。
仕組みについての解説はありませんが、単純にフレーム間の変化量が一定値を越えたらハイスピード撮影モードに切り替わるような仕組みであるとするならば、カメラを固定して撮影するような状況では有効に活用できそうです。
なお、プレスリリースではスマートフォン向けに訴求されていますが、アクションカムで採用された方が面白そうな気もします。
アクションカムに加速度センサと共に搭載し、加速度が急激に変化したらハイスピード撮影開始といった仕組みにしておけばいいシーンが残せるのではないかと思いますが、現状の64フレーム程度では短すぎるのも事実でしょう。DRAM容量を増強するなど、ハイスピード撮影可能時間を強化した製品が出ることを期待したいですね。
以上。
