Rで解析：カメラのボケや色調・トーンマッピングを再現できる「rayimage」パッケージ

実写に近い質感やカメラ特有の視覚効果を再現したい場面があります。しかし、被写界深度によるボケや色調補正、トーンマッピングといったカメラ由来の効果を一から実装するのは手間がかかります。

「rayimage」パッケージは、畳み込み演算を用いてこうしたカメラエフェクトを画像に付与できます。被写界深度によるボケのレンダリングのほか、ホワイトバランスや色空間の変換、画像の重ね合わせ、トーンマッピングといった処理が収録されています。また、複数の画像を格子状に並べて比較することも可能です。

本パッケージの利用で、より実在感のあるビジュアル制作ができるのではないかと考えます。

パッケージバージョンは0.26.1。Windows 11 x64 (build 26200)のR version 4.6.1で確認しています。

Rによる計量政治学 | 浅野正彦, 矢内勇生

政治現象を統計的に検証するための入門書。各章に練習問題があり、独学でも進めやすい構成。

＜おすすめのRに関する書籍です＞

基礎からわかる時系列分析―Rで実践するカルマンフィルタ・MCMC・粒子フィルタ― Data Science Library

カルマンフィルタ・MCMC・粒子フィルタといった手法をRで実践しながら学ぶ時系列分析の一冊。

www.amazon.co.jp

パッケージのインストール

下記コマンドを実行してください。

# パッケージのインストール
install.packages("rayimage")

# パッケージの読み込み
library("rayimage")

コマンド例

詳細はコメント、パッケージのヘルプを確認してください。

RGBは、赤・緑・青の3原色を組み合わせて色を表現する色空間のモデルです。HDRは、高輝度（High Dynamic Range）の略称で、より広い範囲の明るさを表現できる画像形式を指します。

rayimageでは、画像を高さ×幅×チャンネル数の3次元配列として扱います。以下の例では、実際の写真の代わりに、支笏湖の風景に見立てた疑似画像をコード上で生成して使います。

# 疑似画像の縦横のサイズを指定する
img_h <- 120
img_w <- 160

# 上が空、下が湖面になるように、青チャンネルを縦方向のグラデーションにする
blue_ch <- matrix(seq(0.85, 0.35, length.out = img_h), nrow = img_h, ncol = img_w)

# 緑チャンネルも同様にグラデーションにする
green_ch <- matrix(seq(0.55, 0.30, length.out = img_h), nrow = img_h, ncol = img_w)

# 赤チャンネルも同様にグラデーションにする
red_ch <- matrix(seq(0.30, 0.55, length.out = img_h), nrow = img_h, ncol = img_w)

# 3チャンネルを結合し、支笏湖の風景に見立てたRGB配列を作る
shikotsuko <- array(c(red_ch, green_ch, blue_ch), dim = c(img_h, img_w, 3))

# 下（湖畔）ほど値が小さくなる深度マップを作る
shikotsuko_depth <- matrix(seq(1, 0, length.out = img_h), nrow = img_h, ncol = img_w)

ボケ効果のレンダリング：render_bokehコマンド

深度マップをもとに、ピントの合っていない領域へボケ効果を適用します。

# 湖畔（深度の小さい部分）にピントを合わせてぼかす
render_bokeh(shikotsuko, shikotsuko_depth, focus = 0.15, preview = TRUE)

# ピントが合う位置を赤い線で確認する
render_bokeh(shikotsuko, shikotsuko_depth, focus = 0.15, preview_focus = TRUE)
Focal range: 0-0.991597

# 焦点距離を伸ばし、ボケを強くする
render_bokeh(shikotsuko, shikotsuko_depth, focus = 0.15, focallength = 300, preview = TRUE)

# 遠景の山並み（深度の大きい部分）にピントを合わせる
render_bokeh(shikotsuko, shikotsuko_depth, focus = 0.85, focallength = 300, preview = TRUE)

# ボケの形状を六角形にする
render_bokeh(shikotsuko, shikotsuko_depth,
  focus = 0.15, focallength = 300,
  bokehshape = "hex", preview = TRUE
)

# 六角形のボケを回転させ、強度を上げる
render_bokeh(shikotsuko, shikotsuko_depth,
  focus = 0.15, focallength = 300,
  bokehshape = "hex", rotation = 20, bokehintensity = 3, preview = TRUE
)

# 色収差を加える
render_bokeh(shikotsuko, shikotsuko_depth,
  focus = 0.15, focallength = 300,
  aberration = 0.5, preview = TRUE
)

湖畔（深度の小さい部分）にピントを合わせてぼかす

ピントが合う位置を赤い線で確認する

焦点距離を伸ばし、ボケを強くする

遠景の山並み（深度の大きい部分）にピントを合わせる

ボケの形状を六角形にする

六角形のボケを回転させ、強度を上げる

色収差を加える

ホワイトバランスの補正：render_white_balanceコマンド

画像のホワイトバランスを、指定したホワイトポイントに合わせて補正します。

# 既定のホワイトバランスのまま表示する
render_white_balance(shikotsuko, preview = TRUE)

# ホワイトポイントを「D50」寄りに変え、温かみのある色調にする
render_white_balance(shikotsuko, preview = TRUE, target_white = "D50", bake = TRUE)

# ホワイトポイントを「D75」寄りに変え、寒色系の色調にする
render_white_balance(shikotsuko, preview = TRUE, target_white = "D75", bake = TRUE)

# 変換元のホワイトポイントを「D75」とみなし、「D50」へ変換して色調差を強調する
render_white_balance(shikotsuko,
  preview = TRUE,
  reference_white = "D75", target_white = "D50", bake = TRUE
)

既定のホワイトバランスのまま表示する

ホワイトポイントを「D50」寄りに変え、温かみのある色調にする

ホワイトポイントを「D75」寄りに変え、寒色系の色調にする

変換元のホワイトポイントを「D75」とみなし、「D50」へ変換して色調差を強調する

色空間の変換：render_convert_colorspaceコマンド

画像の色空間を、指定した色空間へ変換します。

# 支笏湖の配列をsRGBの画像として読み込み、色空間の情報を持たせる
shikotsuko_srgb <- ray_read_image(shikotsuko,
  assume_colorspace = CS_SRGB,
  assume_white = CS_SRGB$white_xyz
)

# 色空間をACEScgに変換して表示する
shikotsuko_aces <- render_convert_colorspace(shikotsuko_srgb, to_mats = CS_ACESCG, preview = TRUE)

# 変換元の白色点をD50とみなして変換する
shikotsuko_aces_d50 <- render_convert_colorspace(shikotsuko_srgb,
  to_mats = CS_ACESCG,
  from_white = "D50", preview = TRUE
)

# ホワイトポイントの順応を行わずに変換する
shikotsuko_aces_noadapt <- render_convert_colorspace(shikotsuko_srgb,
  to_mats = CS_ACESCG,
  adapt_white = FALSE, preview = TRUE
)

色空間をACEScgに変換して表示する

変換元の白色点をD50とみなして変換する

ホワイトポイントの順応を行わずに変換する

＜おすすめのRに関する書籍です＞

RとStanではじめる 心理学のための時系列分析入門 (KS心理学専門書)

心理学の縦断データ・時系列データを扱うための一冊。RとStanで実装しながら学ぶ。

www.amazon.co.jp

画像の描画：plot_imageコマンド

RGBまたはRGBA配列を画像としてプロットします。

# 支笏湖の疑似画像をそのまま表示する
plot_image(shikotsuko)

# 縦横比を変えて、横に間延びした画像として表示する
plot_image(shikotsuko, asp = 2)

# 画像の上半分だけを切り出して表示する
plot_image(shikotsuko[1:60, , ])

# 90度回転させて表示する
plot_image(shikotsuko, angle = 90)

# 背景との境界を確認するため、格子線を重ねて表示する
plot_image(shikotsuko, draw_grid = TRUE)

支笏湖の疑似画像をそのまま表示する

縦横比を変えて、横に間延びした画像として表示する

画像の上半分だけを切り出して表示する

90度回転させて表示する

背景との境界を確認するため、格子線を重ねて表示する

画像一覧の格子状描画：plot_image_gridコマンド

複数の画像を格子状に並べてプロットします。

# 支笏湖の画像と、そのネガ画像を横に並べて表示する
plot_image_grid(list(shikotsuko, 1 - shikotsuko), dim = c(1, 2))

# 同じ2枚を縦に並べて表示する
plot_image_grid(list(shikotsuko, 1 - shikotsuko), dim = c(2, 1))

# 深度マップをグレースケール画像として可視化する
depth_gray <- array(rep(shikotsuko_depth, 3), dim = c(img_h, img_w, 3))

# 画像と深度マップを2x2の格子で並べて表示する
plot_image_grid(list(shikotsuko, depth_gray, depth_gray, shikotsuko), dim = c(2, 2))

# 格子の各画像に異なる縦横比を指定する
plot_image_grid(list(shikotsuko, 1 - shikotsuko), dim = c(1, 2), asp = c(2, 1 / 2))

支笏湖の画像と、そのネガ画像を横に並べて表示する

同じ2枚を縦に並べて表示する

画像と深度マップを2×2の格子で並べて表示する

格子の各画像に異なる縦横比を指定する

画像の重ね合わせ：render_image_overlayコマンド

ベースの画像に、別の画像を重ねて合成します。

# 太陽をイメージした円形のマスクを作る（最大値を1にそろえる）
sun_disk <- generate_2d_disk(dim = c(img_h, img_w), radius = 0.3, rescale_unity = TRUE)

# 黄色みを帯びたRGBAのオーバーレイ画像を作る
sun_overlay <- array(0, dim = c(img_h, img_w, 4))
sun_overlay[, , 1] <- sun_disk
sun_overlay[, , 2] <- sun_disk * 0.85
sun_overlay[, , 3] <- sun_disk * 0.2
sun_overlay[, , 4] <- sun_disk

# 支笏湖の画像に太陽のオーバーレイを重ねる
render_image_overlay(shikotsuko, image_overlay = sun_overlay, preview = TRUE)

# 透明度を下げて重ねる
render_image_overlay(shikotsuko, image_overlay = sun_overlay, alpha = 0.4, preview = TRUE)

# 元画像をオーバーレイの寸法に合わせてリサイズする
render_image_overlay(shikotsuko,
  image_overlay = sun_overlay,
  rescale_original = TRUE, preview = TRUE
)

支笏湖の画像に太陽のオーバーレイを重ねる

透明度を下げて重ねる

元画像をオーバーレイの寸法に合わせてリサイズする

＜おすすめのRに関する書籍です＞

遺伝統計学の基礎 Rによる遺伝因子解析・遺伝子機能解析

遺伝因子解析・遺伝子機能解析をRで行うための教科書。ゲノム解析に特有の統計的な考え方を学べる。

www.amazon.co.jp

スプライト要素の重ね合わせ：render_sprite_overlayコマンド

ベースの画像の指定した座標に、スプライト画像を重ねて合成します。

# 「Lake Shikotsu」の文字を透過画像として作る
label_sprite <- render_text_image("Lake Shikotsu",
  size = 24, color = "#ffffff",
  background_alpha = 0, trim = TRUE, trim_padding = 4
)

# 画像の左上を基準に文字を重ねる
render_sprite_overlay(shikotsuko,
  image_overlay = label_sprite,
  overlay_coords = c(5, 5), preview = TRUE
)

# 画像の中央に文字を配置する
render_sprite_overlay(shikotsuko,
  image_overlay = label_sprite,
  overlay_coords = c(img_w / 2, img_h / 2),
  hjust = 0.5, vjust = 0.5, preview = TRUE
)

# アンカーを右下（"se"）に指定して配置する
render_sprite_overlay(shikotsuko,
  image_overlay = label_sprite,
  overlay_coords = c(img_w - 5, img_h - 5),
  overlay_anchor = "se", preview = TRUE
)

画像の左上を基準に文字を重ねる

画像の中央に文字を配置する

アンカーを右下（”se”）に指定して配置する

トーンマップの適用：render_tonemapコマンド

画像の輝度を、指定したトーンマッピング曲線で圧縮します。

# 明るいハイライトを含む疑似HDR画像を作る（値が1を超える部分がある）
hdr_scene <- shikotsuko * 2

# 変換せずにそのまま表示する
render_tonemap(hdr_scene, method = "raw", preview = TRUE)

# Reinhardトーンマップでハイライトを抑える
render_tonemap(hdr_scene, method = "reinhard", preview = TRUE)

# Uncharted（Hableフィルミック）トーンマップを適用する
render_tonemap(hdr_scene, method = "uncharted", preview = TRUE)

# 白色点Wを大きくし、ハイライトの階調をより残す
render_tonemap(hdr_scene, method = "uncharted", W = 16, preview = TRUE)

# 露出係数を下げて暗めに仕上げる
render_tonemap(hdr_scene, method = "uncharted", exposure_bias = 1, preview = TRUE)

# Hejl-Burgess-Dawsonトーンマップを適用する
render_tonemap(hdr_scene, method = "hbd", preview = TRUE)

変換せずにそのまま表示する

Reinhardトーンマップでハイライトを抑える

Uncharted（Hableフィルミック）トーンマップを適用する

白色点Wを大きくし、ハイライトの階調をより残す

露出係数を下げて暗めに仕上げる

Hejl-Burgess-Dawsonトーンマップを適用する

＜おすすめのRに関する書籍です＞

医学研究のためのRによる統計解析入門 | 加葉田 大志朗, 新谷 歩

臨床研究・疫学のデータをRで解析するための入門書。医学分野で頻出の手法を実例に沿って扱う。

この記事が誰かの役に立ちますように。