【要約】リアルタイム処理を可能としつつ、任意のスタイルに変換することのできる、画像スタイル変換技術を提供する。
【特許請求の範囲】
【請求項1】
変換元となる画像を入力する第1の画像入力部と、スタイル参照用の画像を入力する第2の画像入力部と、前記第1の画像入力部により入力された変換元となる画像を、事前の学習結果に基づいて変換後の画像に変換する、畳み込みニューラルネットワークによるエンコーダ・デコーダ・ネットワークと、前記第2の画像入力部により入力されたスタイル参照用の画像のスタイルを示すスタイル・ベクトルを抽出する、畳み込みニューラルネットワークによるスタイル抽出ネットワークと、前記スタイル抽出ネットワークにより抽出されたスタイル・ベクトルを、前記エンコーダ・デコーダ・ネットワークの中間層に結合する結合部と、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する画像出力部とを備えたことを特徴とする画像スタイル変換装置。
【請求項2】
変換元となる画像を入力する画像入力部と、前記画像入力部により入力された変換元となる画像を、事前の学習結果に基づいて変換後の画像に変換する、畳み込みニューラルネットワークによるエンコーダ・デコーダ・ネットワークと、ユーザ設定に応じてスタイルを示すスタイル・ベクトルを生成するスタイル・ベクトル生成部と、前記スタイル・ベクトル生成部により生成されたスタイル・ベクトルを、前記エンコーダ・デコーダ・ネットワークの中間層に結合する結合部と、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する画像出力部とを備えたことを特徴とする画像スタイル変換装置。
【請求項3】
前記結合部に与えられるスタイル・ベクトルを圧縮する圧縮部を備え、前記結合部は、圧縮後のスタイル・ベクトルを前記エンコーダ・デコーダ・ネットワークの中間層に結合することを特徴とする請求項1または2に記載の画像スタイル変換装置。
【請求項4】
前記圧縮部は、主成分分析、非負行列因子分解法、または、ニューラルネットワークにより、スタイル・ベクトルを圧縮することを特徴とする請求項3に記載の画像スタイル変換装置。
【請求項5】
前記圧縮後のスタイル・ベクトルを複製する複製部を備え、前記結合部は、複製後のスタイル・ベクトルを前記エンコーダ・デコーダ・ネットワークの中間層に結合することを特徴とする請求項3または4に記載の画像スタイル変換装置。
【請求項6】
変換元となる画像およびスタイル参照用の画像を入力し、入力された前記スタイル参照用の画像のスタイルを示すスタイル・ベクトルを、畳み込みニューラルネットワークのスタイル抽出ネットワークにより抽出し、抽出された前記スタイル・ベクトルを、畳み込みニューラルネットワークのエンコーダ・デコーダ・ネットワークの中間層に結合し、入力された前記変換元となる画像を、前記エンコーダ・デコーダ・ネットワークにより、事前の学習結果に基づいて変換後の画像に変換し、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する、処理をコンピュータが実行することを特徴とする画像スタイル変換方法。
【請求項7】
変換元となる画像を入力し、ユーザ設定に応じてスタイルを示すスタイル・ベクトルを生成し、生成された前記スタイル・ベクトルを、畳み込みニューラルネットワークのエンコーダ・デコーダ・ネットワークの中間層に結合し、入力された前記変換元となる画像を、前記エンコーダ・デコーダ・ネットワークにより、事前の学習結果に基づいて変換後の画像に変換し、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する、処理をコンピュータが実行することを特徴とする画像スタイル変換方法。
【請求項8】
変換元となる画像およびスタイル参照用の画像を入力し、入力された前記スタイル参照用の画像のスタイルを示すスタイル・ベクトルを、畳み込みニューラルネットワークのスタイル抽出ネットワークにより抽出し、抽出された前記スタイル・ベクトルを、畳み込みニューラルネットワークのエンコーダ・デコーダ・ネットワークの中間層に結合し、入力された前記変換元となる画像を、前記エンコーダ・デコーダ・ネットワークにより、事前の学習結果に基づいて変換後の画像に変換し、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する、処理をコンピュータに実行させることを特徴とする画像スタイル変換プログラム。
|