画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム

開放特許情報

特許情報

発明の名称	画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム
技術分野	IT
出願日	平成29年2月14日
出願番号	特願2017-24688
公開番号	特開2018-132855
登録番号
出願人	国立大学法人電気通信大学
発明者	柳井啓司
特許公報	PDFのダウンロードはこちらから
概要	【要約】リアルタイム処理を可能としつつ、任意のスタイルに変換することのできる、画像スタイル変換技術を提供する。【特許請求の範囲】【請求項１】　変換元となる画像を入力する第１の画像入力部と、スタイル参照用の画像を入力する第２の画像入力部と、前記第１の画像入力部により入力された変換元となる画像を、事前の学習結果に基づいて変換後の画像に変換する、畳み込みニューラルネットワークによるエンコーダ・デコーダ・ネットワークと、前記第２の画像入力部により入力されたスタイル参照用の画像のスタイルを示すスタイル・ベクトルを抽出する、畳み込みニューラルネットワークによるスタイル抽出ネットワークと、前記スタイル抽出ネットワークにより抽出されたスタイル・ベクトルを、前記エンコーダ・デコーダ・ネットワークの中間層に結合する結合部と、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する画像出力部とを備えたことを特徴とする画像スタイル変換装置。【請求項２】　変換元となる画像を入力する画像入力部と、前記画像入力部により入力された変換元となる画像を、事前の学習結果に基づいて変換後の画像に変換する、畳み込みニューラルネットワークによるエンコーダ・デコーダ・ネットワークと、ユーザ設定に応じてスタイルを示すスタイル・ベクトルを生成するスタイル・ベクトル生成部と、前記スタイル・ベクトル生成部により生成されたスタイル・ベクトルを、前記エンコーダ・デコーダ・ネットワークの中間層に結合する結合部と、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する画像出力部とを備えたことを特徴とする画像スタイル変換装置。【請求項３】　前記結合部に与えられるスタイル・ベクトルを圧縮する圧縮部を備え、前記結合部は、圧縮後のスタイル・ベクトルを前記エンコーダ・デコーダ・ネットワークの中間層に結合することを特徴とする請求項１または２に記載の画像スタイル変換装置。【請求項４】　前記圧縮部は、主成分分析、非負行列因子分解法、または、ニューラルネットワークにより、スタイル・ベクトルを圧縮することを特徴とする請求項３に記載の画像スタイル変換装置。【請求項５】　前記圧縮後のスタイル・ベクトルを複製する複製部を備え、前記結合部は、複製後のスタイル・ベクトルを前記エンコーダ・デコーダ・ネットワークの中間層に結合することを特徴とする請求項３または４に記載の画像スタイル変換装置。【請求項６】　変換元となる画像およびスタイル参照用の画像を入力し、入力された前記スタイル参照用の画像のスタイルを示すスタイル・ベクトルを、畳み込みニューラルネットワークのスタイル抽出ネットワークにより抽出し、抽出された前記スタイル・ベクトルを、畳み込みニューラルネットワークのエンコーダ・デコーダ・ネットワークの中間層に結合し、入力された前記変換元となる画像を、前記エンコーダ・デコーダ・ネットワークにより、事前の学習結果に基づいて変換後の画像に変換し、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する、処理をコンピュータが実行することを特徴とする画像スタイル変換方法。【請求項７】　変換元となる画像を入力し、ユーザ設定に応じてスタイルを示すスタイル・ベクトルを生成し、生成された前記スタイル・ベクトルを、畳み込みニューラルネットワークのエンコーダ・デコーダ・ネットワークの中間層に結合し、入力された前記変換元となる画像を、前記エンコーダ・デコーダ・ネットワークにより、事前の学習結果に基づいて変換後の画像に変換し、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する、処理をコンピュータが実行することを特徴とする画像スタイル変換方法。【請求項８】　変換元となる画像およびスタイル参照用の画像を入力し、入力された前記スタイル参照用の画像のスタイルを示すスタイル・ベクトルを、畳み込みニューラルネットワークのスタイル抽出ネットワークにより抽出し、抽出された前記スタイル・ベクトルを、畳み込みニューラルネットワークのエンコーダ・デコーダ・ネットワークの中間層に結合し、入力された前記変換元となる画像を、前記エンコーダ・デコーダ・ネットワークにより、事前の学習結果に基づいて変換後の画像に変換し、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する、処理をコンピュータに実行させることを特徴とする画像スタイル変換プログラム。

本特許の活用に関心がある方はコチラよりお問合せください。