01．Unity側で作成したテクスチャを、Java側でGL_TEXTURE_EXTERNAL_OESのテクスチャとしてSurfaceTextureに割り付けて使用する方法

結果としては、失敗。この方法はうまくいかなかった。

事象としては、glBindTexture() で GL_INVALID_OPERATION エラーが発生する。

考察としては、「Unityで作成したテクスチャは、GL_TEXTURE_2D をターゲットとして作成されているため、異なるターゲットである GL_TEXTURE_EXTERNAL_OES での glBindTexture() でエラーが発生する」と考える。

解説

Android(Java)のSurfaceTextureのテクスチャをUnityで描画するために、最低限すべきことは、以下です。

• AndroidStudioを使用し、Androidライブラリを作成します。Androidライブラリに、Java側の処理記述します。
• Unityを使用し、Unityアプリを作成します。Unityアプリに、Unity側の処理を記述します。

Unity側で作成したテクスチャを、Java側でGL_TEXTURE_EXTERNAL_OESのテクスチャとしてSurfaceTextureに割り付けて使用するために、すべきことは、以下です。

• Java側の処理として、「Unity側で作成したテクスチャを、GL_TEXTURE_EXTERNAL_OESのテクスチャとしてバインドし、SurfaceTextureに割り付ける処理」を記述します。
• Unity側の処理として、「Unityのテクスチャを作成し、作成したテクスチャIDを、Java側の処理に渡す処理」を記述します。

実装

Androidライブラリのプロジェクトの作成

まず、AndroidStudioを使用し、Androidライブラリを作成します。

Androidライブラリのプロジェクトを作成します。

（開発環境としては、Android Studio 4.2.2 を使用しています）

（この設定でプロジェクトを作成しなければいけない、というわけではありません。）

「Welcome to Android Studio」画面の「Create New Project」をクリックします。

「New Project」ウィンドウが表示されます。

「No Activity」を選択し、「Next」ボタンを押します。


Nameに、プロジェクト名を入力します。たとえば、「SurfaceTextureRendererProject」と入力します。
Package nameのドメイン部分に、会社のドメイン名を指定します。
Save locationに、プロジェクトを保存するフォルダパスを指定します。
「Finish」ボタンを押します。

しばらく待ちます。
Android Studio のステータスバーに「Gradle sync finished in ・・・」や「*daemon started successfully ・・・」と出るまで待ちます。

Androidライブラリのプロジェクトができました。

Androidライブラリモジュールの作成

Androidライブラリモジュールを追加します。

メインメニュー「File > New > New Module」を選択します。

「Create New Module」ダイアログが表示されます。

「Android Library」を選択します。
Module nameに、モジュール名を入力します。たとえば、「surfacetexturerenderer」と入力します。
Package nameのドメイン部分に、会社のドメイン名を指定します。
Minimum SDKを選択します。たとえば、「API 19: Android 4.4 (KitKat)」を選択します。Unityで作成するアプリのMinimum API Levelのバージョンと一致させます。
「Finish」ボタンを押します。

しばらく待ちます。
Android Studio のステータスバーに「Gradle sync finished in ・・・」や「*daemon started successfully ・・・」と出るまで待ちます。

ライブラリモジュールができました。

Javaクラスの追加

Androidライブラリモジュールに、Java側の処理を記述するクラスを追加します。

「Project」ウィンドウの「surfacetexturerenderer > java > {ドメイン}.surfacetexturerenderer」を右クリックします。
右クリックメニュー「New > Java Class」を選択します。

「New Java Class」ダイアログが表示されます。

クラス名に、「SurfaceTextureRenderer」と入力します。
エンターキーを押します。


「OK」ボタンを押します。

SurfaceTextureRenderer.javaの内容を以下のようにします。
package com.hiramine.surfacetexturerenderer; import android.graphics.Canvas; import android.graphics.Color; import android.graphics.Paint; import android.graphics.SurfaceTexture; import android.opengl.GLES11Ext; import android.opengl.GLES20; import android.util.Log; import android.view.Surface; class SurfaceTextureRenderer { // 定数 private static final String LOGTAG = "SurfaceTextureRenderer"; // GL関連 private final int m_iTextureWidth; private final int m_iTextureHeight; private final int m_iTextureID_unity; // Surface関連 private Surface m_surface; private SurfaceTexture m_surfacetexture; private boolean m_bNewFrameAvailable; // Surfaceでの描画関連 private final Paint m_paint = new Paint(); // イベントリスナー変数 private final SurfaceTexture.OnFrameAvailableListener m_onFrameAvailableListener = new SurfaceTexture.OnFrameAvailableListener() { @Override public void onFrameAvailable( SurfaceTexture surfaceTexture ) { Log.d( LOGTAG, "onFrameAvailable() start" ); Log.d( LOGTAG, " Thread name = " + Thread.currentThread().getName() ); // Thread name = UnityMain synchronized( this ) { m_bNewFrameAvailable = true; } Log.d( LOGTAG, "onFrameAvailable() end" ); } }; // コンストラクタ public SurfaceTextureRenderer( int iTextureWidth, int iTextureHeight, int iTextureID_unity ) { Log.d( LOGTAG, "Constructor start" ); Log.d( LOGTAG, " Thread name = " + Thread.currentThread().getName() ); // Thread name = UnityMain m_iTextureWidth = iTextureWidth; m_iTextureHeight = iTextureHeight; m_iTextureID_unity = iTextureID_unity; Log.d( LOGTAG, " m_iTextureWidth = " + m_iTextureWidth ); Log.d( LOGTAG, " m_iTextureHeight = " + m_iTextureHeight ); Log.d( LOGTAG, " m_iTextureID_unity = " + m_iTextureID_unity ); Log.d( LOGTAG, "Constructor end" ); } // Surfaceの初期化 public void initSurface() { Log.d( LOGTAG, "initSurface() start" ); Log.d( LOGTAG, " Thread name = " + Thread.currentThread().getName() ); // Thread name = UnityMain checkGlError( "initSurface() start" ); // アクティブにするテクスチャユニットの指定 GLES20.glActiveTexture( GLES20.GL_TEXTURE0 ); checkGlError( "glActiveTexture( GL_TEXTURE0 )" ); // テクスチャのバインド GLES20.glBindTexture( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, m_iTextureID_unity ); checkGlError( "glBindTexture( m_iTextureID_unity )" ); // テクスチャパラメータの設定 GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MIN_FILTER, GLES20.GL_LINEAR ); GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MAG_FILTER, GLES20.GL_LINEAR ); GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_WRAP_S, GLES20.GL_CLAMP_TO_EDGE ); GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_WRAP_T, GLES20.GL_CLAMP_TO_EDGE ); checkGlError( "glTexParameterf()" ); // テクスチャのバインドの解除 GLES20.glBindTexture( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0 ); checkGlError( "glBindTexture( 0 )" ); // SurfaceTextureとSurfaceの作成 m_surfacetexture = new SurfaceTexture( m_iTextureID_unity ); m_surfacetexture.setOnFrameAvailableListener( m_onFrameAvailableListener ); m_surfacetexture.setDefaultBufferSize( m_iTextureWidth, m_iTextureHeight ); m_surface = new Surface( m_surfacetexture ); synchronized( this ) { m_bNewFrameAvailable = false; } checkGlError( "initSurface() end" ); Log.d( LOGTAG, "initSurface() end" ); } // SurfaceTextureの更新 public void updateSurfaceTexture() { Log.d( LOGTAG, "updateSurfaceTexture() start" ); Log.d( LOGTAG, " Thread name = " + Thread.currentThread().getName() ); // Thread name = UnityMain synchronized( this ) { Log.d( LOGTAG, " m_bNewFrameAvailable = " + m_bNewFrameAvailable ); if( m_bNewFrameAvailable ) { m_bNewFrameAvailable = false; if( !Thread.currentThread().getName().equals( "UnityMain" ) ) { Log.e( LOGTAG, " Not called from render thread and hence update texture will fail" ); } Log.d( LOGTAG, " updateTexImage() start" ); checkGlError( "updateTexImage() start" ); m_surfacetexture.updateTexImage(); checkGlError( "updateTexImage() end" ); Log.d( LOGTAG, " updateTexImage() end" ); } } Log.d( LOGTAG, "updateSurfaceTexture() end" ); } // Surfaceでの描画 public void drawInSurface() { Log.d( LOGTAG, "drawInSurface() start" ); Log.d( LOGTAG, " Thread name = " + Thread.currentThread().getName() ); // Thread name = UnityMain try { Canvas canvas = m_surface.lockCanvas( null ); // 全体塗りつぶし canvas.drawColor( Color.rgb( 0, 0, 128 ) ); // 矩形 m_paint.setColor( Color.rgb( 0, 255, 0 ) ); m_paint.setStyle( Paint.Style.FILL ); canvas.drawRect( 100, 200, 300, 400, m_paint ); // 円 m_paint.setColor( Color.rgb( 255, 255, 0 ) ); m_paint.setStyle( Paint.Style.STROKE ); m_paint.setStrokeWidth( 30 ); canvas.drawCircle( 300, 400, 100, m_paint ); m_surface.unlockCanvasAndPost( canvas ); } catch( Surface.OutOfResourcesException e ) { Log.e( LOGTAG, " drawInSurface() : failed" ); e.printStackTrace(); } Log.d( LOGTAG, "drawInSurface() end" ); } // GLESエラーチェック private static void checkGlError( String str ) { while( true ) { int iError = GLES20.glGetError(); if( GLES20.GL_NO_ERROR == iError ) { break; } Log.e( "checkGlError", str + " : Error Code = " + iError ); } } }

Androidライブラリモジュールのビルド

Androidライブラリモジュールをビルドします。

「Gradle」ウィンドウの「SurfaceTextureRendererProject > surfacetexturerenderer > Tasks > build > build」をダブルクリックします。

モジュールのビルドが開始します。
しばらく待ちます。
Android Studio のステータスバーに「Gradle build finished in ・・・」と出るまで待ちます。

「{Androidプロジェクトフォルダ}\{Androidライブラリモジュール名}\build\outputs\aar」フォルダに、リリースビルド、デバッグビルドの２つの「aar」ファイルが生成されます。

Unityアプリのプロジェクトの作成

ここからは、Unityを使用し、Unityアプリを作成します。

Unityアプリのプロジェクトを作成します。

（開発環境としては、Unity 2020.3.12f1 を使用しています）

（この設定でプロジェクトを作成しなければいけない、というわけではありません。）

「Unity Hub」画面の「プロジェクト」「新規作成」をクリックします。

「新しいプロジェクトを作成」ウィンドウが表示されます。

「3D」を選択します。
プロジェクト名欄に、プロジェクト名を入力します。たとえば、「RenderingSurfaceTextureInUnity」と入力します。
保存先に、プロジェクトを保存するフォルダパスを指定します。
「作成」ボタンを押します。

しばらく待ちます。

Unityアプリのプロジェクトができました。

Build Settingsの設定の変更

Build Settingsの設定を変更します。

メインメニュー「File > Build Settings」を選択します。

「Build Settings」ダイアログが表示されます。

「Scenes In Build」の「Add Open Scenes」ボタンを押し、現在開いているシーンを「Scenes In Build」に追加します。
「Platform」の「Android」を選択します。
「Switch Platform」ボタンを押します。

しばらく待ちます。

Unityアプリの対象プラットフォームがAndroidになりました。

「Build Settings」ダイアログを閉じます。

Project Settingsの設定の変更

Project Settingsの設定を変更します。

メインメニュー「Edit > Project Settings」を選択します。

「Project Settings」ダイアログが表示されます。
左側の設定項目の「Player」を選択します。

Company Name欄に、会社名を入力します。
Graphics APIs欄の「+」ボタンから「OpenGLES2」を追加します。
Graphics APIs欄の「OpenGLES2」以外を削除します。
Multithread Renderingのチェックを外します。


Package Nameが、Company Name欄に入力した会社名が反映されたパッケージ名になります。
Minimum API Levelを選択します。たとえば、「Android 4.4 'KitKat' (API level 19)」を選択します。Android Studioで作成したAndroidライブラリのMinimum SDKのバージョンと一致させます。

「Project Settings」ダイアログを閉じます。

Android Logcatのインストール

アンドロイド端末で動作させた際の出力ログを確認するために、Android Logcatをインストールします。

メインメニュー「Window > Package Manager」を選択します。

「Package Manager」ダイアログが表示されます。

ダイアログ左上のPackage表示フィルタを「Packages: In Project」から「Packages: Unity Registry」に変更します。
検索ワード欄に「logcat」と入力し、で検索します。
「Android Logcat」を選択します。
「Install」ボタンを押します。

しばらく待ちます。
「Android Logcat」がインストールされました。
「Package Manager」ダイアログを閉じます。

続いて、「Android Logcat」の出力ログを表示するウィンドウをUnity画面に配置します。

メインメニュー「Window > Analysis > Android Logcat」を選択します。

「Android Logcat」ウィンドウが表示されます。

「Android Logcat」ウィンドウをUnity画面の適当な場所に配置します。

UIアイテムの追加

Unityのシーンに、テクスチャを表示するための画像要素、処理をトリガーするためのボタン要素を追加します。

「Hierarchy」ウィンドウにて、何も選択せず右クリックします。
右クリックメニュー「UI > Panel」を選択します。
「Canvas」が追加され、「Canvas」の下に「Panel」が追加されます。
（「EventSystem」も追加されます。）

「Hierarychy」ウィンドウの「Panel」を右クリします。
右クリックメニュー「UI > Raw Image」を選択します。
「RawImage」が追加されます。

「Hierarychy」ウィンドウの「Panel」を右クリします。
右クリックメニュー「UI > Button」を選択します。
「Button」が追加されます。



続いて、追加したUI要素のサイズ、位置を設定します。

PanelのScaleを、X = 0.75、Y = 0.75、に設定します。


RawImageのサイズを、Width = 512、Height = 512、に設定します。


Buttonの位置を、PosX = 0、PosY = -300、サイズを、Width = 320、Height = 60、に設定します。


Sceneウィンドウを正面から表示したときの、UI要素の配置イメージ

aarファイルの配置

Androidライブラリモジュールのファイル（aarファイル）を、Unityアプリのプロジェクトに配置します。

Unityを一度閉じます（シーンを保存していない場合は、シーンを保存し、Unityを終了します）。

「{Unityプロジェクトフォルダ}\Assets」フォルダの下に「Plugins」フォルダを作成し、その下に「Android」フォルダを作成します。

「{Unityプロジェクトフォルダ}\Assets\Plugins\Android」フォルダに、
「{Androidプロジェクトフォルダ}\{Androidライブラリモジュール名}\build\outputs\aar」フォルダに生成済みの「aar」ファイルのリリースビルドの方を、コピ－します。


Unityでプロジェクトを再度開きます。

「Project」ウィンドウにて、「Assets > Plugins > Android」に、「aar」ファイルが配置されていることを確認します。

C#スクリプトの追加

Unity側の処理を記述するc#スクリプトを追加します。

「Project」ウィンドウにて、「Assets」フォルダの下に「Scripts」フォルダを作成します。
「Scripts」フォルダの中に、「C# Script」を追加し、名前を「RawImageScript」に変更します。

RawImageScriptの内容を以下のようにします。
using System; using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.UI; public class RawImageScript : MonoBehaviour { // コンポーネント変数 private RawImage m_rawimage; // メンバー変数 private AndroidJavaObject m_ajoSurfaceTextureRenderer; // Start is called before the first frame update void Start() { m_rawimage = GetComponent<RawImage>(); // テクスチャーの作成 // filterMode : 画像の補間方法を指定する。Point = 補完しない。他の選択肢は、Bilinear、Trilinear。 Texture2D texture2d = new Texture2D( 512, 512, TextureFormat.ARGB32, false, false ); texture2d.filterMode = FilterMode.Point; // UnityのRawImageのテクスチャとして設定 m_rawimage.texture = texture2d; } // Update is called once per frame void Update() { } // イベント処理 public void OnEvent() { if( null == m_ajoSurfaceTextureRenderer ) { // 初回は、TextureRendererを初期化する。 InitializeTextureRenderer( 512, 512 ); } else { // テクスチャ更新 m_ajoSurfaceTextureRenderer.Call( "updateSurfaceTexture" ); } // Surfaceでの描画 m_ajoSurfaceTextureRenderer.Call( "drawInSurface" ); } // TextureRendererの初期化 public void InitializeTextureRenderer( int iTextureWidth, int iTextureHeight ) { Debug.Log( "InitializeTextureRenderer() start" ); // テクスチャIDの取得とメンバ変数への設定 IntPtr intptrTextureID = ((Texture2D)m_rawimage.texture).GetNativeTexturePtr(); Debug.Log( " intptrTextureID = " + intptrTextureID.ToString() ); // SurfaceTextureRendererオブジェクトの生成 m_ajoSurfaceTextureRenderer = new AndroidJavaObject( "com.hiramine.surfacetexturerenderer.SurfaceTextureRenderer", iTextureWidth, iTextureHeight, intptrTextureID.ToInt32() ); // Unityテクスチャを使用 Debug.Log( " m_ajoSurfaceTextureRenderer = " + m_ajoSurfaceTextureRenderer.ToString() ); // Surfaceの初期化 m_ajoSurfaceTextureRenderer.Call( "initSurface" ); Debug.Log( "InitializeTextureRenderer() end" ); } }

C#スクリプトのUI要素への割り付け

C#スクリプト「RawImageScript」をUI要素「RawImage」に割り付けます。

「Project」ウィンドウのC#スクリプト「RawImageScript」を、「Hierarchy」ウィンドウの「RawImage」にドラッグ＆ドロップします。


「Inspector」ウィンドウにて、「RawImageScript」が「RawImage」に割り付いたことを確認します。

ボタンを押したときに実行する関数の設定

ボタンを押したときに実行する関数を設定します。

「Hierarchy」ウィンドウの「Button」を選択し、「Inspector」ウィンドウの表示内容を「Button」にします。

「Hierarchy」ウィンドウの「RawImage」を、表示内容が「Button」になっている「Inspector」ウィンドウの「OnClick()」のオブジェクト欄にドラッグ＆ドロップします。

「OnClick()」のFunction欄を、「RawImageScript.OnEvent」にします。



「ボタンをクリックすると、『RawImage』オブジェクトに割り付けられた『RawImageScript』スクリプトの『OnEvent』関数が実行される」ようになりました。

Build

メインメニュー「File > Build Settings」を選択します。

「Build Settings」ダイアログが表示されます。

「Build」ボタンを押します。

出力フォルダと、出力ファイル名を指定します。たとえば、出力フォルダとして、Unityアプリのプロジェクトフォルダの下に「Build」フォルダを作成、指定し、出力ファイル名として「RenderingSurfaceTextureInUnity.apk」と指定します。

「保存」ボタンを押します。

Unityアプリのビルドが開始します。

しばらく待ちます。

Unityアプリの実行ファイル（apkファイル）が生成されます。

「Build Settings」ダイアログを閉じます。

実行

Build And Run

Android端末をUSB接続しておきます。

メインメニュー「File > Build And Run」を選択します。

Unityアプリのビルドが開始し、ビルドが終了すると、Android端末上でUnityアプリが実行されます。

起動直後


アプリ画面のボタンを押します。
TextureRendererの初期化処理が実行されます。

「Android Logcat」ウィンドウを確認すると、glBindTexture() でエラーが発生しています。



アプリ画面のボタンを再度押します。
テクスチャの更新処理が実行されます。

UnityアプリのRawImageの描画に変化はありませんでした。

「Android Logcat」ウィンドウを確認すると、SurfaceTexture#updateTexImage() で、エラーが発生しています。

考察

アプリ画面のボタンを１回目に押した際のエラーのエラーコードは1282。エラーコード 1282 (16進数表現にすると0x502）は、GL_INVALID_OPERATION。

glBindTexture()関数のリファレンスによると、
「GL_INVALID_OPERATION is generated if texture was previously created with a target that doesn't match that of target.」

「Unityで作成したテクスチャは、GL_TEXTURE_2D をターゲットとして作成されているため、異なるターゲットである GL_TEXTURE_EXTERNAL_OES での glBindTexture() でエラーが発生する」と考える。

アプリ画面のボタンを２回目に押した際のエラーは、１回目に押した際のエラーと関係のあるエラーと考える。

関連ページ

次項目：02．Unity側で作成したテクスチャを、Java側でGL_TEXTURE_2DのテクスチャとしてSurfaceTextureに割り付けて使用する方法