PythonでWebカメラ画像の表示（Dockerコンテナ起動し、JupyterLabから実行）

解説

JupyterLabサーバーをDockerコンテナを起動することで起動し、JupyterLab上のPythonプログラミングにおいて、Webカメラ画像を表示する方法についてまとめます。
（Dockerコンテナを起動し、起動したコンテナ上にいるTerminalからPythonプログラムを実行するときの、Webカメラ画像を表示する方法は、「PythonでWebカメラ画像の表示（Dockerコンテナ起動し、Terminalから実行）」にあります。）

Webカメラ画像を表示する方法は様々ありますが、以下の方法についてまとめます。

OpenCVを用いてカメラ画像を読み込み、IPythonを用いて画像表示をする方法

機械学習開発用のコンテナの起動

「Dockerコンテナを実行してJupyterLabにアクセス」に従い、コンテナ起動スクリプトファイルを作成します。

Webカメラにアクセスできるようにするために、スクリプトファイルのコンテナ起動コマンドのオプションに以下を追加します。

--device /dev/video0

コンテナ起動スクリプトファイルの内容としては以下のようにします。
sudo docker run -it \ --rm \ --runtime nvidia \ --network host \ --volume ~/work:/work \ 　　　　　　　　--device /dev/video0 \ nvcr.io/nvidia/l4t-ml:r35.2.1-py3

Jetson に Webカメラを接続します。

以下のコマンドを実行し、「L4T ML」コンテナを起動します。

./docker_ml_run.sh

備考）
「--device /dev/video0」を指定し、Webカメラを接続せずに、コンテナを起動すると、以下のようなエラーメッセージが表示され、コンテナ起動に失敗します。
docker: Error response from daemon: error gathering device information while adding custom device "/dev/video0": no such file or directory.

Jupyterにアクセス

「L4T ML」コンテナを起動すると、以下のようなメッセージが表示され、JupyterLabサーバーも起動します。（IPアドレス部は、実行する Jetson Orin Nano の環境によって異なります）

allow 10 sec for JupyterLab to start @ http://XXX.XXX.XXX.XXX:8888 (password nvidia)

Jetson Orin Nano のデスクトップの「Chromium ウェブ・ブラウザ」アプリ、もしくは、同一ネットワーク上のPCのブラウザアプリ（ChromeやEdge）から、
http://[Jetson Orin Nano のIPアドレス]:8888
もしくは
http://[Jetson Orin Nano のホスト名]:8888
にアクセスします。

JupiterLabが表示されます。ログインします。

OpenCVを用いてカメラ画像を読み込み、IPythonを用いて画像表示をする方法

１フレームのカメラ画像を取得し表示

import cv2 import IPython.display # キャプチャオブジェクトの取得 cap = cv2.VideoCapture(0) if( not cap.isOpened() ): print('Cannot open camera.') raise Exception() # 解像度の指定 # （指定した解像度が利用できない場合、 # 　利用可能な最も近い解像度が設定される） cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240) # フレームの取得 ret, frame = cap.read() if( not ret ): print('failed to read frame.') else: # ピクセルごとの色の配列をjpgフォーマットのバイト列に変換 _, bytesImage = cv2.imencode('.jpg', frame) # jpgフォーマットのバイト列をIPython.display.Imageオブジェクト化 image = IPython.display.Image(bytesImage) # 表示 IPython.display.display(image) # キャプチャオブジェクトのリリース cap.release()

実行結果例

Webカメラからのフレームの取得結果のframeオブジェクトのデータ型は、
numpy.ndarray
でした。（「print(type(frame))」にて確認）

カメラ画像を断続的に取得し表示

import cv2 import IPython.display # キャプチャオブジェクトの取得 cap = cv2.VideoCapture(0) if( not cap.isOpened() ): print('Cannot open camera.') raise Exception() # 解像度の指定 # （指定した解像度が利用できない場合、 # 　利用可能な最も近い解像度が設定される） cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240) try: while(True): # フレームの取得 ret, frame = cap.read() if(not ret): print('failed to read frame.') break; elif(frame is None): print('frame is None.') break; else: # ピクセルごとの色の配列をjpgフォーマットのバイト列に変換 _, bytesImage = cv2.imencode('.jpg', frame) # jpgフォーマットのバイト列をIPython.display.Imageオブジェクト化 image = IPython.display.Image(bytesImage) # 表示 IPython.display.display(image) # 次の表示が来たら表示クリアし、そこに次の表示をする（＝アニメーション表示） IPython.display.clear_output(wait=True) except KeyboardInterrupt: # 「Jupyterメニュー > Kernel > Interrupt Kernel」で処理中断 print('Interrupted.') # キャプチャオブジェクトのリリース cap.release()

カメラ画像の断続的な取得を中断するには、
「Jupyterメニュー > Kernel > Interrupt Kernel」
をクリックします。

コンテナの終了

コンテナを終了するには、起動したコンテナ上にいるTerminalで「exit」と入力します。