Arduino+Processing マトリクスLED＋Webカメラ

今回は、Webカメラから取り込んだ映像をArduinoに接続した８×８マトリクスLEDに映す実験を行います。まず、ProcessingでWebカメラからの映像を８×８ピクセルで取り込み、合計６４個のピクセルの明るさの値（０〜２５５）を調べてから、その個々の値をシリアル通信でArduinoに送ります。Arduino側では、受け取った６４個分の値をマトリクスLEDの個々の明るさに反映させます。Arduino基盤とマトリクスLEDとは、ICを使わず直結することにします（接続方法は「Arduino　マトリクスLED１」を参照）。
Processingの画面では、マトリクスLEDの表示シミュレーション（モニタリング）を同時に行うことにします（前回行ったモザイク処理のような方法で赤い円を６４個映し出すことにします）。


「Processingの画面（モニタリング）」

Processingのプログラム：

//ビデオライブラリを取り込む
import processing.video.*;
//キャプチャ用オブジェクトを用意
Capture video;

//シリアル通信ライブラリを取り込む
import processing.serial.*;
//シリアル通信オブジェクトを用意
Serial port;

//64個分のピクセル色の配列を用意
int[] pixelValue=new int[64];

//シリアル通信開始用フラグ
boolean start=false;

void setup(){
  //画面を160角に設定
  size(160,160);
  //描画を滑らかにする
  smooth();

  //映像キャプチャの設定（幅8,高さ8ピクセル,フレームレート30）
  video = new Capture(this, 8, 8, 30);

  //ポートの設定
  port=new Serial(this,"/dev/tty.usbserial-A40014iU",9600);

  //外形線なし
  noStroke();
}

void draw(){
  //背景を黒で塗る
  background(0);
  
  //64個分のピクセルの処理
  for(int i=0;i<64;i++){
    //映像の各ピクセルの色の値を
    //明るさの値に変換する
    pixelValue[i]=int(brightness(video.pixels[i]));

    //円の塗色（赤の値）に代入
    fill(pixelValue[i],0,0);
    //円を描画
    ellipse((i%8)*20+10,(i/8)*20+10,15,15);

    //値を送信
    if(start){
      port.write(pixelValue[i]);
    }
  }
}

//キャプチャ映像読み込み
void captureEvent(Capture video) {
  video.read();
}

クリックでシリアル通信開始
void mousePressed(){
  start=true;
}

Processingの方では、VideoライブラリとSerialライブラリの二つを取り込む必要があります。マトリクスLEDが８×８の解像度なので、Webカメラから取り込む映像の解像度も８×８にしておきます（カメラ映像の横縦比は4:3なので、少し縦長の映像になってしまいます）。
*Windowsの場合、そのままの設定ではこのVideoライブラリを使用することができません。WinVDIG 1.0.1をインストールする必要があります。
「pixelValue[i]=int(brightness(video.pixels[i]))」では、まず映像の各ピクセルの色をpixels[]で読み込みます。pixels[]は、RGBの三色の値（三つの値）を含んでおり、brightness()で括ると明るさの値（一つの値）に変換されます（０〜２５５）。変換された値はfloat（小数）なのでint()で括って整数に変換しておきます。この値を、fill()の赤の値に代入し（緑と青は０）、LEDのような赤い円をellipse()を使って６４個描画します。８×８を１６０×１６０の画面で表示しているので、２０×２０ピクセルのグリッド状に配置されます。ellipse()の直径はとりあえず１５にしておきました。ellipse()のXとY座標は、「%」と「/」を使って計算します（X座標となる「(i%8)*20+10」は、iを８（横幅）で割った余りに２０ピクセル掛けて、さらに１０ピクセル足すことでellipse()が２０×２０のグリッドの中心に来るように位置調整しています）。最後に「port.write(pixelValue[i])」で、Arduinoへ各ピクセルの明るさの値を送信します。今回は画面をクリックしたらシリアル通信が開始されるようにしています。

次にArduinoの方に移ります。冒頭で書いたように、今回はマトリクスLEDを、ICを使わず直結します。個々のLEDはダイナミック点灯しているので、点灯時間の長さによって明るさを調整することになります。点灯時間が短ければ暗くなり、長くなれば明るくなります。つまり、Processingから送られて来た明るさの値（０〜２５５）を、個々のLEDの点灯時間に反映させるプログラムになるということです。マトリクスLEDとの接続方法や詳細については「Arduino　マトリクスLED１」を参照してください。

Arduinoのプログラム：

//8x8の二次元配列を用意
byte matrix[8][8];

void setup(){
  //出力ピンの設定、すべてオフにする
  for(int i=2;i<=17;i++){
    pinMode(i,OUTPUT);
    digitalWrite(i,LOW);
  }
  //シリアル通信開始
  Serial.begin(9600);
}

void loop(){
  //シリアル通信（64個分のデータ）
  if(Serial.available()>63){
    for(int k=0;k<8;k++){
      for(int l=0;l<8;l++){
        //読み込んだ値を配列に代入
        matrix[k][l]=Serial.read();
      }  
    }
  }

  //各LEDの点灯制御
  for(int i=2;i<=9;i++){
    //列の点灯
    digitalWrite(i,HIGH);

    for(int j=10;j<=17;j++){
      //行の点灯
      digitalWrite(j,LOW);
      //行の点灯継続時間
      delayMicroseconds(1+matrix[i-2][j-10]);
      //行の消灯
      digitalWrite(j,HIGH);
      //行の消灯継続時間
      delayMicroseconds(256-matrix[i-2][j-10]);    
    }
    //列の消灯
    digitalWrite(i,LOW);
  }
}

以前の「Arduino　マトリクスLED１」とほぼプログラム内容は同じです。異なる部分は、シリアル通信と各LEDを点灯／消灯させる継続時間の部分です。用意する二次元配列は、boolean型ではなくbyte型（0~255の値なので）にしています。
シリアル通信上で干渉しないようにするため、Arduino基盤の０番ピンと１番ピンには何も接続しないことにしています（２〜１７番ピンを使用）。シリアル通信では、Processingから送られてくる６４個のデータをSerial.available()でカウントして、それぞれの値を予め用意しておいた二次元配列matrixに保存しておきます。送られてくるデータは０〜２５５（明るさの値）となります。そしてダイナミック点灯していく際に、明るさの値をdelayMicroseconds()に代入して、点灯継続時間と消灯継続時間に割り当てます。delayMicroseconds(0)としてしまうと、０マイクロ秒としては扱ってくれないので、delayMicroseconds()の括弧内に入れられる最小値は１にしてあります。最小１マイクロ秒の点灯時間かつ最大２５６マイクロ秒の消灯時間のときが最も暗くなるときです。その逆で、最大２５６マイクロ秒の点灯時間かつ最小１マイクロ秒の消灯時間のときが最も明るくなります。個々のLEDは２５７マイクロ秒ごとにダイナミック点灯していることになります。個々のLEDの点滅を３００マイクロ秒程度にすると点滅しているようには見えないので、今回の２５７マイクロ秒周期で点滅させれば、ほぼ問題ないでしょう。

関連：
・「シリアル通信１〜５」
・「Arduino　マトリクスLED１」
・「Processing　Video（Webカメラ）」