Introdução ao ESP32-CAM

Introdução

Quem acompanha o blog, já conhece a família ESP. Neste post, falaremos sobre mais um membro dela, o ESP32-CAM. Como o próprio nome sugere, esta placa integra o chip ESP32 e uma câmera. Além disso, há também entrada para cartão SD e um LED de alto brilho para cumprir a função de flash. Com seu alto poder de processamento, o módulo é capaz de fazer stream de vídeo, tirar fotos e até processar reconhecimento facial. Abaixo, uma foto do módulo:

ESP32-CAM com a câmera acoplada

Características

Na eletrogate, temos a AI-THINKER, sobre a qual o post tratará. Pode ser alimentado tanto a 3.3 V quanto a 5 V, mas em pinos diferentes, enquanto sua tensão de comunicação digital é, estritamente, 3.3 V.

Possui as seguintes características:

• 160 MHz de clock, podendo alcançar até 600 Milhões de instruções Dhrystone por segundo;
• 520 KB de SRAM interna + 4 MBSRAM embutida na placa;
• Protocolos UART, I2C e SPI;
• Saídas digitais, PWM e DAC;
• Suporte para câmeras OV2640 (2 MP);
• Suporte a comunicação WiFi tanto como estação (STA) quanto como (AP) e Bluetooth;
• 9 portas I/O;
• Consumo mínimo de corrente: 6 mA;
• Consumo máximo de corrente: 310 mA.

Pinagem

Pinout do módulo. Fonte na imagem.

• RXD e TXD: Pinos de comunicação serial;
• ADC: Entradas analógicas;
• CLK: Pinos que podem ser configurados como saída de clock;
• Touch: Pinos conectados ao sensor de toque;
• RTC: Pinos para comunicação com Real Time Clock;
• VCC OUT: Saída de tensão (varia de acordo com a tensão de alimentação;
• HSPI: saídas SPI (o H corresponde a Hardware).

Como é possível perceber, não há conversor USB-Serial nessa placa. Então, para programar o módulo, é necessário montar a seguinte conexão com um conversor:

Materiais necessários para o circuito básico com o ESP32-CAM

• Módulo ESP32-CAM com Camera OV2640 2MP
• Módulo Conversor USB para RS232 TTL – FTDI FT232RL
• Protoboard
• Jumpers

Conexões para a escrita do programa.

Para que o equipamento funcione, é necessário, após completar a programação, retirar a conexão de Jumper Wire.

Primeiro Exemplo

Para conhecer o módulo, começaremos com um simples stream de vídeo via WiFi.
Antes, selecione, em ferramentas, a placa “AI Thinker ESP32-CAM”, mantendo os parâmetros com os valores padrão.

No código, primeiramente é feita a inclusão das bibliotecas que serão utilizadas:

#include "esp_camera.h"
#include <WiFi.h>
#include "esp_timer.h"
#include "img_converters.h"
#include "Arduino.h"
#include "fb_gfx.h"
#include "soc/soc.h" 
#include "soc/rtc_cntl_reg.h"  
#include "esp_http_server.h"

Então, são definidos ssid e password da rede:

const char* ssid = "***********";
const char* password = "***********";

Neste campo, substitua os asteriscos pelo nome e a senha da rede, respectivamente.

Definição do pinout do módulo:

#define PWDN_GPIO_NUM     32
#define RESET_GPIO_NUM    -1
#define XCLK_GPIO_NUM      0
#define SIOD_GPIO_NUM     26
#define SIOC_GPIO_NUM     27
#define Y9_GPIO_NUM       35
#define Y8_GPIO_NUM       34
#define Y7_GPIO_NUM       39
#define Y6_GPIO_NUM       36
#define Y5_GPIO_NUM       21
#define Y4_GPIO_NUM       19
#define Y3_GPIO_NUM       18
#define Y2_GPIO_NUM        5
#define VSYNC_GPIO_NUM    25
#define HREF_GPIO_NUM     23
#define PCLK_GPIO_NUM     22

Definição dos formatos do vídeo no servidor:

#define PART_BOUNDARY "123456789000000000000987654321"
static const char* _STREAM_CONTENT_TYPE = "multipart/x-mixed-replace;boundary=" PART_BOUNDARY;
static const char* _STREAM_BOUNDARY = "\r\n--" PART_BOUNDARY "\r\n";
static const char* _STREAM_PART = "Content-Type: image/jpeg\r\nContent-Length: %u\r\n\r\n";

Configuração o manipulador do servidor (segue o formato padrão oferecido na IDE, sobre o qual será tratado posteriormente neste post):

static esp_err_t stream_handler(httpd_req_t *req){
  camera_fb_t * fb = NULL;
  esp_err_t res = ESP_OK;
  size_t _jpg_buf_len = 0;
  uint8_t * _jpg_buf = NULL;
  char * part_buf[64];

  res = httpd_resp_set_type(req, _STREAM_CONTENT_TYPE);
  if(res != ESP_OK){
    return res;
  }

  while(true){
    fb = esp_camera_fb_get();
    if (!fb) {
      Serial.println("Camera capture failed");
      res = ESP_FAIL;
    } else {
      if(fb->width > 400){
        if(fb->format != PIXFORMAT_JPEG){
          bool jpeg_converted = frame2jpg(fb, 80, &_jpg_buf, &_jpg_buf_len);
          esp_camera_fb_return(fb);
          fb = NULL;
          if(!jpeg_converted){
            Serial.println("JPEG compression failed");
            res = ESP_FAIL;
          }
        } else {
          _jpg_buf_len = fb->len;
          _jpg_buf = fb->buf;
        }
      }
    }
    if(res == ESP_OK){
      size_t hlen = snprintf((char *)part_buf, 64, _STREAM_PART, _jpg_buf_len);
      res = httpd_resp_send_chunk(req, (const char *)part_buf, hlen);
    }
    if(res == ESP_OK){
      res = httpd_resp_send_chunk(req, (const char *)_jpg_buf, _jpg_buf_len);
    }
    if(res == ESP_OK){
      res = httpd_resp_send_chunk(req, _STREAM_BOUNDARY, strlen(_STREAM_BOUNDARY));
    }
    if(fb){
      esp_camera_fb_return(fb);
      fb = NULL;
      _jpg_buf = NULL;
    } else if(_jpg_buf){
      free(_jpg_buf);
      _jpg_buf = NULL;
    }
    if(res != ESP_OK){
      break;
    }
  }
  return res;
}

Inicia o servidor:

void startCameraServer(){
  httpd_config_t config = HTTPD_DEFAULT_CONFIG();
  config.server_port = 80;

  httpd_uri_t index_uri = {
    .uri       = "/",
    .method    = HTTP_GET,
    .handler   = stream_handler,
    .user_ctx  = NULL
  };
  
  if (httpd_start(&stream_httpd, &config) == ESP_OK) {
    httpd_register_uri_handler(stream_httpd, &index_uri);
  }
}

Configura a câmera:

void setup() {
  WRITE_PERI_REG(RTC_CNTL_BROWN_OUT_REG, 0); //desativa o detector de brownout
 
  Serial.begin(115200);
  Serial.setDebugOutput(false);
  
  camera_config_t config;
  config.ledc_channel = LEDC_CHANNEL_0;
  config.ledc_timer = LEDC_TIMER_0;
  config.pin_d0 = Y2_GPIO_NUM;
  config.pin_d1 = Y3_GPIO_NUM;
  config.pin_d2 = Y4_GPIO_NUM;
  config.pin_d3 = Y5_GPIO_NUM;
  config.pin_d4 = Y6_GPIO_NUM;
  config.pin_d5 = Y7_GPIO_NUM;
  config.pin_d6 = Y8_GPIO_NUM;
  config.pin_d7 = Y9_GPIO_NUM;
  config.pin_xclk = XCLK_GPIO_NUM;
  config.pin_pclk = PCLK_GPIO_NUM;
  config.pin_vsync = VSYNC_GPIO_NUM;
  config.pin_href = HREF_GPIO_NUM;
  config.pin_sscb_sda = SIOD_GPIO_NUM;
  config.pin_sscb_scl = SIOC_GPIO_NUM;
  config.pin_pwdn = PWDN_GPIO_NUM;
  config.pin_reset = RESET_GPIO_NUM;
  config.xclk_freq_hz = 20000000;
  config.pixel_format = PIXFORMAT_JPEG; //define o formato de exibição do vídeo
  
  config.frame_size = FRAMESIZE_UXGA; //define a quantidade de pixels que irá compor a imagem.
                                      //pode ser reduzido para aumentar o framerate. em algumas
                                      //placas não funciona. ainda não sabemos o porquê.
                                      //opções: VGA, CIF, QVGA, HQVGA, QQVGA, UXGA, SXGA, XGA, SVGA
  config.jpeg_quality = 40;           //define o fator de compressão da imagem.
                                      //pode ser reduzido para aumentar o framerate.
                                      //opções: 0 - 63, quanto maior, menor a qualidade da imagem
  config.fb_count = 2;

Por ultimo, a câmera é iniciada, a conexão WiFi é estabelecida e o servidor é aberto:

// Inicia câmera
  esp_err_t err = esp_camera_init(&config);
  if (err != ESP_OK) {
    Serial.printf("Camera init failed with error 0x%x", err);
    return;
  }
  // Conecta ao WiFi
  WiFi.begin(ssid, password);
  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("");
  Serial.println("WiFi connected");
  
  Serial.print("Camera Stream Ready! Go to: http://");
  Serial.print(WiFi.localIP());
  
  // Inicia o servidor
  startCameraServer();
}

Código completo:

#include "esp_camera.h"
#include <WiFi.h>
#include "esp_timer.h"
#include "img_converters.h"
#include "Arduino.h"
#include "fb_gfx.h"
#include "soc/soc.h" 
#include "soc/rtc_cntl_reg.h"  
#include "esp_http_server.h"

const char* ssid = "********";
const char* password = "*******";

#define PWDN_GPIO_NUM     32
#define RESET_GPIO_NUM    -1
#define XCLK_GPIO_NUM      0
#define SIOD_GPIO_NUM     26
#define SIOC_GPIO_NUM     27
#define Y9_GPIO_NUM       35
#define Y8_GPIO_NUM       34
#define Y7_GPIO_NUM       39
#define Y6_GPIO_NUM       36
#define Y5_GPIO_NUM       21
#define Y4_GPIO_NUM       19
#define Y3_GPIO_NUM       18
#define Y2_GPIO_NUM        5
#define VSYNC_GPIO_NUM    25
#define HREF_GPIO_NUM     23
#define PCLK_GPIO_NUM     22

#define PART_BOUNDARY "123456789000000000000987654321"
static const char* _STREAM_CONTENT_TYPE = "multipart/x-mixed-replace;boundary=" PART_BOUNDARY;
static const char* _STREAM_BOUNDARY = "\r\n--" PART_BOUNDARY "\r\n";
static const char* _STREAM_PART = "Content-Type: image/jpeg\r\nContent-Length: %u\r\n\r\n";

httpd_handle_t stream_httpd = NULL;

static esp_err_t stream_handler(httpd_req_t *req){
  camera_fb_t * fb = NULL;
  esp_err_t res = ESP_OK;
  size_t _jpg_buf_len = 0;
  uint8_t * _jpg_buf = NULL;
  char * part_buf[64];

  res = httpd_resp_set_type(req, _STREAM_CONTENT_TYPE);
  if(res != ESP_OK){
    return res;
  }

  while(true){
    fb = esp_camera_fb_get();
    if (!fb) {
      Serial.println("Camera capture failed");
      res = ESP_FAIL;
    } else {
      if(fb->width > 400){
        if(fb->format != PIXFORMAT_JPEG){
          bool jpeg_converted = frame2jpg(fb, 80, &_jpg_buf, &_jpg_buf_len);
          esp_camera_fb_return(fb);
          fb = NULL;
          if(!jpeg_converted){
            Serial.println("JPEG compression failed");
            res = ESP_FAIL;
          }
        } else {
          _jpg_buf_len = fb->len;
          _jpg_buf = fb->buf;
        }
      }
    }
    if(res == ESP_OK){
      size_t hlen = snprintf((char *)part_buf, 64, _STREAM_PART, _jpg_buf_len);
      res = httpd_resp_send_chunk(req, (const char *)part_buf, hlen);
    }
    if(res == ESP_OK){
      res = httpd_resp_send_chunk(req, (const char *)_jpg_buf, _jpg_buf_len);
    }
    if(res == ESP_OK){
      res = httpd_resp_send_chunk(req, _STREAM_BOUNDARY, strlen(_STREAM_BOUNDARY));
    }
    if(fb){
      esp_camera_fb_return(fb);
      fb = NULL;
      _jpg_buf = NULL;
    } else if(_jpg_buf){
      free(_jpg_buf);
      _jpg_buf = NULL;
    }
    if(res != ESP_OK){
      break;
    }
  }
  return res;
}

void startCameraServer(){
  httpd_config_t config = HTTPD_DEFAULT_CONFIG();
  config.server_port = 80;

  httpd_uri_t index_uri = {
    .uri       = "/",
    .method    = HTTP_GET,
    .handler   = stream_handler,
    .user_ctx  = NULL
  };
  
  if (httpd_start(&stream_httpd, &config) == ESP_OK) {
    httpd_register_uri_handler(stream_httpd, &index_uri);
  }
}

void setup() {
  WRITE_PERI_REG(RTC_CNTL_BROWN_OUT_REG, 0); //desativa o detector de brownout
 
  Serial.begin(115200);
  Serial.setDebugOutput(false);
  
  camera_config_t config;
  config.ledc_channel = LEDC_CHANNEL_0;
  config.ledc_timer = LEDC_TIMER_0;
  config.pin_d0 = Y2_GPIO_NUM;
  config.pin_d1 = Y3_GPIO_NUM;
  config.pin_d2 = Y4_GPIO_NUM;
  config.pin_d3 = Y5_GPIO_NUM;
  config.pin_d4 = Y6_GPIO_NUM;
  config.pin_d5 = Y7_GPIO_NUM;
  config.pin_d6 = Y8_GPIO_NUM;
  config.pin_d7 = Y9_GPIO_NUM;
  config.pin_xclk = XCLK_GPIO_NUM;
  config.pin_pclk = PCLK_GPIO_NUM;
  config.pin_vsync = VSYNC_GPIO_NUM;
  config.pin_href = HREF_GPIO_NUM;
  config.pin_sscb_sda = SIOD_GPIO_NUM;
  config.pin_sscb_scl = SIOC_GPIO_NUM;
  config.pin_pwdn = PWDN_GPIO_NUM;
  config.pin_reset = RESET_GPIO_NUM;
  config.xclk_freq_hz = 20000000;
  config.pixel_format = PIXFORMAT_JPEG; 
  
  config.frame_size = FRAMESIZE_UXGA;
  config.jpeg_quality = 40;
  config.fb_count = 2;

  
  // Inicia a câmera
  esp_err_t err = esp_camera_init(&config);
  if (err != ESP_OK) {
    Serial.printf("Camera init failed with error 0x%x", err);
    return;
  }
  // Conecta o WiFi
  WiFi.begin(ssid, password);
  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("");
  Serial.println("WiFi connected");
  
  Serial.print("Camera Stream Ready! Go to: http://");
  Serial.print(WiFi.localIP());
  
  // Start streaming web server
  startCameraServer();
}

void loop() {
  delay(1);  //nenhuma ação relevante é realizada no loop
}

Após carregar o código, acesse o IP exibido no monitor serial e será possível visualizar o que a câmera estiver captando.

CameraWebServer

O poder de processamento do ESP32 é melhor explorado no exemplo disponibilizado pela Arduino IDE em Arquivo -> Exemplos -> ESP32 -> Camera  -> CameraWebServer. Serão abertas as 4 abas vistas abaixo:

CameraWebServer: Código principal. Aqui é feita a configuração do sistema e a inicialização dos periféricos e do servidor.

app_httpd.cpp: Parte do código onde são configurados o servidor e o reconhecimento facial.

camera_index.h: HTML de exibição do servidor. Está codificado em hexadecimal, mas pode ser extraído seguindo este tutorial.

camera_pins.h: Arquivo de definição dos pinos da câmera. Em algumas versões do suporte às placas pode estar contido no código principal.

Após carrega-lo no módulo, acesse o IP indicado no monitor serial após a conexão do ESP em sua rede.

A seguinte tela será exibida:

Role para baixo e, em “Start Stream”, inicie a transmissão. Para iniciar o reconhecimento facial, selecione “Face detection” e “Face recognition”.

O vídeo poderá, então, ser visto no início da página:

Considerações Finais

O ESP32-CAM é um módulo com muitos recursos e sobre o qual há muitas possibilidades. Alterando os códigos visto no exemplo consegue-se experimentar diversas formas de computação visual. Esperamos que este primeiro post sobre o tema sirva para instigar a curiosidade acerca dos projetos que podem vir a ser realizados com essa placa. Obrigado pela leitura!

Conheça a Metodologia Eletrogate e ofereça aulas de robótica em sua escola!

Sobre o autor

Eduardo Henrique Formado técnico em mecatrônica no CEFET-MG, atualmente estuda Engenharia de Controle e Automação na UFMG.