ESP32 使用ESP32-CAM摄像头在网页显示并且进行人脸识别

2023年8月24日2023年8月24日 lingshun

实验效果

本文凌顺实验室(lingshunlab.com)主要分享使用官方的摄像头例子程序，实现ESP32-CAM（ESP32摄像头）在网页中实时显示画面，并且使用人脸识别的方法。

元件说明

ESP32-CAM是一款非常细小尺寸的摄像头开发板，仅有27 x 40.5 x 4.5 mm大小，可以作为一个系统独立运行，深度睡眠电流只达到6mA。
ESP-32CAM广泛运用在各种物联网的开发，它适用于家庭智能设备、工业无线控制、无线监控、QR无线识别、无线定位系统信号和其他物联网应用。它是物联网应用的一个理想解决方桉。
ESP-32CAM采用DIP封装，可直接插入背板，实现产品的快速生产，为用户提供简单可靠性的开发方式，便于应用于各种物联网硬件终端。

注意：

购买ESP32-CAM模块的时候，如果是新手的话，建议连底板一起购买，

这样的话，直接接USB数据线就可以刷程序了。

省时间，
省钱（省去看怎么接线，接上线的时间，时间就是金钱），
省心（接错线轻则无反应，重则烧板子）

．主要用途：
制作监控设备、机器人镜头、人面辨识系统

．产品特性：
– 最小的802.11b/g/n Wi-Fi BT SoC模块
– 低功耗32位CPU，也可作为应用处理器使用
– 高达160MHz的时钟速度，综合计算能力高达600 DMIPS
– 内置520KB SRAM，外置4MPSRAM
– 支援UART/SPI/I2C/PWM/ADC/DAC
– 支援OV2640和OV7670相机，内置Flash灯。
– 支援图像WiFI上传
– 支援TF卡
– 支援多种睡眠模式。
– 嵌入式Lwip和FreeRTOS
– 支援STA/AP/STA+AP操作模式
– 支援智能配置/AirKiss技术
– 支援串口本地和远程固件升级（FOTA）

．商品规格：
尺寸：40.5274.5mm
重量：20g
电压：3V
封装：DIP-16
SPI Flash：32Mbit
内存：520KB SRAM + 4M PSRAM
接口型式：UART、SPI、I2C、PWM
支援TF卡：Micro-SD
IO接口：9个
图像输出格式：JPEG(仅OV2640支持)，BMP，Crayscale
天线形式：板载PCB天线，增益2dBi
发射功率：802.11b: 17±2 dBm (@11Mbps)
供电电压：5V
蓝牙：Bluetooth 4.2 BR / EDR 和 BLE standards
Wi-Fi：802.11 b/g/n/
安全制式：WPA/WPA2/WPA2-Enterprise/WPS

程序代码

其实，在Arduino IDE中的ESP32的例子中，就有摄像头的代码

代码如下：

// welcome to lingshunlab.com

#include "esp_camera.h"
#include <WiFi.h>

//
// WARNING!!! PSRAM IC required for UXGA resolution and high JPEG quality
//            Ensure ESP32 Wrover Module or other board with PSRAM is selected
//            Partial images will be transmitted if image exceeds buffer size
//
//            You must select partition scheme from the board menu that has at least 3MB APP space.
//            Face Recognition is DISABLED for ESP32 and ESP32-S2, because it takes up from 15 
//            seconds to process single frame. Face Detection is ENABLED if PSRAM is enabled as well

// ===================
// Select camera model
// ===================
//#define CAMERA_MODEL_WROVER_KIT // Has PSRAM
//#define CAMERA_MODEL_ESP_EYE // Has PSRAM
//#define CAMERA_MODEL_ESP32S3_EYE // Has PSRAM
//#define CAMERA_MODEL_M5STACK_PSRAM // Has PSRAM
//#define CAMERA_MODEL_M5STACK_V2_PSRAM // M5Camera version B Has PSRAM
//#define CAMERA_MODEL_M5STACK_WIDE // Has PSRAM
//#define CAMERA_MODEL_M5STACK_ESP32CAM // No PSRAM
//#define CAMERA_MODEL_M5STACK_UNITCAM // No PSRAM
#define CAMERA_MODEL_AI_THINKER // Has PSRAM
//#define CAMERA_MODEL_TTGO_T_JOURNAL // No PSRAM
// ** Espressif Internal Boards **
//#define CAMERA_MODEL_ESP32_CAM_BOARD
//#define CAMERA_MODEL_ESP32S2_CAM_BOARD
//#define CAMERA_MODEL_ESP32S3_CAM_LCD

#include "camera_pins.h"

// ===========================
// Enter your WiFi credentials
// ===========================
const char* ssid = "**********";       // 这里需要修改成你的WIFI名称
const char* password = "**********";   // 修改成你的WIFI密码

void startCameraServer();

void setup() {
  Serial.begin(115200);
  Serial.setDebugOutput(true);
  Serial.println();

  camera_config_t config;
  config.ledc_channel = LEDC_CHANNEL_0;
  config.ledc_timer = LEDC_TIMER_0;
  config.pin_d0 = Y2_GPIO_NUM;
  config.pin_d1 = Y3_GPIO_NUM;
  config.pin_d2 = Y4_GPIO_NUM;
  config.pin_d3 = Y5_GPIO_NUM;
  config.pin_d4 = Y6_GPIO_NUM;
  config.pin_d5 = Y7_GPIO_NUM;
  config.pin_d6 = Y8_GPIO_NUM;
  config.pin_d7 = Y9_GPIO_NUM;
  config.pin_xclk = XCLK_GPIO_NUM;
  config.pin_pclk = PCLK_GPIO_NUM;
  config.pin_vsync = VSYNC_GPIO_NUM;
  config.pin_href = HREF_GPIO_NUM;
  config.pin_sscb_sda = SIOD_GPIO_NUM;
  config.pin_sscb_scl = SIOC_GPIO_NUM;
  config.pin_pwdn = PWDN_GPIO_NUM;
  config.pin_reset = RESET_GPIO_NUM;
  config.xclk_freq_hz = 20000000;
  config.frame_size = FRAMESIZE_UXGA;
  config.pixel_format = PIXFORMAT_JPEG; // for streaming
  //config.pixel_format = PIXFORMAT_RGB565; // for face detection/recognition
  config.grab_mode = CAMERA_GRAB_WHEN_EMPTY;
  config.fb_location = CAMERA_FB_IN_PSRAM;
  config.jpeg_quality = 12;
  config.fb_count = 1;

  // if PSRAM IC present, init with UXGA resolution and higher JPEG quality
  //                      for larger pre-allocated frame buffer.
  if(config.pixel_format == PIXFORMAT_JPEG){
    if(psramFound()){
      config.jpeg_quality = 10;
      config.fb_count = 2;
      config.grab_mode = CAMERA_GRAB_LATEST;
    } else {
      // Limit the frame size when PSRAM is not available
      config.frame_size = FRAMESIZE_SVGA;
      config.fb_location = CAMERA_FB_IN_DRAM;
    }
  } else {
    // Best option for face detection/recognition
    config.frame_size = FRAMESIZE_240X240;
#if CONFIG_IDF_TARGET_ESP32S3
    config.fb_count = 2;
#endif
  }

#if defined(CAMERA_MODEL_ESP_EYE)
  pinMode(13, INPUT_PULLUP);
  pinMode(14, INPUT_PULLUP);
#endif

  // camera init
  esp_err_t err = esp_camera_init(&config);
  if (err != ESP_OK) {
    Serial.printf("Camera init failed with error 0x%x", err);
    return;
  }

  sensor_t * s = esp_camera_sensor_get();
  // initial sensors are flipped vertically and colors are a bit saturated
  if (s->id.PID == OV3660_PID) {
    s->set_vflip(s, 1); // flip it back
    s->set_brightness(s, 1); // up the brightness just a bit
    s->set_saturation(s, -2); // lower the saturation
  }
  // drop down frame size for higher initial frame rate
  if(config.pixel_format == PIXFORMAT_JPEG){
    s->set_framesize(s, FRAMESIZE_QVGA);
  }

#if defined(CAMERA_MODEL_M5STACK_WIDE) || defined(CAMERA_MODEL_M5STACK_ESP32CAM)
  s->set_vflip(s, 1);
  s->set_hmirror(s, 1);
#endif

#if defined(CAMERA_MODEL_ESP32S3_EYE)
  s->set_vflip(s, 1);
#endif

  WiFi.begin(ssid, password);
  WiFi.setSleep(false);

  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("");
  Serial.println("WiFi connected");

  startCameraServer();

  Serial.print("Camera Ready! Use 'http://");
  Serial.print(WiFi.localIP());
  Serial.println("' to connect");
}

void loop() {
  // Do nothing. Everything is done in another task by the web server
  delay(10000);
}

上传代码前，请参考以下开发板配置：