?

相機(jī)

當(dāng)試圖了解你的漫游者的環(huán)境時，傳感器只能讓你走這么遠(yuǎn)。SMCE 允許您獲取虛擬世界的圖像流。這樣，您既可以在汽車的微控制器本身上進(jìn)行一些非常簡單的圖像處理，也可以將圖像流廣播到功能更強(qiáng)大的設(shè)備并在那里進(jìn)行圖像處理。為簡單起見，SMCE 僅支持Arduino_OV767X庫，并且可以利用 MQTT 來廣播流。讓我們看一個草圖，它為 MQTT 客戶端偵聽提供圖像流/smartcar/camera。和之前一樣，只是增加了攝像頭流：

#include 

#include <MQTT.h>
#include <WiFi.h>
#include <OV767X.h>

#include <Smartcar.h>

#ifndef __SMCE__
WiFiClient net;
#endif
MQTTClient mqtt;

ArduinoRuntime arduinoRuntime;
BrushedMotor leftMotor(arduinoRuntime, smartcarlib::pins::v2::leftMotorPins);
BrushedMotor rightMotor(arduinoRuntime, smartcarlib::pins::v2::rightMotorPins);
DifferentialControl control(leftMotor, rightMotor);

SimpleCar car(control);

const auto oneSecond = 1000UL;
const auto triggerPin = 6;
const auto echoPin = 7;
const auto maxDistance = 400;
SR04 front(arduinoRuntime, triggerPin, echoPin, maxDistance);

std::vector<char> frameBuffer;

void setup() {
  Serial.begin(9600);
  Camera.begin(QVGA, RGB888, 15);
  // ================= 1
  frameBuffer.resize(Camera.width() * Camera.height() * Camera.bytesPerPixel());
#ifdef __SMCE__
  // mqtt.begin("aerostun.dev", 1883, WiFi);
  mqtt.begin(WiFi); // Will connect to localhost
#else
  mqtt.begin(net);
#endif
  if (mqtt.connect("arduino", "public", "public")) {
    mqtt.subscribe("/smartcar/control/#", 1);
    mqtt.onMessage([](String topic, String message) {
      if (topic == "/smartcar/control/throttle") {
        car.setSpeed(message.toInt());
      } else if (topic == "/smartcar/control/steering") {
        car.setAngle(message.toInt());
      } else {
        Serial.println(topic + " " + message);
      }
    });
  }
}

void loop() {
  if (mqtt.connected()) {
    mqtt.loop();
    const auto currentTime = millis();
    static auto previousFrame = 0UL;
    // ================= 2
    if (currentTime - previousFrame >= 65) {
      previousFrame = currentTime;
      Camera.readFrame(frameBuffer.data());
      mqtt.publish("/smartcar/camera", frameBuffer.data(), frameBuffer.size(),
                   false, 0);
    }
    static auto previousTransmission = 0UL;
    if (currentTime - previousTransmission >= oneSecond) {
      previousTransmission = currentTime;
      const auto distance = String(front.getDistance());
      mqtt.publish("/smartcar/ultrasound/front", distance);
    }
  }
#ifdef __SMCE__
  // Avoid over-using the CPU if we are running in the emulator
  delay(1);
#endif
}

• 在堆上分配足夠的內(nèi)存以包含單個幀。
• 每65毫秒，從相機(jī)中讀取一幀并將其復(fù)制到frameBuffer. 然后通過 MQTT 廣播它。

為了向您展示這在真實(shí)場景中會是什么樣子，您可以使用參考 Android 應(yīng)用程序通過 MQTT 消息控制汽車以及可視化圖像流。它不是最漂亮的，但您將了解如何使用 JAVA 和 Android 完成事情的要點(diǎn)。

?

自定義傳感器配置

默認(rèn)情況下，車輛預(yù)裝了一組特定的傳感器、執(zhí)行器和可用引腳。這在 SMCE 的 wiki 中的車輛功能下進(jìn)行了描述。要使用您自己的設(shè)置，您可以定義您的自定義配置，使用與您的草圖json位于同一目錄中的文件。假設(shè)我們想要一個允許我們通過串行端口駕駛汽車的草圖（如前所述），從車輛的所有四個側(cè)面測量距離并將它們發(fā)送給我們。你最終會得到一個如下圖所示的草圖：

#include 

const int fSpeed   = 70;  // 70% of the full speed forward
const int bSpeed   = -70; // 70% of the full speed backward
const int lDegrees = -75; // degrees to turn left
const int rDegrees = 75;  // degrees to turn right
const unsigned long transmissionInterval = 100; // In milliseconds
const int maxDistance = 300;

ArduinoRuntime arduinoRuntime;
BrushedMotor leftMotor(arduinoRuntime, smartcarlib::pins::v2::leftMotorPins);
BrushedMotor rightMotor(arduinoRuntime, smartcarlib::pins::v2::rightMotorPins);
DifferentialControl control(leftMotor, rightMotor);

SimpleCar car(control);

// ================= 1
SR04 left(arduinoRuntime, 2, 3, maxDistance); // trigger and echo pin respectively
SR04 right(arduinoRuntime, 4, 5, maxDistance);
SR04 front(arduinoRuntime, 6, 7, maxDistance);
SR04 back(arduinoRuntime, 16, 17, maxDistance);

void setup()
{
  Serial.begin(9600);
}

void loop()
{
  static auto previousTransmission = 0UL;
  const auto currentTime = millis();
  // ================= 2
  if (currentTime > previousTransmission + transmissionInterval) {
    previousTransmission = currentTime;
    Serial.println("===");
    Serial.println("Left: " + String(left.getDistance()));
    Serial.println("Right: " + String(right.getDistance()));
    Serial.println("Front: " + String(front.getDistance()));
    Serial.println("Back: " + String(back.getDistance()));
  }

  handleInput();
#ifdef __SMCE__
  // Avoid over-using the CPU if we are running in the emulator
  delay(1);
#endif
}

void handleInput()
{
  if (Serial.available())
  {
    char input = Serial.read(); // read everything that has been received so far and log down
    // the last entry
    switch (input)
    {
      case 'l': // rotate counter-clockwise going forward
        car.setSpeed(fSpeed);
        car.setAngle(lDegrees);
        break;
      case 'r': // turn clock-wise
        car.setSpeed(fSpeed);
        car.setAngle(rDegrees);
        break;
      case 'f': // go ahead
        car.setSpeed(fSpeed);
        car.setAngle(0);
        break;
      case 'b': // go back
        car.setSpeed(bSpeed);
        car.setAngle(0);
        break;
      default: // if you receive something that you don't know, just stop
        car.setSpeed(0);
        car.setAngle(0);
    }
  }
}

• 在這里，我們定義了我們的傳感器應(yīng)該連接到的引腳。例如，left超聲波 ( SR04) 傳感器連接到引腳2和3。前者是觸發(fā)銷，后者是回聲銷。
• 我們通過串行端口“打印”出測量值，間隔由 的值指定transmissionInterval。

?

默認(rèn)設(shè)置不支持上面的草圖，原因有兩個：（a）默認(rèn)汽車沒有配備四個傳感器，而SR04只有一個，（b）在典型 ESP32 板上可用的引腳在默認(rèn)情況下不可用仿真板。幸運(yùn)的是，我們可以改變它！我們需要做的第一件事是使所有必要的引腳可用，并確保它們是正確的類型（即數(shù)字或模擬）。在這里我們應(yīng)該注意，由于技術(shù)原因，傳感器的回波引腳必須指定為。以下是您應(yīng)該遵循的步驟：1617SR04analog

• 在與您的草圖相同的目錄中創(chuàng)建一個空文件。board_config.json
• 獲取SMCE 使用的默認(rèn)板配置，以便我們可以在它的基礎(chǔ)上進(jìn)行構(gòu)建（補(bǔ)丁）。
• 使用該gpio_drivers屬性來指定您的草圖需要的所有引腳。注意：不要忘記您需要指定電機(jī)、里程表（如果您使用它們）、陀螺儀等所需的引腳。就我而言，我想移除一些我不使用的引腳（0和），1添加新的（16和17）并確保SR04傳感器使用的所有引腳都處于正確的模式。

{
    "gpio_drivers": [
        { "pin": 2, "digital": true },
        { "pin": 3, "analog": true },
        { "pin": 4, "digital": true },
        { "pin": 5, "analog": true },
        { "pin": 6, "digital": true },
        { "pin": 7, "analog": true },
        { "pin": 16, "digital": true },
        { "pin": 17, "analog": true },
                
        { "pin": 12, "digital": true },
        { "pin": 13, "analog": true },
        { "pin": 14, "digital": true },
        
        { "pin": 18, "analog": true },

        { "pin": 25, "digital": true },
        { "pin": 26, "digital": true },
        { "pin": 27, "analog": true },
        
        { "pin": 34, "digital": true },
        { "pin": 35, "analog": true },
        { "pin": 85, "analog": true },
        { "pin": 135, "analog": true },

        { "pin": 39, "digital": true },
        { "pin": 36, "analog": true },
        { "pin": 86, "analog": true },
        { "pin": 136, "analog": true },
        
        { "pin": 250, "digital": true },
        
        { "pin": 205, "analog": true }
    ]
}

創(chuàng)建board_config.json指定仿真 Arduino 板上可用引腳的文件后，是時候設(shè)置您的車輛了。同樣，我們將使用默認(rèn)設(shè)置來獲取靈感并相應(yīng)地對其進(jìn)行修補(bǔ)。

• 在與您的草圖相同的目錄中創(chuàng)建一個文件。vehicle_config.json
• 獲取 SMCE 使用的默認(rèn)車輛配置，以便我們在此基礎(chǔ)上進(jìn)行構(gòu)建。
• 更改slots您感興趣的。在我的情況下，我想在和插槽上連接SR04傳感器Left，使用與草圖中相同的引腳，并確保這些引腳已經(jīng)被.RightBackboard_config.json

{
   "slots": {
      "Left": {
         "class": "UltraSonic",
         "name": "Left Ultrasound",
         "props": {
            "trigger_pin": 2,
            "echo_pin": 3
         }
      },
      "Right": {
         "class": "UltraSonic",
         "name": "Right Ultrasound",
         "props": {
            "trigger_pin": 4,
            "echo_pin": 5
         }
      },
      "FrontTop": {
         "class": "UltraSonic",
         "name": "Front Ultrasound",
         "props": {
            "trigger_pin": 6,
            "echo_pin": 7
         }
      },
      "Back": {
         "class": "UltraSonic",
         "name": "Back Ultrasound",
         "props": {
            "trigger_pin": 16,
            "echo_pin": 17
         }
      }
   }
}

專業(yè)提示：如果您想完全覆蓋任何配置，可以將from_scratch頂級元素添加為true. 如果您想完全移除占用您根本不使用的插槽的攝像頭或其他傳感器，這將非常有用。引腳也是如此。例如，下面的配置將創(chuàng)建一輛汽車，其后側(cè)僅配備一個超聲波傳感器和一對電機(jī)。沒有別的，沒有相機(jī)，沒有里程表，沒有陀螺儀。

{
   "from_scratch": true,
   "vehicle": "RayCar",
   "slots": {
      "Back": {
         "class": "UltraSonic",
         "name": "Back Ultrasound",
         "props": {
            "trigger_pin": 16,
            "echo_pin": 17
         }
      }
   },
   "builtin": {
      "Left BrushedMotor": {
         "forward_pin": 12,
         "backward_pin": 14,
         "enable_pin": 13
      },
      "Right BrushedMotor": {
         "forward_pin": 25,
         "backward_pin": 26,
         "enable_pin": 27
      }
   }
}

修改環(huán)境

?

。

?