M2 Dock開發板的MaixPY開發環境，自身支持獲取攝像頭視頻數據，并對外提供MJPEG圖傳。

前幾天，研究了米爾MYD-YT507開發板USB攝像頭使用從入門到放棄，并成功實現了MJPEG推流圖傳。

于是，想著 M2 Dock 獲取 MJPEG推流數據，接入到MaxiPY，顯示到屏幕上，以便于進一步的處理。

通過官方的在線手冊MaixPy3 image 模塊 - Sipeed Wiki了解到，通常創建一個image對象，使用的是Image.open()來打開一個文件。

最簡單的方法，可以在M2 Dock上，不間斷的獲取MJPEG的數據，并保存到臨時文件，再使用 Image.open() 打開，然后再顯示到屏幕：

with open(tmp_file, "wb") as binary_file:
    binary_file.write(jpg)
    img = image.open(tmp_file)
    display.show(img)

上述代碼中的jpg，即為獲取的MJPEG數據。

但這種方法，還需要進過一次保存文件的中轉，多了一步操作。

如果能夠把獲取的數據，直接給轉換成maix需要的數據格式，那就方便了。

進一步查閱官方手冊MaixPy3 image 模塊 - Sipeed Wiki，了解到maix的image對象，還支持如下的調用方式：

Image.load(data, [size = (240, 240) , [mode = "RGB"]])

在 python 對象中加載出一張圖像,會將 python 對象的數據 copy 到 Image 對象內部，如將 tobytes 的二進制數據重新恢復成 Image對象。
date可以是PIL對象, image.Image() 對象,bytes對象,numpy 對象.
當data為bytes,numpy對象時,需要提供size和mode參數.
返回 Image 對象，以便您可以使用 . 表示法調用另一個方法。

而這里的data，可以是多種來源，例如PIL。

PIL可以通過JPG的bianry流數據，直接生成Image對象。

那么結合兩者，就可以跳過文件保存再調用的步驟了：

bytes_stream = BytesIO(jpg)
pimg = Image.open(bytes_stream)
img = image.load(pimg)
display.show(img)

最終，經過反復嘗試，實現了M2 Dock的MaxiPY，獲取MJPEG推流數據并顯示到屏幕。

完整的代碼如下：

import numpy as np
import platform

if platform.uname().node == "sipeed":
    from io import BytesIO
    from PIL import Image
    from maix import camera, mjpg, utils, display, image
else:
    import cv2

READ_TYPE = "socket"    # url socket

MJPEG_HOST = "192.168.2.207"
MJPEG_PORT = 8080
MJPEG_QUERY = "/?action=stream"


def img_data_show(jpg):
    global img_bytes
    global tmp_file
    global is_sipeed
    global BytesIO
    global Image
    global np
    global image
    global display

    if is_sipeed:
        if True:
            bytes_stream = BytesIO(jpg)
            pimg = Image.open(bytes_stream)
            img = image.load(pimg)
            display.show(img)
        else:
            with open(tmp_file, "wb") as binary_file:
                binary_file.write(jpg)
                img = image.open(tmp_file)
                display.show(img)
    else:
        img = cv2.imdecode(np.frombuffer(
            jpg, dtype=np.uint8), cv2.IMREAD_COLOR)
        cv2.imshow('i', img)
        if cv2.waitKey(1) == 27:
            exit(0)


def img_data_match(chunk):
    global img_bytes
    global tmp_file
    global is_sipeed
    global BytesIO
    global Image
    global np
    global image
    global display
    global img_data_show

    img_bytes += chunk
    a = img_bytes.find(b'??')
    b = img_bytes.find(b'?ù')
    if a != -1 and b != -1:
        jpg = img_bytes[a:b+2]
        img_bytes = img_bytes[b+2:]
        img_data_show(jpg)     


img_bytes = b''
tmp_file = "/tmp/test.jpg"
is_sipeed = platform.uname().node == "sipeed"

print("Connect to %s:%d with %s on %s" % (MJPEG_HOST, MJPEG_PORT, READ_TYPE, platform.uname().node))

if READ_TYPE == "url":
    import requests

    MJPEG_URL = "http://%s:%s%s" % (MJPEG_HOST, MJPEG_PORT, MJPEG_QUERY)

    r = requests.get(MJPEG_URL, stream=True)
    if(r.status_code == 200):
        print("connect success!")
        for chunk in r.iter_content(chunk_size=1024):
            img_data_match(chunk)
    else:
        print("Received unexpected status code {}".format(r.status_code))
elif READ_TYPE == "socket":
    import socket

    client = socket.socket()  # 創建socket套接字
    ret = client.connect((MJPEG_HOST, MJPEG_PORT))  # 狀態位，判定是否連接成功
    request_url = "GET %s HTTP/1.1
Host:%s
Connection:Close

" % (
        MJPEG_QUERY, MJPEG_HOST)

    if(ret == -1):  # 連接失敗，退出程序
        print("connet error!")
        exit(-1)
    else:  # 連接成功
        print("connect success!")

    client.send(request_url.encode())  # 發送socket請求，開始接收數據
    chunk = client.recv(1024)  # 第一個recv返回信息，跟圖片無關
    chunk = client.recv(1024)  # 這個信息開始跟圖片有關系，放到接收變量里
    while chunk:  # 判斷是否還有信息
        img_data_match(chunk)
        chunk = client.recv(1024)  # 繼續接收

上述代碼中，包含如下的部分：

1. 獲取MJPEG數據時，可以試用python的request模塊，或者使用socket模塊，后者效率更高
2. 獲取到MJPEG數據后，自動分析其中的JPG數據幀，一旦檢測到，則進行顯示處理
3. 顯示處理部分，會自動區分是在電腦上，還是在M2 Dock上
4. 如果是在電腦上，則使用cv2進行處理顯示，如果需要退出可以按ESC按鍵
5. 如果是在M2 Dock上，則使用BytesIO來 獲取的數據轉換為二進制流，然后提供給PIL生成進行處理生成Image對象，再提供給display模塊顯示。

上述源碼，提供在M2_Dock: M2 Dock學習研究與實例分享 (gitee.com)。

最終具體的呈現效果，可以查看附件的視頻。