Hướng dẫn Sử dụng Raspberry Pi AI Camera - Hướng Dẫn

Raspberry Pi AI Camera là một mô-đun máy ảnh thông minh được trang bị cảm biến Sony IMX500. Vì đây là một dòng camera AI đặc thù, khác các module Camera truyền thống của Raspberry Pi, bài viết này sẽ hướng dẫn bạn cách lắp đặt và sử dụng sản phẩm trong lần đầu mở hộp.

Sau khi thực hiện đúng các bước, bạn sẽ chạy được hai mô hình AI tích hợp sẵn: MobileNet SSD (nhận diện vật thể) và PoseNet (ước lượng tư thế cơ thể).

1. Chuẩn bị trước

Bạn cần chuẩn bị:

Raspberry Pi 4 hoặc Raspberry Pi 5
Hệ điều hành Raspberry Pi OS đã cập nhật mới nhất.

Cập nhật phần mềm:

sudo apt update && sudo apt full-upgrade

AI Camera sử dụng một vi điều khiển RP2040 tích hợp, dùng để nạp mô hình AI lên camera. Raspberry Pi đã phát hành firmware RP2040 mới nhằm cải thiện tốc độ và độ ổn định. Nếu camera của bạn thuộc đợt sản xuất đầu, hãy cập nhật firmware cho RP2040 theo tài liệu này. Quá trình này mất khoảng 1–2 phút, và tuyệt đối không rút nguồn hoặc tháo camera trong lúc cập nhật.

2. Kết nối phần cứng

Việc kết nối Raspberry Pi AI tới Raspberry Pi 5 / Raspberry Pi 5 rất đơn giản, cách làm tương tự những mô-đun camera khác. Bạn có thể tham khảo video này để biết thêm chi tiết.

3. Cài đặt firmware cho IMX500

Raspberry Pi AI Camera sử dụng cảm biến Sony IMX500, yêu cầu bộ firmware chuyên dụng để vận hành đầy đủ chức năng AI.

Cài đặt firmware bằng lệnh:

sudo apt install imx500-all

Lệnh trên sẽ:

Cài file firmware IMX500 vào đúng thư mục hệ thống (/lib/firmware/).
Thêm các mô hình AI mẫu vào thư mục /usr/share/imx500-models/.
Cài đặt các giai đoạn hậu xử lý (post-processing) cho rpicam-apps.
Thêm công cụ mô hình AI của Sony.

Sau khi cài đặt, hãy khởi động lại thiết bị.

sudo reboot

4. Chạy demo với rpicam-apps

Sau khi phần mềm và firmware sẵn sàng, bạn có thể thử các ứng dụng minh họa. Raspberry Pi AI Camera tương thích với libcamera, rpicam-apps và Picamera2. Trong phần này, chúng ta sẽ dùng rpicam-apps.

Các file cấu hình xử lý AI được đặt tại:

/usr/share/rpicam-assets/

4.1. Phát hiện vật thể (Object Detection)

Model MobileNet SSD cho phép nhận diện nhiều loại vật thể, trả về bounding box và độ tin cậy. File cấu hình pipeline:

imx500_mobilenet_ssd.json

Trong pipeline bao gồm:

imx500_object_detection: xử lý tensor từ mô hình AI.
object_detect_draw_cv: vẽ bounding box bằng OpenCV.

Chạy chế độ xem trước (preview):

rpicam-hello -t 0s \
  --post-process-file /usr/share/rpi-camera-assets/imx500_mobilenet_ssd.json \
  --viewfinder-width 1920 --viewfinder-height 1080 --framerate 30

Ghi video kèm kết quả nhận diện:

rpicam-vid -t 10s -o output.264 \
  --post-process-file /usr/share/rpi-camera-assets/imx500_mobilenet_ssd.json \
  --width 1920 --height 1080 --framerate 30

4.2. Ước lượng tư thế (Pose Estimation)

Mô hình PoseNet giúp xác định các điểm khớp trên cơ thể và vẽ “khung xương” trực quan.

File cấu hình pipeline:

imx500_posenet.json

Các thành phần pipeline:

imx500_posenet: phân tích tensor từ PoseNet.
plot_pose_cv: vẽ khung xương lên hình.

Lệnh chạy thử:

rpicam-hello -t 0s \
  --post-process-file /usr/share/rpi-camera-assets/imx500_posenet.json \
  --viewfinder-width 1920 --viewfinder-height 1080 --framerate 30

5. Sử dụng với Picamera2 (Python)

Nếu bạn muốn điều khiển AI Camera bằng Python, Picamera2 là giải pháp mạnh mẽ và linh hoạt.

Cài OpenCV và các thư viện phụ thuộc:

sudo apt install python3-opencv python3-munkres

Sau khi tải mã nguồn Picamera2, bạn sẽ thấy các ví dụ dành riêng cho IMX500 trong thư mục examples/imx500. Một số ví dụ tiêu biểu:

Nhận diện vật thể (YOLOv8):

python imx500_object_detection_demo.py \
  --model /usr/share/imx500-models/imx500_network_yolov8n_pp.rpk \
  --ignore-dash-labels -r

Ước lượng tư thế nâng cao (HigherHRNet):

python imx500_pose_estimation_higherhrnet_demo.py

Kết luận

Raspberry Pi AI Camera mang lại khả năng xử lý AI ngay trên cảm biến, giảm tải cho CPU và mở ra rất nhiều ứng dụng mới: robot, hệ thống an ninh, phân tích chuyển động, IoT thông minh.

Với kích thước nhỏ, Raspberry Pi AI Camera có thể tích hợp vào nhiều hệ thống chạy Raspberry Pi Compute Module 5, Raspberry Pi 5, Raspberry Pi 4 và thậm chí Raspberry Pi Zero 2 W. Bạn có thể xây dựng vô số ứng dụng thú vị với sản phẩm này.