Raspberry Pi AI HAT+ V2 (40 TOPS) – Hailo-10H Gyorsítóval

A Raspberry Pi AI HAT+ V2 a legújabb szintlépés a kompakt mesterséges intelligencia világában. Míg az előző generáció elsősorban a gépi látásra fókuszált, a V2-es verzió a Hailo-10H neurális gyorsítónak és a beépített 8 GB LPDDR4X memóriának köszönhetően már a generatív AI (LLM/VLM) futtatására is alkalmassá teszi Raspberry Pi 5 eszközét.

A Raspberry Pi AI HAT+ 2 egy Hailo-10H AI gyorsítóra épülő kiegészítő kártya, amely generatív AI képességeket biztosít a Raspberry Pi 5 számára. A 8 GB dedikált beépített RAM-mal rendelkező AI HAT+ 2 ideális nagy nyelvi modellek (LLM) és látás-nyelvi modellek (VLM) helyi futtatásához, így a gazda Raspberry Pi 5 szabadon végezheti más feladatokat. Az AI HAT+ 2 megbízható, alacsony késleltetésű, gyorsított generatív AI-t biztosít a periférián, így tökéletes választás olyan alkalmazásokhoz, mint az offline folyamatirányítás, a biztonságos adatelemzés, a létesítménykezelés és a robotika.

Az AI HAT+ V2 másodpercenként 40 tera-műveletet (TOPS) biztosít INT4 következtetés teljesítményben, számítógépes látás teljesítménye pedig megegyezik vagy meghaladja a 26 TOPS Raspberry Pi AI HAT+ teljesítményét. A Hailo egy sor mintamodellt biztosít; a felhasználók emellett egyedi látásmodelleket is betaníthatnak, vagy a Low-Rank Adaptation (LoRA) segítségével finomhangolhatják a generatív AI-modelleket, hogy azok alkalmazásukhoz illeszkedjenek, például beszéd-szöveggé alakítás, fordítás vagy vizuális jelenetelemzés.

Az eredeti Raspberry Pi AI HAT+hoz hasonlóan az AI HAT+ V2 is a Raspberry Pi 5 PCI Express interfészén keresztül kommunikál. Amikor a gazda Raspberry Pi 5 egy naprakész Raspberry Pi OS-t futtat, automatikusan felismeri a beépített Hailo gyorsítót, és elérhetővé teszi azt AI számítási feladatokhoz. A Raspberry Pi OS beépített rpicam-apps kameraalkalmazásai natívan támogatják az AI modult, automatikusan használva a gyorsítót a kompatibilis utómunkálatok futtatásához.

Főbb jellemzők és előnyök:

• Hailo-10H NPU: Brutális, 40 TOPS (Tera Operations Per Second) számítási kapacitás, amely kifejezetten a komplex neurális hálózatok hatékony futtatására lett optimalizálva.

• Dedikált Memória: A beépített 8 GB LPDDR4X-4267 SDRAM biztosítja a szükséges sávszélességet és tárhelyet a nagyméretű nyelvi modellek (LLM) zökkenőmentes futtatásához, tehermentesítve a Raspberry Pi saját memóriáját.

• Sokoldalú AI Teljesítmény: Megtartja a látásalapú modellek (objektumfelismerés, szegmentálás) kiemelkedő sebességét, miközben kaput nyit a szöveges és multimodális AI felé.

• Kompakt és Hatékony: Alacsony fogyasztás mellett nyújt szerver-szintű AI képességeket közvetlenül az "Edge" eszközön, felhő alapú kapcsolat nélkül.

• Teljesen integrálva a Raspberry Pi kameraszoftver-csomagjába
  Megfelel a Raspberry Pi HAT+ specifikációnak
• Hűtőbordával, 16 mm-es egymásra helyezhető csatlakozóval, távtartókkal és csavarokkal szállítjuk, hogy a Raspberry Pi 5-re is felszerelhető legyen a Raspberry Pi 5 hivatalos aktív hűtőjével együtt
• Üzemi hőmérséklet: 0 °C ~ 50 °C (környezeti hőmérséklet)

A magánélet és a biztonság modellje

Az AI HAT+ 2 megbízható, alacsony késleltetésű AI-feldolgozást biztosít a hálózat szélén, hálózati kapcsolat nélkül, egyszerűsíti az adatbiztonságot, minimalizálja az infrastruktúra követelményeket és csökkenti a felhő API költségeit.

Támogatott modellek a bevezetéskor:

A kártya szoftveres támogatása lehetővé teszi a legnépszerűbb nyílt forráskódú modellek futtatását:

• Llama-3.2-3B-Instruct: Gyors és intelligens szöveges válaszok, helyi chatbot funkciók.

• QWEN2.5-VL-3B: Képes képek elemzésére és azokról való szöveges diskurzusra (Vision-Language Model).

• ASR (Whisper-base): Villámgyors és pontos automatikus beszédfelismerés és leiratozás.

Kész modellek

A Hailo egy sor mintamodellt biztosít. 
A felhasználók emellett egyedi látásmodelleket is betaníthatnak, vagy generatív AI-modelleket finomhangolhatnak alkalmazásukhoz, például beszéd-szöveggé alakítás, fordítás vagy vizuális jelenetelemzés céljára.

A kompatibilis generatív AI-modellekhez szükséges összes szoftver megtalálható a Hailo GitHub-repozitóriumában.

Kinek ajánljuk?

Ideális választás fejlesztőknek, kutatóknak és hobbistáknak, akik helyi AI asszisztenseket, intelligens otthoni vezérlőket vagy olyan ipari rendszereket építenek, ahol az adatbiztonság és az internetfüggetlenség elsődleges szempont.

sudo apt update && sudo apt full-upgrade -y
sudo rpi-eeprom-update -a
sudo reboot

sudo apt install hailo-all
sudo reboot

import os
import numpy as np
from hailo_platform import PcieDevice, HEF
from gtts import gTTS # Opcionális: a válasz felolvasásához

def transcribe_audio(audio_file_path):
    # 1. Hailo eszköz inicializálása
    target = PcieDevice()
    
    # 2. A lefordított Whisper-base HEF fájl betöltése
    # Megjegyzés: A fájlnak az aktuális mappában vagy az AI-apps könyvtárban kell lennie
    hef_path = "whisper_base_hailo10.hef"
    hef = HEF(hef_path)

    # 3. Konfiguráció és hálózat betöltése
    with target.configure_infer_context(hef) as infer_context:
        with target.create_infer_job(hef) as job:
            print(f"Elemzés indítása: {audio_file_path}...")
            
            # Itt történik az audio adat előfeldolgozása és beküldése
            # (A Raspberry Pi AI-apps könyvtára tartalmazza a gyári wrappert ehhez)
            # Példa hívás az optimalizált API-val:
            result = job.run_inference(audio_file_path)
            
            print("\nFelismert szöveg:")
            print("-" * 20)
            print(result['text'])
            print("-" * 20)

if __name__ == "__main__":
    # Tesztelés egy minta fájllal
    sample_audio = "teszt_hang.wav"
    if os.path.exists(sample_audio):
        transcribe_audio(sample_audio)
    else:
        print(f"Hiba: A {sample_audio} fájl nem található.")

sudo apt install python3-hailo-vstream python3-libv4l2