A hangok helyét is felismeri a Xiaomi új, nyílt AI-modellje
A MiDashengLM-Spatial a hangforrások térbeli viszonyait is értelmezi; a Xiaomi okosotthonokban és autókban használná a technológiát.
▶ 30 MÁSODPERCBEN
- MI TÖRTÉNT
- A Xiaomi Apache 2.0 licenc alatt közzétette a hangokat és azok térbeli viszonyait értelmező MiDashengLM-Spatial modell súlyait és futtatókódját.
- MIÉRT FONTOS
- A fejlesztés olyan okoseszközök alapja lehet, amelyek nemcsak a hallottakra, hanem a hang eredetének helyére is reagálnak.
- MI JÖN MOST
- A Xiaomi okosotthon-termékekbe és járművek utasterébe szánja a technológiát, de a bevezetés időpontja nem ismert.
Nemcsak azt azonosítja a Xiaomi új hangfeldolgozó AI-modellje, hogy mi hallatszik, hanem azt is értelmezi, hol vannak a hangforrások, és milyen térbeli viszonyban állnak egymással. A TechNode október 16-i beszámolója szerint a vállalat Apache 2.0 licenc alatt tette közzé a MiDashengLM-Spatial modellsúlyait és a futtatásához szükséges kódot.
A hang tartalma mellé térbeli információ társul
A MiDashengLM-Spatial a Xiaomi korábbi MiDashengLM hangmodelljére épül. Binaurális, vagyis a két fül számára külön hanginformációt tartalmazó felvételt dolgoz fel: ebből azonosítja a hangforrásokat, és következtet az elhelyezkedésükre. A Dasheng modellsorozat így a hangok tartalmának felismerésén túl a környező akusztikus tér értelmezése felé lép tovább.
A térbeli képességek mellett megmaradt a beszédfelismerés és a hangfelvételek szöveges leírása is. A modell környezeti hangokról és zenéről feltett kérdésekre is tud válaszolni. Vagyis az új változat nem cseréli le a korábbi hangértési feladatokat: ezeket egészíti ki a hangforrások helyére és egymáshoz való viszonyára vonatkozó információval.
Okosotthonokba és autókba szánják
A Xiaomi terve szerint a technológia okosotthon-termékekben és járművek utasterében jelenhet meg. A cél, hogy az eszközök reakcióját ne csupán az határozza meg, mit hallanak, hanem az is, honnan érkezik a hang. A konkrét termékek és a bevezetés időpontja egyelőre nem ismert.
TECH-SZÓTÁR
- Binaurális hang
- A két fülhöz jutó hangot külön rögzítő vagy megjelenítő hanganyag, amely térbeli információt is hordoz.
- Modellsúlyok
- Az AI-tanulás során kialakított számszerű paraméterei, amelyek meghatározzák a modell működését.
- Futtatókód
- A már betanított modell használatához, vagyis az új bemenetek feldolgozásához szükséges programkód.
» Követett téma: AI · régió: KÍNA · kulcsszó: Xiaomi, hangfeldolgozás