Polish developer uses Jev as the decision layer for desktop robot BBot
On ESP32 hardware with camera and microphone sensors, Jev selects models, routes actions and judges the robot's state from sensor readings, running GPT realtime and gpt-6 underneath.
Muse Charm - nigdy nie założyłbym na szyję gadżetu z Meta. Jeszcze jakieś reklamy się wyświetlą 😂 @SebKondracki BBot- zrobiłem swojego 😀 Niezależny, wiem co w środku, jak działa, z czego korzysta, co wysyła i gdzie. Dziękuję za książkę @kurasinski i Krzysiek Domaradzki. Pierwszy prototyp BBot - będzie rozwijany. Przepis? - Espressif ESP32 albo coś bardziej developerskiego - CoreS3 @M5Stack Leżał u mnie w szafie pewnie z rok … idealna platforma - można podłączać różne inne sensory i dowolnie rozwijać BBota - temperatura, GPS, jakość powietrza, ciśnienie … można tym sterować praktycznie wszystkim. - Python, C++ oraz Codex - Pomysłowość, czas, znajomość urządzeń embedded mile widziana. Architektura? - wykorzystane sensory - kamera, mikrofon, głośnik, akcelerometr, czujnik zbliżeniowy, czujnik zmierzchu, kompas, dotykowy ekran - jev jako system decyzyjny - wybiera modele pod spodem, przekierowuje akcje, rozpoznaje stan bota na podstawie odczytu czujników @typesafeai - modele - gpt realtime, gpt-6 luna, gpt-6 sol @OpenAI Co w środku? - architektura agent na urządzeniu - pamięć krótkoterminowa, średnioterminowa oraz długoterminowa - bot uczy się użytkownika kompresując wiedzę podczas snu (po 1h bezczynności agent idzie spać i kompresuje sobie wewnętrznie wiedzę) - chat głosowy, rozpoznawanie obrazów - czatowanie między obrazami a zwykłą rozmową - tamagochi - reakcje na ruch, na to co mówimy, jak traktujemy BBota (jest świadomy swoich stanów - odczytuje wszystkie dołączone czujniki - jest w stanie rozpoznać czy spoczywa, czy idziemy, czy biegniemy, czy jedziemy samochodem), trzeba z nim wchodzić w interakcje by czuł się zadbany :) - akcje - zaplanuj, zapamiętaj, również zadania cykliczne (np. wyślij newsy o 9:00 każdego dnia) - proximity z innymi BBotami - przez BLE - wykrywa inne boty w otoczeniu (pokaże w innym demo) - możliwość konwersacji między BBotami - tamagochi nie czuje się samotne - aplikacje: pomodoro z BBotem (motywacja), gry wykorzystujące czujniki, organizer, sesja oddechowa 😆 Sorry, że tak nie potrafię operować ale trzymanie telefonu i klikanie po ekranie słabo mi idzie 😀