GTC Berlin: Hermes Agent demo uses Astra for robot pipeline
Jensen Huang's GTC Berlin keynote showed a pre-recorded Hermes Agent demo where GPT-6 Astra builds 3D scenes and robot joints while Nemotron plans locally.
Jensen Huang, GTC Berlin keynote’unu bir Hermes Agent demosuyla kapatmış. "Bir agent yapmanın yolu, onu bir agent’a yaptırmak" dedi :)) Demoda olanları; → Tek bir prompt ile Hermes Agent’ı RTX Spark dizüstüne OpenShell ile kurduruyor, “bu makineye sığan en iyi açık modeli seç, benzer performanstaysa Nemotron’u tercih et” diyor → Hermes ve Nemotron, Hugging Face’in 25 cm'lik robotu Microduck için bir engel parkuru planlıyor, gereken her nesneyi tek tek listeliyor → Parkuru GPT-6 Astra kuruyor: FreeCAD ile 3D modeller, Blender ile malzemeler, Omniverse kütüphaneleriyle fiziksel özellikler, Isaac Sim’de sahne → Robotun eklemlerini ve motorlarını da Astra hazırlıyor, hareketi Newton fizik motoruyla simüle ediliyor → Eğitim buluta çıkıyor: binlerce sanal ördek paralel olarak düşe kalka yürümeyi ve kamerasıyla görmeyi öğreniyor → Öğrenilen davranış dizüstüne geri iniyor, simülasyonda test ediliyor, sonra gerçek robota yükleniyor Burada gördüğümüz şey tek bir model değil, bir zincir. Planı yerelde Nemotron yapıyor, ağır işi GPT-6 Astra üstleniyor, eğitim bulutta, test dizüstünde. Bunları birbirine bağlayan da açık kaynak bir agent. Bugüne kadar böyle bir iş için CAD’ci, 3D’ci, simülasyon mühendisi ve robotik ekibi ayrı ayrı çalışıyordu. Bu demoda hepsini aynı agent’ın elindeki araçlar olarak görüyoruz. Önemli not, demo sahnede canlı yapılmamış, önceden hazırlanmış video olarak oynatılmış ve köşesinde “yapay zeka ile üretilmiş ve düzenlenmiş içerik barındırır” etiketi var. Adımların gerçekte bu kadar pürüzsüz ilerleyip ilerlemediğini videodan bilemiyoruz. Video bitince gerçek ördekler sahneye çıkıyor. Huang “uyuyun” diyor, üçü hemen yatıyor, dördüncüsünü ikna etmek gerekiyor :)) https://x.com/NousResearch/status/2113010017645244623/video/1