Developer reports Gertru agent progress and Astra cost problems
After a week of use, Astra fixes bugs at roughly GrokBot level, but it burns through the ChatGPT subscription quota fast and context caching is undocumented and hard to optimize.
buenos días, os reporto el status de Gertru - tras una semana usándola y arreglando errores con Astra ya va bastante bien, excepto algún que otro bloqueo en según que web, pero diría que estoy más o menos al nivel de GrokBot con 6.1 Sol (High), en algunas cosas mejor otras peor - el principal problema que tengo ahora mismo es el coste, sale muy caro. Estoy usando la sub de 100% de ChatGPT y si quiero que sea útil es que se la ventila. Me toca hacer bastante context optimization, pero es complicado. OpenAI parece que no trata igual los tokens de API que los de sub, al menos en lo que a context caching se refiere. Pero es que ni siquiera está documentado, así que es difícil de optimizar. Por ejemplo, los cached input tokens de 6.1 Sol son baratísimos, así que he estado probando keepwarms para que no expire el caché y no me han funcionado. en fin, poco a poco pero lo de la memoria y hacerlo viable desde un punto de vista de coste no es fácil lo que me vuelve a llevar a la teoría de que todas estas empresas que están ofreciendo este servicio gratis están quemando tokens que flipas