Building a 600GB vulnerable lab with DeepSeek V4.1 Flash agents
A user spent about 4B tokens having DeepSeek V4.1 Flash agents build a vulnerable lab of 8 Windows AD and 4 Linux machines, avoiding contaminated CTF benchmarks, and found the swarm struggles to pivot between machines.
Después de unos 4B de tokens gastados con DeepSeek 4.1, he conseguido crear una suite de laboratorios vulnerables. Entre máquinas virtuales ocupa unos 600 GB aproximadamente. ¿Por qué lo hago? Quiero un entorno de investigación para entrenar y hacer benchmark de mi nuevo orquestador + harness. Durante el proceso del pre-laboratorio me di cuenta de que todos los benchmarks están alterados: en el corpus de los LLMs actuales están prácticamente todos los CTFs complejos que se usan como laboratorio. En pocas iteraciones el swarm empieza a reconocer los patrones y se sesga, contaminando el resto del experimento. Tuve que poner agentes auditando la Chain of Thought para detectar trazas como "Wait, this seems like X CTF…" y casos similares. Siempre aparecían, así que empecé a montar mi propia "mazmorra". Se compone de unas 8 máquinas Windows con Active Directory y 4 Linux, cada una con diferentes servicios y propósitos específicos. A partir de ahí, ¡dejaron de aparecer las trazas por completo! El swarm empezó a encontrarse problemas, gastar muchos más tokens, turnos de iteración e incluso fallos (anti-comportamiento del harness) que antes no ocurrían. Justo lo que buscaba para tener un dataset más variado. Ahora mismo el swarm se está peleando para pivotar de las máquinas de AD a las de Linux, y les cuesta un poco. Es divertido ver cómo piensan. Y por cierto, todos los agentes son Deepseek v4.1-flash 1017. RogerKernel