Ollaya runs Jev decision models locally and works with existing TypeSafe code
Ollaya runs a lightweight decision model on a Mac GPU or CPU with one command, returns probabilities instead of text, and offers MCP support for Cursor and Claude Code.
해커뉴스에서 난리 난 'Ollaya(http://ollaya.dev)'가 역대급인 이유: 1. "Ollama의 편안함을 의사결정 모델로" - 복잡한 파이썬 환경이나 CUDA 세팅 필요 없음. - 터미널에 `ollaya run laya` 딱 한 줄만 치면 Mac GPU(MLX)나 CPU에서 초경량 의사결정 모델이 0.1초 만에 실행됨. 2. 쓸데없는 텍스트 생성 0% (몇 밀리초 만에 정밀 확률 반환) - 무거운 LLM처럼 문장을 주절주절 뱉지 않음. - 고객 메시지 하나를 넣으면 단 1번의 연산으로 [환불 요청: 90%, 분노 지수: 1.76/3, 이탈 위험: 61%] 같은 가중치 확률을 수십 밀리초 만에 뱉어냄. 3. 기존 Jev / TypeSafe 코드 100% 호환 - 기존에 짜둔 Jev 코드가 있다면 환경변수(BASE_URL) 하나만 로컬 포트로 바꾸면 끝. - 클라우드 유료 결제하던 비용이 '완전 0원'으로 떨어짐. 4. Cursor & Claude Code 전용 MCP 공식 지원 - `claude mcp add ollaya -- ollaya mcp` 명령어 하나로 내 AI 코딩 에이전트에 직결 가능. - 에이전트가 조건 분기나 코드 분류를 판단할 때 비싼 최상위 모델을 안 쓰고 로컬 Ollaya를 호출해 API 비용 90% 이상 세이브. 5. 어디에 써먹을 수 있는가? ① 고객 문의 자동 분류 및 담당자 자동 라우팅 ② AI 에이전트의 다음 행동(Tool Call) 초고속 분기 판단 ③ 스팸 메시지, 악성 댓글, 비정상 결제 실시간 필터링 ④ 문서/이메일 긴급도 판별 및 태깅 자동화 비싼 LLM 호출하느라 에이전트 루프 비용 터지던 분들은 무조건 저장해두시길. 🔗 공식 사이트: https://ollaya.dev 🔗 깃허브: https://github.com/ollaya-dev/ollaya