Testing Jev for statute filtering in the legal search service Jōbun-kun
Swapping Claude for Jev in the step that narrows 100 candidate statutes to 25 gave steadier recall, reproducible results, 0.5-second runs and about 1/20 the cost, but failed entirely on links requiring legal knowledge and cannot replace retrieval.
話題の Jev（TypeSafe AI）を自分の開発した法令検索サービス「条文くん」で試したので、良かったところも、ダメだったところもそのまま書きます。 ■ Jev は何者か ChatGPT や Claude のように文章を書く AI ではありません。文章を渡して「これは質問に関係あるか」「AとBどちらか」のような決まった形の質問をすると、答えを確率付きで返すだけの AI です。書かないので速くて安い。1回0.5秒くらい、料金は文章を書く AI の数十分の一。「ハルシネーションしない」と言われていますが、それは「決められた選択肢以外を返さない」という意味で、間違った選択肢を選ぶことは普通にあります。 ■ どこで試したか 法令検索では、まず検索で候補の条文を100本くらい集め、そこから「本当に関係ありそうな25本」に絞ってから、AI に読ませて答えを作ります。この「100本を見出しだけ見て25本に絞る」工程を、今は Claude にやらせています。ここを Jev に置き換えたらどうなるかを、税務の質問120問で比べました。正解の条文が25本の中に何本残るかで採点します。 ■ 結果 ・Claude: 正解248本のうち218〜225本が残った（3回やって毎回少し違う） ・Jev: 230〜235本が残った（何回やっても同じ） Jev のほうが正解を落としませんでした。しかも Claude は同じ質問でも回ごとに答えがぶれるのに対し、Jev は毎回同じ答えです。速さは数秒→0.5秒、費用は1問2円→0.1円。 ■ なぜ Jev が勝ったのか 賢いからではありません。Claude に「最大25本選んで」と頼むと、20本くらいで「もう十分」と自分で切り上げてしまい、2本目3本目の正解を取りこぼします。Jev は100本を1本ずつ独立に採点して、機械的に上から25本取るので、席が全部埋まる。それだけの差です。 逆に、見出しの言葉が質問と一致せず、意味を考えないと関係があると分からない問題では、Claude のほうが正解しました。つまり判断の質は Claude が上で、Jev は取りこぼしの少なさで勝っています。 ■ 効かなかったこと ・法律の知識がないと結びつかない判定は全然ダメでした。たとえば「この質問にはどの通達が関係するか」を選ばせると、確率が全部50%付近に固まって、判断になっていません。Jev は渡された文章どうしを見比べることはできますが、文章に書いていない知識で結びつけることはできません。公式も「世界の知識を持たない」と明記していて、それがそのまま出た形です。 ・候補を100本から300本に増やしても良くなりませんでした。Jev が安いからといって沢山読ませればいい、というものではない。 ・検索の代わりにはなりません。 検索エンジンは、50万条文の中から「この質問に関係ありそうな100本」を一気に探すための仕組みです。 一方、Jevは渡された文章を1本ずつ見て、「この質問に関係あるか」を判定する道具です。 つまり50万条文全部をJevで探そうとすると、質問のたびに50万本を1本ずつ判定させることになります。これでは検索の代わりにはなりません。 検索でまず100本まで絞る。その100本をJevで採点して、上位25本を選ぶ。 Jevが向いているのは、検索そのものではなく、その後の絞り込みです。 ■ まとめ Jev は「渡した文章の中で答えが決まる判定」専用の道具です。その用途では安く、速く、ぶれず、今回の1工程では Claude より良かった。ただし、文章を書く AI の代わりでも、検索の代わりでもない。1か所で勝ったからといって、何にでも効くわけではありません。