V4.1 Flash on 20 Japanese articles: cheap but error-prone, below Opus 5.5
In a 20-article Japanese writing test, V4.1 Flash cost ~¥3.3 each versus Opus's ¥37, but took 145s with 22 meaning errors and 12 speaker mix-ups, well above Opus 5.5.
DeepSeek-V4.1-Flash-1017がAstra超え！値段も激安でゲームチェンジャー！みたいな投稿をたくさん見たので、実際に、Podcastの文字起こしからの日本語の記事を20本を作った感想。 ・パッと見た目は、割とわかりやすい日本語を書くし下手ではない ・Opus5.5と見比べても、そこまで差がないように見えるし、場合によっては読みやすさが上がる時もある ・料金は安い。Opus5.5が37円、Sonnet5.5が17円、Gemini4が10円、としたら、だいたい3.3円くらいで作れる ・固有名詞もそこそこ優秀。NewsPicks、PIVOT、ReHacQ、noteなどは大文字小文字まで含めて完全一致でした。DeepSeekは、ReHacQだけダメでした(ReHackと表示)。Opus5.5はReHacQもいけます。Sonnetはちょっと弱いかな というのがありつつ ・時間はかかる。Opusは72秒、Sonnetは52秒だったが、、145秒かかった ・文字起こしから記事にするときに、引用を一部する形にしているが、意味のない引用とかもしてしまう。冒頭の挨拶とか。これはOpusだと出てこない感じのイマイチさ ・入力したものの意味の取り間違えが多い。意味を間違えたのは、Opusは4、Sonnetは11だが、22回間違えた。さらに話者の入れ替わりは、Opusは0回、Sonnetは4回だが、DeepSeekは12回間違えている ・Geminiのように、外の知識を勝手に足すのはあまりしない。Geminiは65回、勝手に足して（しかも間違う）があったが、DeepSeekは10回。Opusは11回なので、まあ同じくらいの水準かな という感じでした。 「めちゃくちゃ安く作れるけど、まあまあ間違える」と言う印象です。 ただ、その間違えもよーく見ないと気づかない、かなり厳密なものではありました。「意図としてはそうかもだが、本来は発言していないので、言い過ぎてしまっている」とか「二人がこういう結論に達した、と言っているが、実際は一人しか発言していない。ただ、合意はされているし反対意見もないから、二人で結論を出したと言ってもまあ許される」みたいな感じです。 -- 結論、記事を作る時とかは、 ・Sonnet5.5を使うよりは、1/3から1/4の安さであるので魅力的 ・Sonnetよりも長く文章を書ける ・間違いレベルは、筋の取り違えや言い過ぎがやや多いが、Sonnetの方が重要レベルの間違いを犯すことがある ・Sonnetよりも固有名詞に強い なので、Sonnet5.5から乗り換える価値は十分にあるが、Opus5.5のクオリティには及ばなそう、と言う感じです。 パッと見ただけだとほぼ変わらないように見えるが、細かいところの精度が全然違う。Opusは本当に間違いが少ないし、固有名詞などもちゃんとしている。 ただ、Opusが37円で、DeepSeekが3.3円なので、10倍の値段を払う価値があるのか・・・？は用途によりそうです。