Hands-on: V4.1-Flash translated 300+ Japanese articles, naturalness fell short
The author machine-translated roughly 300–400 Japanese articles with V4.1-Flash and found the English not natural enough to ship, though the same model was usable for coding work.
DeepSeekで300記事以上を訳して、私は考え直した――安いAIを仕事に入れる前に見るべきこと ①安く訳せると思った。その先で、品質の問題が見えた 前回、私はDeepSeekを使い続けて、見方が変わったという話をしました。日本語で作った記事を英語にする作業を、主力のAIより安く進められそうだったからです。初回の設定と、その後の反復処理を分けて考えれば、費用の印象は変わる。そこで、翻訳などのサブに使ってみようと考えました。 ところが、さらに作業を進めてみると、別の問題が見えてきました。今回使ったのはDeepSeek V4.1-Flashです。三百記事以上、四百記事ぐらいまで英訳を試したところで、私は、今回の用途では訳の自然さに不満が残ると感じました。安く処理できそうだという話と、その文章を仕事で使えるかという話は、やはり別だったんですね。 だから、前回の判断をそのまま続けるのは難しいと思っています。料金の面で可能性を感じたことまで、なかったことにするつもりはありません。ただ、安いからそのまま任せられる、と考えるわけにもいかない。実際に出てきたものを見て、任せ方を変える必要があるということです。 翻訳で欲しいのは、英語らしい文字が並んだ文章ではありません。日本語で伝えたかった意味が、英語で読む人にも自然に届くことです。教材や解説なら、読み手が理解しやすいことまで含めて仕事になります。生成の費用だけ下がっても、確認して直す負担が大きければ、使い続ける判断は変わってきます。 ここで、原因をすぐに決めつけるのも違うと思っています。私は動画の中で学習材料の違いにも触れていますが、各社の学習データの内訳を確認したわけではありません。今回の訳だけで、どの言語をどれだけ学んでいるかまで分かるものでもない。はっきり言えるのは、私が今回の条件で出した英訳には不満が残った、というところです。 別のやり方として、同じ題材を最初から英語で生成させたらどうか、ということも考えています。日本語の文章を順番に訳すのと、英語で説明を組み立てるのでは、結果が変わるかもしれません。ただし、これはこれから試す話です。うまくいくと確認できたわけではありません。 使ってみて評価が変わったなら、その変化をきちんと話す。前に良いと言ったから、そのまま使い続ける必要はありません。今回、私がまずお伝えしたいのは、そういうことです。 最初の期待と、使った後の感想を両方残しておけば、次に何を確認すればよいか見えてきます。私は今回、安さの次に文章の出来を見る段階へ進んだと考えています。 ②ByteDanceで着手し、DeepSeekに引き継いだOS もう一つ今回試したのが開発です。私はByteDance側のモデルを使うためのクレジットも購入していたので、そちらも実際に使ってみました。動画で触れているのは、BytePlus ModelArkで利用したDola-Seed 2.1です。翻訳とは別に、学習用のOSを作る仕事で、どんなものが出てくるか見たかったんですね。 開発の順番は、ByteDanceのモデルで途中まで作り、その続きをDeepSeekのモデルに引き継ぐ、という形です。掲載したスクリーンショットも、その流れで開発した毎日学習会OSの画面です。DeepSeekだけで最初から最後まで作ったもの、という説明にはしません。途中まであるものを受け取って、続きを進めた結果として見ていただければと思います。 ByteDance側を使った率直な感想は、クレジットが減るのが思ったより早い、というものでした。十ドルぐらい入れて試したのですが、この作業でこれくらい減るのか、と感じました。もちろん、それだけで他のモデルより必ず高いと結論づけることはできません。同じ指示、同じ作業量、同じやり直しの条件で測った比較ではないからです。 その後、続きをDeepSeekに渡してプログラミングを進めてみると、こちらには比較的手応えがありました。英訳ではそのまま任せにくいと感じた一方で、開発では使える部分がありそうだと思ったわけです。一つの仕事で不満が出たから、別の仕事でも全部駄目だと決める必要はありません。 画面を見ると、ホーム、教材一覧、単語カード、学習進捗、設定といった項目があります。管理側には端末の状態を見るダッシュボードもあります。こうして形になった画面があると、次に何を直したいかを考えやすくなります。頭の中だけで仕様を考えている段階から、一歩進めることには意味があると思っています。 ただ、画面が出たことと、サービスとして完成したことは同じではありません。今回の画像は開発途中のもので、表示例や、まだデータが入っていない管理画面も含まれます。スクショがあるから、すべての機能が十分に検証できているという意味にはしない。この点は、作る側としても分けておきたいところです。 私にとって大事なのは、どのAIの名前が付いているかより、続きを進める道具になるかどうかです。途中まで作ったものを引き継ぎ、使えるところを見つける。今回のOS開発も、その試行の一つでした。 ③動けば完成ではない。最初に出てくる見た目まで見る OSの画面を見て、もう一つ考えさせられたのがデザインです。こういうアプリを作ってほしい、と依頼したとき、最初にどの程度のものが出てくるか。私は、ここがAIを選ぶときに結構大事だと思っています。プログラムが形になることに加えて、自分の仕事で使いたい見た目になっているかまで見たいんですね。 今回の画面には、私が想定していた雰囲気と違う部分がありました。動画ではかなり率直な言い方をしていますが、あくまで私がこの画面を見た印象です。見た目だけで制作した国が分かるという話でも、特定の国のデザインが一律に良い悪いという話でもありません。私が届けたいお客様に合うか、という判断です。 自分で試すだけなら気にならないところも、お客様に見てもらうとなると話が変わります。文字の大きさ、情報の並び方、ボタンの見せ方、画面全体の雰囲気。そのあたりを自分たちのサービスに合わせる作業は、やはり必要になる。最初に出てきたものを、そのまま公開できるとは限らないわけです。 そう考えると、モデルの費用は、生成に払った金額だけでは見切れません。最初の出力から、必要なところまで仕上げるのにどれくらい手間がかかるか。翻訳なら文章を直す時間、開発なら動きを確かめ、見た目を整える時間です。安く出力できても、後で直すことが多ければ、その分まで考える必要があります。 逆に、最初から全部を求めず、使う範囲を決めれば役に立つ場合もあると思います。たたき台を作る、途中の開発を進める、別のやり方を試す。その段階で助かるなら、道具としての価値はあります。ただ、その価値と、完成品をそのままお客様へ出せるかどうかは、別々に確かめたいところです。 前回は、安くなることで、後回しにしていた仕事を動かせそうだと感じました。今回は、その先で品質や見た目の課題が見えました。この二つは、使い続けたからこそ分かったことです。費用に期待したあと、実際の出力を見て、さらに判断を更新しているということなんですね。 今の私の結論は、DeepSeekを何にでもそのまま入れるのは難しい、というものです。今回の英訳は任せ方を考え直す。開発は、引き継いで進められた部分と、仕上げが必要な部分を見る。最初から英語で生成する方法も、これから試してみる。用途ごとに、できたものを見ながら決めていこうと思っています。 見た目の調整も含めて仕事になるか、引き続き確かめていこうと思います。 動画：https://youtu.be/NsNCsgABBQo