Training Opus 5.5 on three data types to compare video editing accuracy
The author trained Opus 5.5 on finished videos, then finished videos plus Premiere project files, then plus a manual, and found that the more complete the knowledge documents, the more accurate the one-shot edits.
Opus 5.5に３種類のデータを学習させて、ポン出し動画編集の精度を比較してみた ①完成動画のみ ②完成動画＋PremiereProのプロジェクトファイル ③完成動画＋PremiereProのプロジェクトファイル＋マニュアル ①→②→③で確実にクオリティが上がっていっている。 これでわかったことは結局ナレッジが重要だということ。 ---- ① 完成動画には具体的な「答え」しか入っていない。AIはそこから「たぶんこう作っている」もしくは「この場合はこう」みたいに推定したものを出してくる。 ただ、クリエイティブはとてもシビアで、数値上では小さなずれでも、人が見ると大きな違和感になる。文字の影の強さを実物の3分の1に見誤っただけで、テロップの立体感がまるで出なかった。 ---- ② プロジェクトファイルを渡すと、書体の名前やサイズ、効果音の音量のように、数字で表せる部分、定量的な部分は正解が分かる。でもクリエイティブのうち、数字・定量にできるのはごく一部なので残りは結局、推定のまま。出力のズレがでかい。 --- ③ マニュアルを渡して、やっと「なぜそうするか」が入る。「黄色はネガティブな言葉に使わない」のように感覚を言葉にした分だけ、「推定」が「判断」に変わる。AIが「判断」で処理できるものをどれだけ作れるかが重要。 なので今の仮説は、AIの出力精度の上限は、どこまで言語化できているかで決まる、ということ。言語化を磨いてナレッジとして渡し、それでもズレる所をフィードバックで詰めていく。 これができるのは、「AIエンジニア」ではなく「クリエイター」 今からフィードバックしまくってナレッジ化していきます。
This post quotes another post: x.com/fujiryu00/status/2107436961053192472