JEV DataOps plugs Jev into the model training data pipeline
An open-source project chains data upload, filtering, evaluation and LoRA training into a traceable pipeline that uses Jev to judge which data is worth training on, filtering 5T multimodal data in 18 hours.
有意思，有人把最近爆火的Jev接到了模型训练的Pipeline里🤔 刚在群里看到一个挺实用的大模型训练开源项目。 @weiweigao2222 把自己最近搭的预训练数据 Pipeline 开源了：JEV DataOps。 它想解决的是一个很典型但一直很折磨人的问题： 一批数据进来，到底值不值得训？ 筛完之后哪些留下、哪些丢掉？ 模型训完到底有没有变好？ 这轮结果又怎么回流到下一轮数据里？ JEV DataOps 直接把整条链路串了起来： 数据上传 → 数据筛选 → 数据评估 → 模型训练 → 训练后模型评估 而且每一轮的数据、筛选结果和训练结果都能追踪。 项目本身可以先在普通电脑上跑 Demo，再接 JEV 做数据筛选，以及接自己的 Hugging Face 模型做 LoRA 训练，同时提供浏览器 Workbench、CLI、Python API 和 HTTP API。 比较有意思的是，据 Rena 介绍，这套 Pipeline 已经在大规模 GPU 环境里跑通过，5T 级多模态数据可以在 18 小时内完成筛选和对齐。 我觉得这类东西会越来越重要。 以前大家聊大模型训练，总盯着模型架构、GPU 数量、Token 数量。 但数据规模越来越大之后，真正麻烦的问题其实变成了： 这几万亿 Token 里面，到底哪些 Token 值得让模型看？ 某种程度上，这已经有点像给大模型训练的数据做一套 CI/CD 了。 GitHub： https://github.com/RenaGao/jev-dataops
This post quotes another post: x.com/weiweigao2222/status/2101874002201657610