抱歉,您的浏览器无法访问本站
本页面需要浏览器支持(启用)JavaScript
了解详情 >

AI 工作经验

记录一些AI常用术语

思考我现在做的事情和其他人比好处是什么

  • 缺少创新点/价值/落地前景的工作,很可能是做了白做
  • 一些非常热门、大厂蜂拥而上、非常吃私有数据/运营宣发/人工经验的活,很可能被“斩杀”,做了白做

用好回流数据

有人调侃过现在AI行业,模型是数据,数据是Infra,Infra是算法。在搭建好回流数据流程后,我们要真的用回流数据进行模型测评和训练,而且一定要有一个量化指标(消融实验),来统计回流数据对模型效果的影响

关注主观指标

模型训练时不能只关注客观指标,很多客观指标可能已经有非常严重的hacking,单纯客观指标上升来证明模型的强大,是很务虚的,建议还是要有user study和主观测评

交付文档要可读

Agent活了后,大部分人都会用Agent写文档,但是给人读的文档必须要人工做一遍,提升可读性,不要有明显的AI感,不认真写的文档,怎么会期望别人认真读呢?

调研文档要画大饼

领导安排你调研,是为了获得足够的信息进行决策,调研文档要么否定某件事,要么需要画大饼,说服领导如果按照某个思路开发,可以达到什么效果,最好能给一个开发时间线和交付目标

数据要可复现

数据要有可信度,需要测评结果可复现。重点是如何可复现

  1. 对于测评脚本,交付git仓库时,一定要先打tag,然后交付一个带tag的git链接,这样可以稳定找到这个测评脚本记录
  2. 对于LLM测评,需要明确topk、温度、seed等推理参数
  3. 每次测评结果都要记录,最好能有一个OnePage,便于查看
  4. 重要的指标最好多测几次,确认数据真的实现了可复现
  5. 挑几条中间测评数据看一下格式,查看是否出现了模型坍塌、输出截断、或者测评只做了冒烟,没正式测评就给了结论

越多人工,越多智能

在一些通用大模型没怎么训练过的方向,由于缺少了蒸馏SOTA模型的道路,往往需要大量的人工采集数据。这种业务谨慎使用合成数据,尽量让数据组采集人工数据。其他人给的合成数据只要没在这个链路取得收益,就不要一直死扣、一直清洗这批数据。

让产品给一个上线指标

说多了都是泪,产品提出的模型需求,最好提前定好一个上线指标,尽管在开发过程中,评测手段和评测集汇一直变动,但一定要提前说好要有一个上线指标,只要模型达到某种水平,就能上线。不然就会陷入无限找badcase,无限小修小补,然后错过时间节点,让开源模型/友商直接斩杀。

评论