关于昨天原阿里首席 AI 科学家贾扬清的朋友圈一事

912次阅读  |  发布于1年以前

原文内容如下:

感叹一下做小公司不容易。

  1. 上周,有某海外客户要我们帮他们适配某国内大厂的新模型。我们太忙,暂时还没时间给他们做适配。
  2. 今天有朋友告诉我,这个大厂新模型exactly 就是 LLaMA 的架构,但是为了表示不一样,把代码里面的名字从 LLaMA改成了他们的名字,然后换了几个变量名。
  3. 然后,海外有工程师直接指了这一点出来... 还有人在 HF 上面放了个把名字改回去的 checkpoint,说好了,现在你们可以直接用 LLaMA 的代码来 load 这个
    checkpoint 了...

我们是小公司也不想得罪大佬们,名字我就不说了,不过各位大佬,开源社区不容易,如果你们就是开源的模型结构,求高抬贵手就叫原来的名字吧,免得我们还做一堆工作就为了适配你们改名字...

有国外开发者直接点名,这个抄袭的模型就是李开复旗下的“零一万物(Yi-34B)”。

具体来看,在Yi-34B 的Hugging Face开源主页上,开发者ehartford质疑称该模型使用了Meta LLaMA的架构,只对两个张量(Tensor)名称进行了修改。ehartford表示,开源社区肯定会重新发布 Yi 大模型,并重命名张量以符合 LLaMA 架构。

据悉,零一万物的首款预训练大模型 Yi-34B 在本月初正式开源,根据Hugging Face英文开源社区平台和C-Eval中文评测的最新榜单,Yi-34B 预训练模型取得了多项 SOTA 国际最佳性能指标认可,成为全球开源大模型“双料冠军”。

针对抄袭一事,有媒体求证了零一万物,得到回复称:

“GPT 是一个业内公认的成熟架构,LLaMA 在 GPT 上做了总结。零一万物研发大模型的结构设计基于GPT 成熟结构,借鉴了行业顶尖水平的公开成果,同时基于零一万物团队对模型和训练的理解做了大量工作,这是我们首次发布获得优秀结果的地基之一。与此同时,零一万物也在持续探索模型结构层面本质上的突破。”

Copyright© 2013-2019

京ICP备2023019179号-2