LLM DataManagement:Weaver

本文记录 Weaver 的数据处理。

Weaver是一个垂直领域(文字创作)的LLM,做的是继续训练,训练上循规蹈矩,没有什么好说的。稍微有一点点特色的是数据这块,对垂直领域可能有一定借鉴意义。

另外有提出一个Constitutional DPO的东西,其实就是利用专家写的规则(原则)合成违反这些规则的负样本。相较而言,遵循这些规则的就是正样本。这其实和数据有点关系,垂直领域往往有不少正样本(比如文字创作领域大家的小说、散文等),但负样本却不好找,所以就违反”好“的规则生成负样本。

More

【Rust与AI】概览和方向

本系列主要介绍Rust与AI的那些天作之合(开源项目),我们会以开源项目代码阅读的方式推进,以Rust为主,同时科普AI相关知识,目的是让更多非算法、非Rust的程序员进一步学习Rust和AI相关知识。当然,很显然地,我们也希望Rust程序员和AI算法工程师能从中有所收获。前者可以关注AI算法的设计和优化,后者可以关注Rust如何助力AI算法。

本篇是系列第一篇,主要介绍Rust和AI各自的特点与发展近况,以及它俩的遇见会碰撞出怎样的火花。我们热爱AI,我们喜欢Rust语言,仅此而已。

More

关于大语言模型的思考

从ChatGPT去年11月底发布到现在差不多一年时间了,短短的一年,整个NLP行业发生了翻天覆地的变化。应用方面,整个AI行业甚至其他行业都受到很大冲击,感觉所有人都在+大模型,都在试图重构产品和服务;研究方面,LLM现在几乎成为所有从业人员研究的热点,各种各样的研究成果层出不穷,让人眼花缭乱,直呼看不过来。

本人作为一名NLP工程师,自然深度参与。从一开始的Prompt技巧,到InstructGPT三阶段训练研究,再到千奇百怪的高效微调、知识编辑,再到各种量化推理、剪枝、小模型实践,再到目前重新思考预训练。这是一个不断深入的过程,也是一个不断学习的过程。从一开始的“我草牛逼”,到“看起来好像不复杂”,再到“咋回事,咋做的,咋这么多坑,咋办”。

本文主要记录一点当下最新的思考,包括算法和行业两个方面。我会尽量让自己的观点鲜明,不模棱两可。另外,我们也不是搞预测,只是纯粹的分析和感悟,甚至有一些个人偏好。总的来说,都是个人观点,限于能力,不一定准确(很有可能有错误),希望能借此和同好一起讨论。

More

ChatGPT 开发指南:Hugging LLM Hugging Future

本文属于DataWhale Hugging-LLM开源教程介绍内容,详细教程请跳转链接。

随着ChatGPT的爆火,我们相信未来会有越来越多的大模型及类似OpenAI提供的服务出现,AI 正在逐渐平民化,将来每个人都可以利用大模型轻松地做出自己的AI产品。

HuggingLLM是一个面向非算法、有一定编程基础、对AI和ChatGPT(或类似模型)感兴趣的,基于ChatGPT API开发相关应用的开源项目。当然部分内容不需要任何编程经验也可以学习,算法工程师也可能从中受益。项目主要包括ChatGPT基础科普、ChatGPT实现各种NLP常见任务(相似匹配、句词分类、编辑生成、推理等大类)、ChatGPT局限和商业应用等内容。

项目名为 HuggingLLM,因为我们相信正在经历一个伟大的时代,我们相信这是一个值得每个人全身心拥抱的时代,我们更加相信这个世界必将会因此而变得更加美好。

More

ChatGPT 基础科普:知其一点所以然

本文属于DataWhale开源组织HuggingLLM开源项目内容,更多内容请移步开源项目。

2022年底,ChatGPT突然间在AI圈开始流行,准确来说是搞自然语言处理(Natural Language Processing,NLP)圈子里先火起来了。遥想当时,本以为就会在圈内火一阵,结果现在……没想到居然成了AI的救命稻草,当然对AI工程师尤其是NLP工程师是什么就不好说了。海内外沸腾之后就是第一时间的跟进,结果自然是努力对齐而无功,连牛逼的Google和FaceBook都翻车了。不过总归是折腾出来一些东西,大伙儿也都有了目标,圈子又有了新活力。希望OpenAI继续发力,我等再多苟些日子。

无论是ChatGPT还是后来的模仿者,它们其实都是语言模型,准确来说——大语言模型。使用时,无论是调用API还是开源项目,总有一些参数可能需要调整。对大部分内行人士来说应该都不成问题,但对外行就有点玄乎了。基于此,本文将简要介绍ChatGPT相关技术基本原理,行文将站在外行人角度,尝试将内容尽量平民化。虽然不能深入细节,但知晓原理足以很好使用了。

本文共分为四个部分:

  • LM:这是ChatGPT的基石的基石,是一个最基本的概念,绕不开,逃不过,没办法。
  • Transformer:这是ChatGPT的基石,准确来说它的一部分是基石。
  • GPT:本体,从GPT-1,一直到现在的GPT-4,按openai自己的说法,那模型都是那个模型,只是它长大了,变胖了,不过更好看了。关于这点,大家基本都没想到。现在好了,攀不上了。
  • RLHF:ChatGPT神兵利器,有此利刃,ChatGPT才是那个ChatGPT,不然就只能是GPT-3。

More