本文属于DataWhale Hugging-LLM开源教程介绍内容，详细教程请跳转链接。
随着ChatGPT的爆火，我们相信未来会有越来越多的大模型及类似OpenAI提供的服务出现，AI 正在逐渐平民化，将来每个人都可以利用大模型轻松地做出自己的AI产品。
HuggingLLM是一个面向非算法、有一定编程基础、对AI和ChatGPT（或类似模型）感兴趣的，基于ChatGPT API开发相关应用的开源项目。当然部分内容不需要任何编程经验也可以学习，算法工程师也可能从中受益。项目主要包括ChatGPT基础科普、ChatGPT实现各种NLP常见任务（相似匹配、句词分类、编辑生成、推理等大类）、ChatGPT局限和商业应用等内容。
项目名为 HuggingLLM，因为我们相信正在经历一个伟大的时代，我们相信这是一个值得每个人全身心拥抱的时代，我们更加相信这个世界必将会因此而变得更加美好。
本文属于DataWhale开源组织HuggingLLM开源项目内容，更多内容请移步开源项目。
2022年底，ChatGPT突然间在AI圈开始流行，准确来说是搞自然语言处理（Natural Language Processing，NLP）圈子里先火起来了。遥想当时，本以为就会在圈内火一阵，结果现在……没想到居然成了AI的救命稻草，当然对AI工程师尤其是NLP工程师是什么就不好说了。海内外沸腾之后就是第一时间的跟进，结果自然是努力对齐而无功，连牛逼的Google和FaceBook都翻车了。不过总归是折腾出来一些东西，大伙儿也都有了目标，圈子又有了新活力。希望OpenAI继续发力，我等再多苟些日子。
无论是ChatGPT还是后来的模仿者，它们其实都是语言模型，准确来说——大语言模型。使用时，无论是调用API还是开源项目，总有一些参数可能需要调整。对大部分内行人士来说应该都不成问题，但对外行就有点玄乎了。基于此，本文将简要介绍ChatGPT相关技术基本原理，行文将站在外行人角度，尝试将内容尽量平民化。虽然不能深入细节，但知晓原理足以很好使用了。
本文共分为四个部分：
随着互联网业务到达天花板，与其相关的 AI 算法也开始逐渐变得寒气逼人。说到底，AI 还是个工具，即便它是非常了不得的工具，但毕竟大部分时候也没法脱离业务存在。二十大报告也提到要「脱虚向实」，进一步壮大、升级实体经济。所以，现在社会以及更多的人开始思考如何利用 AI 为行业赋能。换句通俗的话说，卷死互联网，现在来卷其他行业了。虽说几乎任何行业都可以通过「+AI」受益，但这中间有些业务和公司可能比较特殊，不太适合或无法 +AI。所以，本文就简单探讨下要想 +AI 究竟需要什么条件。
2022 年末的时候，ChatGPT 横空出世，朋友第一时间关注试玩后与我分享。当时听他说效果很好，不过我并没有特别放心上，毕竟，对话机器人已经不知道来过多少轮了，都快麻了。直到过了几天他给我看了一个非常亮眼的 Case——把我们平时工作中的业务文本直接丢给 ChatGPT，让它做实体抽取任务。结果完成的非常好，甚至可以按照指定的格式（如 Json）输出，而且如果你再告诉它一些特有规则，它还能进一步提取。这就很厉害了，至少之前的对话机器人可做不到这点。于是赶紧关注起来，先看介绍——哇靠，居然有强化学习（个人兴趣，一直比较关注强化学习在 NLP 方面的应用【相关文献1和2】），顿时来了兴趣——再看，发现 InstructGPT 这篇 Paper 在 11 月已经读过了，顿时恍然——原来是这篇。然后就上淘宝买了个账号开始玩起来，玩着玩着就感觉到这东西对 NLP 这个职业的冲击，但当时并没有想到它能出圈，能影响整个行业甚至产业。
过年的时候，在用它写春节祝福时发现 Prompt 技能不够用了，搜了一下才发现是自己狭隘了，于是赶紧补充了一波，写下了这篇 Prompt 工程：ChatGPT Prompt 工程：设计、实践与思考 | Yam。然后，我感觉好像应该差不多了吧，没想到，一切才刚刚开始……现在，大家都知道了……在 Prompt 工程中，我在文末写到：“本想继续谈谈关于 ChatGPT 对 NLP 行业甚至 AI 领域的影响，以及是否马上就会出现强 AI，以及与此相关的影响等，由于与本文主旨关系不大，我将择文再议”。其实后面一直想写，只不过因为要研究 ChatGPT 的实现和标注，所以耽搁到现在，现在总算可以把这个坑给填上，只不过我把影响范围进一步扩大了——到产业级别。
本文主要就 ChatGPT 对职业、行业和产业的影响展开讨论，为了避免被其他信息影响，最近一段时间几乎没看（刻意为之）类似新闻或文章，所以内容更多会偏主观，仅供参考。
ChatGPT 刚刚出来时，业内人士一致认为高质量的数据是一个非常关键的因素。且不论这个结论在 ChatGPT 这里是否正确，但高质量的数据对模型大有裨益却是公认的。而且，我们也可以从公开的 InstructGPT 标注指南中对此窥探一二。本文主要就围绕这份指南进行介绍，有点标题党了，但是考虑到 ChatGPT 和 InstructGPT 是兄弟关系，我们有理由相信 ChatGPT 的标注也是基于 InstructGPT 给出的指南进行的。当然不一定是全部，但至少我们可以从中学习和借鉴一些东西，是有此文。
下面的 Case 主要收集自网络，我会在后面添加上出处。关于 Prompt 设计技巧可以参考之前的文章：ChatGPT Prompt 工程：设计、实践与思考 | Yam，这里面的一些代表性 Case 也挪过来了。
特别说明：我们还是尽量从「设计」的角度给出 Case，而不是任务或内容。
另外需要说明：经测试，有些在中文下效果不如英文好（英文 Prompt 中文版本都是 ChatGPT 翻译的）。目前已有 Case 如下：
这是一篇来自 Google 的研究结果，通过一定的方法和策略，比如多个预训练模型结合，进一步提升模型整体推理能力。本文主要是对这方面的研究做了一个整体统一的划分，包括：思维链（Chain-of-Thought），验证器（Verifiers, STaR）选择-推理（Selection-Inference），工具使用（Tool Use）等，这些统称为：语言模型级联（Language Model Cascades）。
ChatGPT 火爆出圈了，有些人惊叹于它的能力，当然也有部分人觉得也就那样。这就不得不提 Prompt 了，据说【相关文献1】，ChatGPT 效果好不好完全取决于你的 Prompt，“看来 Propmt 也成一个技术活儿了”。当我这么想的时候，没想到国外居然已经有了成熟的售卖 Prompt 的网站，这玩意儿居然成了 NFT（Non-Fungible Token），真是世界变化太快，本人过于迟钝。
其实，对于 ChatGPT 的能力，作为 NLPer 第一时间就领教过了，作为行业内人士，而且多年来一直关注文本生成领域，ChatGPT 带给我的冲击和震撼是非常大的，甚至那几天晚上连觉都睡不着，真是焦虑感爆棚。记得在 DataWhale 团队群里一次讨论 ChatGPT 时，我发过这样的消息，原话如下：
1 | NLP真的考虑要转行了 |
LM as SAAS，其实应该是 LMAS——Language Model as Service。
过了几天看到这篇文章：ChatGPT 会对未来 5 年的 NLP 算法从业者带来怎样的冲击？发现业内大家也是差不多的想法（虽然我发消息在这篇文章之后，但之前的确没看过），尤其是张俊林博士的观点个人比较认同，NLP 工程师的确不容乐观。这里不是说这个职业的职责不容乐观，而是说整个行业可能会受到冲击。
有点跑偏了，说回 Prompt，春节时就想用 ChatGPT 生成一些祝福语，突然发现自己掌握的 Prompt 出来的效果不太好了。Google 了一下结果就发现了 The Art of ChatGPT Prompting: A Guide to Crafting Clear and Effective Prompts 这本电子书，再一搜，发现这个领域居然已经发展到如斯境地。本着学习的心态，阅读整理了一些 Prompt 工程的资料（见《文献和参考——核心文献》），是有此文。本文主要介绍关于 ChatGPT Prompt 的方法，我会结合这些资料加上自己的理解写出来，同时会在中文环境下做相关试验。
这篇文章基于一篇 Survey（见核心文献），就是如何将人类的反馈放在 NLP 过程中，这个过程可以是训练，也可以是部署后，也可以是数据标注阶段。总之，它泛指把人类的反馈与 NLP 过程结合。
今天是除夕，一大早因为一个梦醒来了，不是噩梦，当然也不是美梦。要搁平时，肯定继续睡了，但上完厕所发现居然毫无睡意，而且很想写点什么。至于原因，好像也没什么原因，可能是近期一直想写点东西，也可能是马上又过完了一年，还有可能是年纪见长容易感慨。总之，好似有方向，但又无目的。