ChatGPT 标注指南：任务、数据与规范

ChatGPT 刚刚出来时，业内人士一致认为高质量的数据是一个非常关键的因素。且不论这个结论在 ChatGPT 这里是否正确，但高质量的数据对模型大有裨益却是公认的。而且，我们也可以从公开的 InstructGPT 标注指南中对此窥探一二。本文主要就围绕这份指南进行介绍，有点标题党了，但是考虑到 ChatGPT 和 InstructGPT 是兄弟关系，我们有理由相信 ChatGPT 的标注也是基于 InstructGPT 给出的指南进行的。当然不一定是全部，但至少我们可以从中学习和借鉴一些东西，是有此文。

ChatGPT Prompt 示例

下面的 Case 主要收集自网络，我会在后面添加上出处。关于 Prompt 设计技巧可以参考之前的文章：ChatGPT Prompt 工程：设计、实践与思考 | Yam，这里面的一些代表性 Case 也挪过来了。

特别说明：我们还是尽量从「设计」的角度给出 Case，而不是任务或内容。

另外需要说明：经测试，有些在中文下效果不如英文好（英文 Prompt 中文版本都是 ChatGPT 翻译的）。目前已有 Case 如下：

直接问答、解释（不需要设计）
扮演互动
扮演+任务+步骤+上下文+目标+格式
使用扮演绕过限制
目标+上下文+多任务
标题+指定对象+任务
合作创作
表格转换
简化长 Prompt
综合多个结果
创造力增强
游戏引擎
推荐
思维树

语言模型级联

这是一篇来自 Google 的研究结果，通过一定的方法和策略，比如多个预训练模型结合，进一步提升模型整体推理能力。本文主要是对这方面的研究做了一个整体统一的划分，包括：思维链（Chain-of-Thought），验证器（Verifiers, STaR）选择-推理（Selection-Inference），工具使用（Tool Use）等，这些统称为：语言模型级联（Language Model Cascades）。

ChatGPT Prompt工程：设计、实践与思考

ChatGPT 火爆出圈了，有些人惊叹于它的能力，当然也有部分人觉得也就那样。这就不得不提 Prompt 了，据说【相关文献1】，ChatGPT 效果好不好完全取决于你的 Prompt，“看来 Propmt 也成一个技术活儿了”。当我这么想的时候，没想到国外居然已经有了成熟的售卖 Prompt 的网站，这玩意儿居然成了 NFT（Non-Fungible Token），真是世界变化太快，本人过于迟钝。

其实，对于 ChatGPT 的能力，作为 NLPer 第一时间就领教过了，作为行业内人士，而且多年来一直关注文本生成领域，ChatGPT 带给我的冲击和震撼是非常大的，甚至那几天晚上连觉都睡不着，真是焦虑感爆棚。记得在 DataWhale 团队群里一次讨论 ChatGPT 时，我发过这样的消息，原话如下：

NLP真的考虑要转行了
ChatGPT已经抹平了任务、行业、语言
以后也不用分那么多task榜单了，不用管行业
强大的一批，LM as SAAS 将统治一切

LM as SAAS，其实应该是 LMAS——Language Model as Service。

过了几天看到这篇文章：ChatGPT 会对未来 5 年的 NLP 算法从业者带来怎样的冲击？发现业内大家也是差不多的想法（虽然我发消息在这篇文章之后，但之前的确没看过），尤其是张俊林博士的观点个人比较认同，NLP 工程师的确不容乐观。这里不是说这个职业的职责不容乐观，而是说整个行业可能会受到冲击。

有点跑偏了，说回 Prompt，春节时就想用 ChatGPT 生成一些祝福语，突然发现自己掌握的 Prompt 出来的效果不太好了。Google 了一下结果就发现了 The Art of ChatGPT Prompting: A Guide to Crafting Clear and Effective Prompts 这本电子书，再一搜，发现这个领域居然已经发展到如斯境地。本着学习的心态，阅读整理了一些 Prompt 工程的资料（见《文献和参考——核心文献》），是有此文。本文主要介绍关于 ChatGPT Prompt 的方法，我会结合这些资料加上自己的理解写出来，同时会在中文环境下做相关试验。

Put Human in NLP Loop

这篇文章基于一篇 Survey（见核心文献），就是如何将人类的反馈放在 NLP 过程中，这个过程可以是训练，也可以是部署后，也可以是数据标注阶段。总之，它泛指把人类的反馈与 NLP 过程结合。

人生随笔

今天是除夕，一大早因为一个梦醒来了，不是噩梦，当然也不是美梦。要搁平时，肯定继续睡了，但上完厕所发现居然毫无睡意，而且很想写点什么。至于原因，好像也没什么原因，可能是近期一直想写点东西，也可能是马上又过完了一年，还有可能是年纪见长容易感慨。总之，好似有方向，但又无目的。

GPT3 和它的 In-Context Learning

ChatGPT 的爆火让很多 NLPer 大吃一惊，焦虑感爆棚，它的思路和方法都不复杂，但效果却出奇的好。我想任何研究成果的爆发都不可能是一蹴而就的，期间必然包含这一系列小的创新和优化。于是，重新把 GPT3 的 Paper 拉出来读了一遍，重点关注了实验结果之外的东西，果然发现不少细节。因此，本文还是以 GPT3 为主。

IDE Memo

IDE 相关备忘。

W2NER解读

NER 任务主要有三种类型：Flat（平铺）、overlapped（重叠或嵌套）、discontinuous（不连续），越来越多的研究致力于将它们统一起来。当前的 STOA 主要包括基于 Span 和 Seq2Seq 模型，不过它们很少关注边界，可能会导致后续的偏移。本文提出的统一方法（W2NER）是将其视为词词关系分类，为此引入两种词词关系：NNW（Next-Neighboring-Word）和 THW-*（Tail-Head-Word-*）。具体而言，构造一个 2D 的词词关系网格，然后使用多粒度 2D 卷积，以更好地细化网格表示。最后，使用一个共同预测器来推理词-词关系。

《麦肯锡战略化思维》读书笔记

很多职场人士会处于 PAID（Pressured，Action Addicted，Information Overload and Distracted，即压力、没时间思考、信息超载和无法专注）亚健康状态。理性思考、理性办事是我们应该有的习惯，但首先要走出心理上的舒适区和大脑快速思考的本能。本书介绍的结构化战略思维能让我们更加理性，对抗焦虑。前面部分是简化记录，后文是较详细记录。

四大原则

数字说话（行为准则）
洞见优于表象（行为准则）
MECE 原则（方法论）
假设为前提（方法论）

结构化战略思维框架

战略思维定义正确的问题
- SMART 原则
- 【六步】：背景、成功标准、边界、限制条件、责任人/相关人、资源
结构化分析（原则13）
- 3-3 原则四种【切】法：公式法、子目录列举法、流程法和逻辑框架法
- 单维、多维【图谱】：产品 BCG、客户消费者感知图、项目优先级分析、品类拓展分析
头脑风暴提出假设（原则24）
调研验证假设（原则12）
交付沟通（原则1-4）
- 【故事线】串联核心要素：Why 为什么、What 用什么、How 怎么解决、Why 为什么是你、HowMuch 投入产出
- 【SCP-I 框架】描述行业现状：S（规则）描述行业整体商业模式、C（行为）描述主流商业模式和竞争策略、P（业绩）包括财务和非财务