语言模型级联

这是一篇来自 Google 的研究结果，通过一定的方法和策略，比如多个预训练模型结合，进一步提升模型整体推理能力。本文主要是对这方面的研究做了一个整体统一的划分，包括：思维链（Chain-of-Thought），验证器（Verifiers, STaR）选择-推理（Selection-Inference），工具使用（Tool Use）等，这些统称为：语言模型级联（Language Model Cascades）。

ChatGPT Prompt工程：设计、实践与思考

ChatGPT 火爆出圈了，有些人惊叹于它的能力，当然也有部分人觉得也就那样。这就不得不提 Prompt 了，据说【相关文献1】，ChatGPT 效果好不好完全取决于你的 Prompt，“看来 Propmt 也成一个技术活儿了”。当我这么想的时候，没想到国外居然已经有了成熟的售卖 Prompt 的网站，这玩意儿居然成了 NFT（Non-Fungible Token），真是世界变化太快，本人过于迟钝。

其实，对于 ChatGPT 的能力，作为 NLPer 第一时间就领教过了，作为行业内人士，而且多年来一直关注文本生成领域，ChatGPT 带给我的冲击和震撼是非常大的，甚至那几天晚上连觉都睡不着，真是焦虑感爆棚。记得在 DataWhale 团队群里一次讨论 ChatGPT 时，我发过这样的消息，原话如下：

NLP真的考虑要转行了
ChatGPT已经抹平了任务、行业、语言
以后也不用分那么多task榜单了，不用管行业
强大的一批，LM as SAAS 将统治一切

LM as SAAS，其实应该是 LMAS——Language Model as Service。

过了几天看到这篇文章：ChatGPT 会对未来 5 年的 NLP 算法从业者带来怎样的冲击？发现业内大家也是差不多的想法（虽然我发消息在这篇文章之后，但之前的确没看过），尤其是张俊林博士的观点个人比较认同，NLP 工程师的确不容乐观。这里不是说这个职业的职责不容乐观，而是说整个行业可能会受到冲击。

有点跑偏了，说回 Prompt，春节时就想用 ChatGPT 生成一些祝福语，突然发现自己掌握的 Prompt 出来的效果不太好了。Google 了一下结果就发现了 The Art of ChatGPT Prompting: A Guide to Crafting Clear and Effective Prompts 这本电子书，再一搜，发现这个领域居然已经发展到如斯境地。本着学习的心态，阅读整理了一些 Prompt 工程的资料（见《文献和参考——核心文献》），是有此文。本文主要介绍关于 ChatGPT Prompt 的方法，我会结合这些资料加上自己的理解写出来，同时会在中文环境下做相关试验。

Put Human in NLP Loop

这篇文章基于一篇 Survey（见核心文献），就是如何将人类的反馈放在 NLP 过程中，这个过程可以是训练，也可以是部署后，也可以是数据标注阶段。总之，它泛指把人类的反馈与 NLP 过程结合。

人生随笔

今天是除夕，一大早因为一个梦醒来了，不是噩梦，当然也不是美梦。要搁平时，肯定继续睡了，但上完厕所发现居然毫无睡意，而且很想写点什么。至于原因，好像也没什么原因，可能是近期一直想写点东西，也可能是马上又过完了一年，还有可能是年纪见长容易感慨。总之，好似有方向，但又无目的。

GPT3 和它的 In-Context Learning

ChatGPT 的爆火让很多 NLPer 大吃一惊，焦虑感爆棚，它的思路和方法都不复杂，但效果却出奇的好。我想任何研究成果的爆发都不可能是一蹴而就的，期间必然包含这一系列小的创新和优化。于是，重新把 GPT3 的 Paper 拉出来读了一遍，重点关注了实验结果之外的东西，果然发现不少细节。因此，本文还是以 GPT3 为主。

IDE Memo

IDE 相关备忘。

W2NER解读

NER 任务主要有三种类型：Flat（平铺）、overlapped（重叠或嵌套）、discontinuous（不连续），越来越多的研究致力于将它们统一起来。当前的 STOA 主要包括基于 Span 和 Seq2Seq 模型，不过它们很少关注边界，可能会导致后续的偏移。本文提出的统一方法（W2NER）是将其视为词词关系分类，为此引入两种词词关系：NNW（Next-Neighboring-Word）和 THW-*（Tail-Head-Word-*）。具体而言，构造一个 2D 的词词关系网格，然后使用多粒度 2D 卷积，以更好地细化网格表示。最后，使用一个共同预测器来推理词-词关系。

《麦肯锡战略化思维》读书笔记

很多职场人士会处于 PAID（Pressured，Action Addicted，Information Overload and Distracted，即压力、没时间思考、信息超载和无法专注）亚健康状态。理性思考、理性办事是我们应该有的习惯，但首先要走出心理上的舒适区和大脑快速思考的本能。本书介绍的结构化战略思维能让我们更加理性，对抗焦虑。前面部分是简化记录，后文是较详细记录。

四大原则

数字说话（行为准则）
洞见优于表象（行为准则）
MECE 原则（方法论）
假设为前提（方法论）

结构化战略思维框架

战略思维定义正确的问题
- SMART 原则
- 【六步】：背景、成功标准、边界、限制条件、责任人/相关人、资源
结构化分析（原则13）
- 3-3 原则四种【切】法：公式法、子目录列举法、流程法和逻辑框架法
- 单维、多维【图谱】：产品 BCG、客户消费者感知图、项目优先级分析、品类拓展分析
头脑风暴提出假设（原则24）
调研验证假设（原则12）
交付沟通（原则1-4）
- 【故事线】串联核心要素：Why 为什么、What 用什么、How 怎么解决、Why 为什么是你、HowMuch 投入产出
- 【SCP-I 框架】描述行业现状：S（规则）描述行业整体商业模式、C（行为）描述主流商业模式和竞争策略、P（业绩）包括财务和非财务

Global Pointer：Novel Efficient Span-based Approach for NER

Paper：[2208.03054] Global Pointer: Novel Efficient Span-based Approach for Named Entity Recognition

Code：https://github.com/bojone/bert4keras

一句话概述：全局指针识别 NER，Span 预测得到 NER 类型。

摘要：NER 任务是从一段文本中识别出预先定义的语义实体类型。SOTA 方案通常会因为捕获底层文本的细粒度语义信息而受到影响。基于 Span 的方法克服了这种缺陷，但性能是个问题。本文提出基于 Span 的 NER 框架——全局指针（GP），通过乘法注意力机制利用相对位置，目标是考虑开始和结束位置的全局视图来预测实体。除了设计了两个模块（Token 表征和 Span 预测）来识别实体外，还引入了一种新的损失函数来解决标签不均衡问题，另外还引入了一种简单有效的近似方法减少参数。实验表明 GP 胜过现有方案，此外损失函数也表现出有效性。

DeepGen：Diverse Search Ad Generation and Real-Time Customization

Paper：[2208.03438] DeepGen: Diverse Search Ad Generation and Real-Time Customization

Code：无

一句话概述：端到端广告文本生成方案。

摘要：DeepGen 是一个 Web 部署的用于为 Bing 广告客户自动生成搜索广告的系统。它使用最新的 NLG 模型从广告商的网页生成流畅的广告，并解决一些实际问题（真实性、推理速度）。系统会根据用户的搜索查询实时创建定制化广告，从而根据用户「正在寻找的内容」突出显示同一产品的不同方面。为了实现此目标，系统提前生成各种可选择的小广告片段素材，查询时选择最相关的拼接到完整广告中。通过训练可控 NLG 模型为同一网页生成多个广告，突出不同卖点，从而提高生成的多样性。更进一步，通过首先运行使用不同目标训练的生成模型集合，然后使用多样性采样算法选择不同生成结果子集进行在线选择，进一步横向提升了多样性。实验结果验证了系统设计的有效性，目前已部署生产环境，提供了必应投放的大约 4% 的全球广告。

Yam

Feeling, Coding, Thinking