Hard-SVM, Soft-SVM 和 KKT

SVM 是机器学习在神经网络兴起前最经典、有效的算法。它的思想主要是用一个超平面对数据集进行划分，但是能够分开数据集的超平面一般都有无数个，支持向量机的做法是 “间隔最大化”，也就是选择 “支持向量” 到分割平面距离之和最大的，进而将问题转换为一个凸优化问题。

支持向量机根据数据集可分程度的不同分为：

线性可分支持向量机：数据线性可分，硬间隔支持向量机
线性（不可分）支持向量机：数据近似线性可分，软间隔支持向量机
非线性支持向量机：数据线性不可分，核技巧 + 软间隔最大化

SVM 是一套完整的数据处理算法，核方法的引入使得它具有了对非线性数据的处理能力。具体的方式是将低维数据映射到高维，这样原来不可分的数据自然就可分了。比如假设两类数据点完全是均匀随机分布的，此时如果在平面内无论使用直线还是曲线都无法将它们分开，但假设我们有能力让某一类数据点全部脱离二维进入三维（此处可以想象桌子上散乱着小米和钢珠，你猛地用双手拍桌子，小米会跳起来进入第三维），那它们之间任意的平面都可以轻易将它们隔开。事实上，神经网络使用了类似的方法，感知机的中间隐层做的也是类似的事情。

本部分只介绍线性可分支持向量机和线性支持向量机。

Generate Parentheses (LeetCode 22)

Given n pairs of parentheses, write a function to generate all combinations of well-formed parentheses.

For example, given n = 3, a solution set is:

[
  "((()))",
  "(()())",
  "(())()",
  "()(())",
  "()()()"
]

基本思想

激活函数在深度学习中的作用就跟神经元中 “细胞体” 的功能类似：确定输出中哪些要被激活。我们都知道 SVM 通过核方法对非线性可分的数据进行分类，这其实是一种提升的方法（机器学习中很多问题都是类似的降个维度或升个维度）。为啥提升维度就能够让原本线性不可分的数据可分呢？我们以下图为例：

两组不同标签的数据构成一个近似的同心圆。要想将两种不同的点分开，靠二维的一条直线肯定是没办法了，此时我们可以把数据映射到三维空间，我们可以想象让同心圆之间再插入一个圆，然后让这个圆以内的整块都凸起来，也就是让它脱离原来的维度。这时候我们只要在两个平面中间任意选择一个平面就可以将数据集分开了。那这和我们的激活函数有啥关系呢？其实激活函数所提供的 “非线性” 变换正是类似的方式。也就是说，只要有非线性的激活函数，三层（输入、1 个隐层、输出层）的神经网络理论上可以逼近任意函数。

说明：仅用于学习和技术交流，不提供任何投资建议。

基本流程

量化在金融分析中有两种主要的用途：选择标的，确定时机。一个完整的流程大概如下：

先有一个想法
将想法变成策略
将策略变成模型
验证优化

DeBERTa 论文+代码笔记

Paper：[2006.03654] DeBERTa: Decoding-enhanced BERT with Disentangled Attention

Code：microsoft/DeBERTa: The implementation of DeBERTa

核心思想：增加位置-内容与内容-位置的自注意力增强位置和内容之间的依赖，用 EMD 缓解 BERT 预训练和精调因为 MASK 造成的不匹配问题。

RoBERTa 论文+代码笔记

Paper：[1907.11692] RoBERTa: A Robustly Optimized BERT Pretraining Approach

Code：fairseq/examples/roberta at master · pytorch/fairseq

核心思想：

对 BERT 几个小点（主要是动态 Mask 和不使用 NSP）进行优化取得了比较好的实践结果。

Bart 论文+代码笔记

Paper：https://arxiv.org/pdf/1910.13461.pdf

Code：https://github.com/pytorch/fairseq

核心思想：基于 Transformer Seq2Seq 架构适应各种不同的输入噪声。

ALBERT 论文+代码笔记

Paper：1909.11942.pdf

Code：google-research/albert: ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

核心思想：基于 Bert 的改进版本：分解 Embedding 参数、层间参数共享、SOP 替代 NSP。

多贝里《清醒思考的艺术》读书笔记

52 个思维偏误和提示清单：

幸存偏误：多看看失败的事，自然会发现成功并不是他们所说的那样。
游泳选手身材错觉：因为他那样，所以他看起来才这样。你想成为这样，你得先那样。
过度自信效应：大家都会盲目自信，但请你作好最坏打算。还记得查理芒格说的吗，知道自己可能死在哪里才不会去那里。
从众心理：你行为上可以去从众，但思想上一定要保持独立。
纠缠于沉没成本：千万别被过去影响，基于现在和未来判断！当断不断反受其乱！
互惠偏误：一段感情（关系）确定之前，多欠别人的；确定之后，全心全意。商业或普通关系，相反，直到变成你想要的为止。
确认偏误之一：随时准备好反驳自己并及时反驳，因为你没那么牛逼，也没那么幸运，世界更没那么简单，但你会自己骗自己。
确认偏误之二：不带任何色彩地重新审视，要注意精确和反驳证据。切忌先入为主。
权威偏误：大胆藐视权威吧，他可能比你好不到哪里去。
对比效应：为别人建立基准线，避免自己被基准线困扰。
现成偏误：千万别把经验当做理由。
在好转之前会先恶化陷阱：虽然无法预测未来，但也不要拿经验当依据，而应该看过程中的各项指标情况。
故事偏误：对一切故事保持足够理性，拆了它，解剖它；但，学会给别人讲故事。。
事后诸葛亮偏误：没事别瞎BB，更别轻易下结论。俗话说：“你知道个鸟。”
司机的知识：别像赵括一样。万一遇到这种人，呵呵就行了。
控制错觉：你基本上影响不了什么，正确认识问题和自己真正能影响的。
激励过敏倾向：任何难以理解的事其实只是你没发现其中的“因”。要控制“因”，比如提前约定服务价格。
回归均值：很多时候变好或变坏和你做一些不相干的事情没什么关系，那只是周期性的 “回归均值”。
公地悲剧：如果可能获得好处而又不损失什么，人类最喜欢了。
结果偏误：关注结果，更加关注过程以及其他条件。
选择的悖论：不忘初心，方得始终。
讨喜偏误：能接受我的不好，才能拥有我的好。先想着不好。
禀赋效应：赤条条来赤条条走，该舍当舍。
奇迹：小概率不等于零概率，只所以你觉得怪是因为你见得少。
团体迷思：无论何时，只要需要，请发表你独立思考得来的观点。
忽视概率偏误：用数字说话，可以的话，懂点统计学。
零风险偏误：明白一个道理，没有什么是确定的，唯一确定的是不确定本身。
稀少性谬误：关注作用和需要而不要关注稀缺性。
忽视基本概率：不要用绝对概率，用贝叶斯概率，即不要忽视基本概率。
赌徒谬误：如果是独立的随机事件，那它每一次都如第一次。
锚定效应：在不对称信息下，请警惕锚定效应。
归纳法：不要错误估计个人对系统的影响力，即使方法没问题。
规避损失：面对 “损失” 理性一点。
社会性懈怠：权力责任到人，突显个人效率。
指数增长：事关增长率时，不要相信感觉。
赢家的诅咒：不要参与拍卖。
基本特征谬误：关注情境或事物而不只是人。
错误的因果关系：相关只是表面，因果方为本质。
光环效应：客观、理性，只关注当下关注的点（说起来就是这么容易）。
替代途径：客观、基于数据衡量收益和风险。
预测的错觉：条件反射地对预测持谨慎态度。
关联谬误：做重要决定时不要轻信自己的直觉。
框架效应：时刻注意框架效应的影响，剔除所有无关描述，只关注信息。
行动偏误：如果情况不明，不要采取任何行动。
不作为偏误：不作为可以是一时的选择，但不要成为永久的策略。
自利偏误：找个直言不讳的朋友或者让对手来评价你。
享乐适应症：把时间花在你真正爱做的事情上。
自我选择偏误：当你觉得自己倒霉时，先想想这是不是本来就是个概率事件。
联想偏误：客观分析、就事论事，不要胡思乱想。
新手的运气：别多想，没有什么新手运气。
认知失调：承认自己的错误需要很大的勇气，但好过掩耳盗铃。
双曲贴现：自制力很难，但很有必要。

DistilBERT 论文+代码笔记

Paper：1910.01108.pdf

Code：transformers/examples/distillation at master · huggingface/transformers

核心思想：通过知识蒸馏（在 logits，hidden_states 上计算学生与教师的 loss）训练一个小（主要是层数）模型实现和大模型类似的效果。

Yam

Feeling, Coding, Thinking