AI 小课堂:Activation Function

基本思想

激活函数在深度学习中的作用就跟神经元中 “细胞体” 的功能类似:确定输出中哪些要被激活。我们都知道 SVM 通过核方法对非线性可分的数据进行分类,这其实是一种提升的方法(机器学习中很多问题都是类似的降个维度或升个维度)。为啥提升维度就能够让原本线性不可分的数据可分呢?我们以下图为例:

两组不同标签的数据构成一个近似的同心圆。要想将两种不同的点分开,靠二维的一条直线肯定是没办法了,此时我们可以把数据映射到三维空间,我们可以想象让同心圆之间再插入一个圆,然后让这个圆以内的整块都凸起来,也就是让它脱离原来的维度。这时候我们只要在两个平面中间任意选择一个平面就可以将数据集分开了。那这和我们的激活函数有啥关系呢?其实激活函数所提供的 “非线性” 变换正是类似的方式。也就是说,只要有非线性的激活函数,三层(输入、1 个隐层、输出层)的神经网络理论上可以逼近任意函数。

More

QA 小课堂:Introduction

说明:仅用于学习和技术交流,不提供任何投资建议。

基本流程

量化在金融分析中有两种主要的用途:选择标的,确定时机。一个完整的流程大概如下:

  • 先有一个想法
  • 将想法变成策略
  • 将策略变成模型
  • 验证优化

More

中文分词系列一:思考分词

世界上这么多语言,如果直接从外观来看,大概有两种:一种是字符中间用空格隔开的,另一种是所有字符连在一起的。前者如英文、德语、俄语、法语等等,后者如中文、日文等,这类语言词与词之间没有用明显的标志分开。因此,分词就是想方设法将给定文本按一定方式隔开,便于计算机更好地处理。

More

多贝里《清醒思考的艺术》读书笔记

52 个思维偏误和提示清单:

幸存偏误:多看看失败的事,自然会发现成功并不是他们所说的那样。
游泳选手身材错觉:因为他那样,所以他看起来才这样。你想成为这样,你得先那样。
过度自信效应:大家都会盲目自信,但请你作好最坏打算。还记得查理芒格说的吗,知道自己可能死在哪里才不会去那里。
从众心理:你行为上可以去从众,但思想上一定要保持独立。
纠缠于沉没成本:千万别被过去影响,基于现在和未来判断!当断不断反受其乱!
互惠偏误:一段感情(关系)确定之前,多欠别人的;确定之后,全心全意。商业或普通关系,相反,直到变成你想要的为止。
确认偏误之一:随时准备好反驳自己并及时反驳,因为你没那么牛逼,也没那么幸运,世界更没那么简单,但你会自己骗自己。
确认偏误之二:不带任何色彩地重新审视,要注意精确和反驳证据。切忌先入为主。
权威偏误:大胆藐视权威吧,他可能比你好不到哪里去。
对比效应:为别人建立基准线,避免自己被基准线困扰。
现成偏误:千万别把经验当做理由。
在好转之前会先恶化陷阱:虽然无法预测未来,但也不要拿经验当依据,而应该看过程中的各项指标情况。
故事偏误:对一切故事保持足够理性,拆了它,解剖它;但,学会给别人讲故事。。
事后诸葛亮偏误:没事别瞎BB,更别轻易下结论。俗话说:“你知道个鸟。”
司机的知识:别像赵括一样。万一遇到这种人,呵呵就行了。
控制错觉:你基本上影响不了什么,正确认识问题和自己真正能影响的。
激励过敏倾向:任何难以理解的事其实只是你没发现其中的“因”。要控制“因”,比如提前约定服务价格。
回归均值:很多时候变好或变坏和你做一些不相干的事情没什么关系,那只是周期性的 “回归均值”。
公地悲剧:如果可能获得好处而又不损失什么,人类最喜欢了。
结果偏误:关注结果,更加关注过程以及其他条件。
选择的悖论:不忘初心,方得始终。
讨喜偏误:能接受我的不好,才能拥有我的好。先想着不好。
禀赋效应:赤条条来赤条条走,该舍当舍。
奇迹:小概率不等于零概率,只所以你觉得怪是因为你见得少。
团体迷思:无论何时,只要需要,请发表你独立思考得来的观点。
忽视概率偏误:用数字说话,可以的话,懂点统计学。
零风险偏误:明白一个道理,没有什么是确定的,唯一确定的是不确定本身。
稀少性谬误:关注作用和需要而不要关注稀缺性。
忽视基本概率:不要用绝对概率,用贝叶斯概率,即不要忽视基本概率。
赌徒谬误:如果是独立的随机事件,那它每一次都如第一次。
锚定效应:在不对称信息下,请警惕锚定效应。
归纳法:不要错误估计个人对系统的影响力,即使方法没问题。
规避损失:面对 “损失” 理性一点。
社会性懈怠:权力责任到人,突显个人效率。
指数增长:事关增长率时,不要相信感觉。
赢家的诅咒:不要参与拍卖。
基本特征谬误:关注情境或事物而不只是人。
错误的因果关系:相关只是表面,因果方为本质。
光环效应:客观、理性,只关注当下关注的点(说起来就是这么容易)。
替代途径:客观、基于数据衡量收益和风险。
预测的错觉:条件反射地对预测持谨慎态度。
关联谬误:做重要决定时不要轻信自己的直觉。
框架效应:时刻注意框架效应的影响,剔除所有无关描述,只关注信息。
行动偏误:如果情况不明,不要采取任何行动。
不作为偏误:不作为可以是一时的选择,但不要成为永久的策略。
自利偏误:找个直言不讳的朋友或者让对手来评价你。
享乐适应症:把时间花在你真正爱做的事情上。
自我选择偏误:当你觉得自己倒霉时,先想想这是不是本来就是个概率事件。
联想偏误:客观分析、就事论事,不要胡思乱想。
新手的运气:别多想,没有什么新手运气。
认知失调:承认自己的错误需要很大的勇气,但好过掩耳盗铃。
双曲贴现:自制力很难,但很有必要。

More

Transformer 代码笔记

之前写过一篇关于 Attention Is All You Need论文笔记,不过那时候写的笔记都没有深入 Code 环节,再加上其实已经有了一篇 The Annotated Transformer,也没必要做重复工作。不过现在 Transformer 已经大放异彩到几乎成为了标准配件,所以觉得有必要单独拿出来就组件角度再次学习一遍,于是就有了这篇文章。

本文代码主要基于 OpenNMT,另外也参考了一点 fairseq,这俩都是 PyTorch 实现的。Tensorflow 实现的版本相对更多一些,详见 Appendix 部分。

More