From Python to Engineer

Python is one the most popular programming languages nowadays. It’s easy to learn and use. Maybe Python is your best choice if you want to be an engineer in future, or you want to work with programming. Here I list many kinds of materials most of which comes from my collection. Hope this could help you to start your programming road. It might be a little hard, but a lot of fun as well. Let’s go.

I will update this blog continually when it needs to. By the way, If you are a very beginner to AI or computer, I recommend you read AIToolBox first.

Table of Contents

More

多贝里《清醒思考的艺术》读书笔记

52 个思维偏误和提示清单:

幸存偏误:多看看失败的事,自然会发现成功并不是他们所说的那样。
游泳选手身材错觉:因为他那样,所以他看起来才这样。你想成为这样,你得先那样。
过度自信效应:大家都会盲目自信,但请你作好最坏打算。还记得查理芒格说的吗,知道自己可能死在哪里才不会去那里。
从众心理:你行为上可以去从众,但思想上一定要保持独立。
纠缠于沉没成本:千万别被过去影响,基于现在和未来判断!当断不断反受其乱!
互惠偏误:一段感情(关系)确定之前,多欠别人的;确定之后,全心全意。商业或普通关系,相反,直到变成你想要的为止。
确认偏误之一:随时准备好反驳自己并及时反驳,因为你没那么牛逼,也没那么幸运,世界更没那么简单,但你会自己骗自己。
确认偏误之二:不带任何色彩地重新审视,要注意精确和反驳证据。切忌先入为主。
权威偏误:大胆藐视权威吧,他可能比你好不到哪里去。
对比效应:为别人建立基准线,避免自己被基准线困扰。
现成偏误:千万别把经验当做理由。
在好转之前会先恶化陷阱:虽然无法预测未来,但也不要拿经验当依据,而应该看过程中的各项指标情况。
故事偏误:对一切故事保持足够理性,拆了它,解剖它;但,学会给别人讲故事。。
事后诸葛亮偏误:没事别瞎BB,更别轻易下结论。俗话说:“你知道个鸟。”
司机的知识:别像赵括一样。万一遇到这种人,呵呵就行了。
控制错觉:你基本上影响不了什么,正确认识问题和自己真正能影响的。
激励过敏倾向:任何难以理解的事其实只是你没发现其中的“因”。要控制“因”,比如提前约定服务价格。
回归均值:很多时候变好或变坏和你做一些不相干的事情没什么关系,那只是周期性的 “回归均值”。
公地悲剧:如果可能获得好处而又不损失什么,人类最喜欢了。
结果偏误:关注结果,更加关注过程以及其他条件。
选择的悖论:不忘初心,方得始终。
讨喜偏误:能接受我的不好,才能拥有我的好。先想着不好。
禀赋效应:赤条条来赤条条走,该舍当舍。
奇迹:小概率不等于零概率,只所以你觉得怪是因为你见得少。
团体迷思:无论何时,只要需要,请发表你独立思考得来的观点。
忽视概率偏误:用数字说话,可以的话,懂点统计学。
零风险偏误:明白一个道理,没有什么是确定的,唯一确定的是不确定本身。
稀少性谬误:关注作用和需要而不要关注稀缺性。
忽视基本概率:不要用绝对概率,用贝叶斯概率,即不要忽视基本概率。
赌徒谬误:如果是独立的随机事件,那它每一次都如第一次。
锚定效应:在不对称信息下,请警惕锚定效应。
归纳法:不要错误估计个人对系统的影响力,即使方法没问题。
规避损失:面对 “损失” 理性一点。
社会性懈怠:权力责任到人,突显个人效率。
指数增长:事关增长率时,不要相信感觉。
赢家的诅咒:不要参与拍卖。
基本特征谬误:关注情境或事物而不只是人。
错误的因果关系:相关只是表面,因果方为本质。
光环效应:客观、理性,只关注当下关注的点(说起来就是这么容易)。
替代途径:客观、基于数据衡量收益和风险。
预测的错觉:条件反射地对预测持谨慎态度。
关联谬误:做重要决定时不要轻信自己的直觉。
框架效应:时刻注意框架效应的影响,剔除所有无关描述,只关注信息。
行动偏误:如果情况不明,不要采取任何行动。
不作为偏误:不作为可以是一时的选择,但不要成为永久的策略。
自利偏误:找个直言不讳的朋友或者让对手来评价你。
享乐适应症:把时间花在你真正爱做的事情上。
自我选择偏误:当你觉得自己倒霉时,先想想这是不是本来就是个概率事件。
联想偏误:客观分析、就事论事,不要胡思乱想。
新手的运气:别多想,没有什么新手运气。
认知失调:承认自己的错误需要很大的勇气,但好过掩耳盗铃。
双曲贴现:自制力很难,但很有必要。

More

Transformer 代码笔记

之前写过一篇关于 Attention Is All You Need论文笔记,不过那时候写的笔记都没有深入 Code 环节,再加上其实已经有了一篇 The Annotated Transformer,也没必要做重复工作。不过现在 Transformer 已经大放异彩到几乎成为了标准配件,所以觉得有必要单独拿出来就组件角度再次学习一遍,于是就有了这篇文章。

本文代码主要基于 OpenNMT,另外也参考了一点 fairseq,这俩都是 PyTorch 实现的。Tensorflow 实现的版本相对更多一些,详见 Appendix 部分。

More

Reformer, The Efficient Transformer 论文笔记

paper: Reformer: The Efficient Transformer

code: trax/trax/models/reformer at master · google/trax

Abstract

Transformer 在训练时成本过高(尤其是长句子),文章提出两种改进方法:

  • 将点乘的 attention 替换为局部敏感哈希,复杂度从 O(N^2) 降为 O(N logN),N 为句子长度。
  • 标准残差 Layer 替换为可逆残差 Layer,使得训练中只存储一次激活值,而不是 N 次,N 为 Layer 数量。

More