这篇文章记录词向量的发展历程，包括tf-idf、word2vec、GloVe、ELMo、OpenAI GPT以及Bert，只记录个人认为比较核心的内容，以及一些值得思考的边角细节。

关于pytorch中的embedding常用的主要有两个函数，这篇blog将从每个参数的含义入手，通过举例的方式比较两个方法的异同以及各自的使用场景。

虽然看了一些很好的blog了解了LSTM的内部机制，但对框架中的lstm输入输出和各个参数还是没有一个清晰的认识，今天打算彻底把理论和实现联系起来，再分析一下pytorch中的LSTM实现。

conda的虚拟环境真的非常实用，尤其是对于大的深度学习项目，给每个项目单独配一个环境，轻巧又容易管理，还能直接用别人配好的虚拟环境，非常方便。这里记录几个常用的导入导出命令免得每次找。

表示学习旨在学习一系列低维稠密向量来表征语义信息，而知识表示学习是面向知识库中实体和关系的表示学习。当今大规模知识库（或称知识图谱）的构建为许多NLP任务提供了底层支持，但由于其规模庞大且不完备，如何高效存储和补全知识库成为了一项非常重要的任务，这就依托于知识表示学习。

transE算法就是一个非常经典的知识表示学习，用分布式表示（distributed representation）来描述知识库中的三元组。想象一下，这类表示法既避免了庞大的树结构构造，又能通过简单的数学计算获取语义信息，因此成为了当前表示学习的根基。

一、PCA简介

主成分分析（PCA）是一种常见的，也是最简单的降维手段，在机器学习中可用于特征提取。即便有时收集到的样本维数很高（即含有过多特征），但与学习任务相关的可能只是某个低维分布，这时就需要有效降维，在缓解维数灾难的同时令得到的低维嵌入仍能很好地描述原样本空间。

有监督参数估计是指已知分类器结构或函数形式，从训练样本中估计参数。

本文主要介绍贝叶斯决策（详见贝叶斯决策的过程）条件概率密度的有监督参数估计过程。方法有最大似然估计和贝叶斯参数估计法。

深度学习排错指南，主要内容翻译自此PPT，选取了自己认为有用的部分记录。

最小风险决策

最小风险决策是贝叶斯决策的一般形式。引入决策代价loss：$\lambda_{ij}=\lambda (\alpha_i|\omega_j)$ ，表示原本属于类 $j$，被错分为类 $i$ 所产生的风险（BTW，$\lambda_{ij}$ 与 $\lambda_{ji}$ 并不相等，有时相差很大。比如肿瘤检测时)。则条件风险 $R(\alpha_i|x) = \sum_{j=1}^{c}\lambda(\alpha_i|\omega_j)P(\omega_j|x)$ 贝叶斯决策就要选择最小化该条件风险的类别 $i$。

当 $\lambda$ 为0/1损失时，$R(\alpha_i|x) = 1 - P(\omega_i|x)$，最小风险决策退化为最小错误率决策，或最大后验决策。