MHuiG

「看庭前花开花落,望天上云卷云舒」

## 回顾几个有趣的小题目

温故知新（大雾

2020-11-16 Math Math
阅读全文

## 宇宙的本质是计算

想象一下，一望无际的大平面被分成了许许多多方格子。每个格子里正好能放下一个“细胞”。这个细胞不能运动，它可以是死的，也可以是活的；但它的状态，是由它周围8个细胞的死活决定。

2020-11-06 随笔 随笔
阅读全文

## 互联网进化！

达尔文进化论动摇了神学的土壤和基础，但互联网的进化却可能引发神秘但有趣的问题——互联网和人脑为什么向同一方向进化？

2020-11-06 随笔 随笔
阅读全文

## BERT 预训练模型及其应用案例

预训练模型最开始是在图像领域提出的，获得了良好的效果，近几年才被广泛应用到自然语言处理各项任务中。

- (1) 2003 年 Bengio 提出神经网络语言模型 NNLM，从此统一了 NLP 的特征形式 ——Embedding；

- (2) 2013 年 Mikolov 提出词向量 Word2vec，延续 NNLM 又引入了大规模预训练（Pretrain）的思路；

- (3) 2017 年 Vaswani 提出 Transformer 模型，实现用一个模型处理多种 NLP 任务。

- (4) 基于 Transformer 架构，2018 年底开始出现一大批预训练语言模型 (3 个预训练代表性模型 BERT [2018]、XLNet [2019] 和 MPNet [2020])，刷新众多 NLP 任务，形成新的里程碑事件。

2020-11-05 NLP NLP
阅读全文
站内导航
站点信息
文章数目：
62 篇
已运行时间：
本站总字数：
67.1k 字
Are You A Robot?