归档 | 小猫杂货铺

2022

09

12

深入理解Transformer（一）：基础

Transformer在2017年被提出时，作为一种序列转换工具将一个序列转换为另一个符号序列，最流行的例子是翻译，比如从英语到德语。它还被修改为执行顺序完成-

2022-09-12 nlp transformer

12

Transformer相关技术问题

Bert为什么没有Decoder模块 Decoder是否存在其实是依赖于预测目标依赖什么数据的？以下的tokens表示为预测目标传统的Causal L

2022-09-12 nlp transformer

nlp Transformer

12

the-rise-of-decoder-only-model

Bert是由encoder-only训练而来，T5由encoder-decoder训练而来，不过都是需要有大量的训练语料才能够训练而来. 近段时间，decode

2022-09-12 nlp transformer

nlp Transformer

10

思考

图片来源于business-success-and-the-art-of-better-thinking/ 人生要学会思考，把控人生，看清周围的人、事、人

2022-09-10 thoughts

thought life-long-learning

08

14

Wechaty UI QuickStart

Wechaty UI能够让开发者为自己的插件编写对应的UI，从而实现交互式界面，这篇文章将要介绍如何使用为插件编写对应的UI。 QuickStart 在这里将

2022-08-14 wechaty

ui wechaty

08

【量化投资】：入门基础

2022-08-08 quantization

opensource apache-way

08

开源和商业开源

Apache Way 已然成为开源都需要遵循的标准，可是在商业公司的开源方式和常见的开源商业化还是有一定的差别，这篇文章就是来介绍在我在国内某大厂内的商业开源见

2022-08-08 thoughts

opensource apache-way

07

types-paddle: 为Paddle增加Tensor类型注释特性

Paddle中没有Tensor类，导致在IDE中写代码时没有办法进行智能提示，我提供了一个解决方案。思路修改已安装Paddle包的paddle/ten

2022-08-07 python

python types

06

type hint in python

类型注释可提升代码的阅读性，配合工具可分析代码中潜藏的Bug，在Python3.7 + 中依然支持变量类型注释，在此我也推荐大家尽量多写一些类型注释，提升代码的

2022-08-06 python

python types

07

31

Senmatic Neural Search

定义

2022-07-31 nlp