小猫杂货铺
Tags
Categories
Archives
Projects
About
小猫杂货铺
我想，坚持把博客给写下去
Tags
Categories
Archives
Projects
About
Follow Me
Attention
nlp
nlp
components
2021-05-08
Attention在实际项目中的应用非常广泛。
转载请注明:
小猫杂货铺
Attention
目录
搜索
blogs
产生想法
1.
想法对于人生而言，至关重要
2.
让想法不断涌现
3.
验证想法
cpp
Cmake基础入门
1.
基础概念
Cuda 入门
1.
Introduction
2.
Grid & Block & Thread
3.
CUDA 编程模型
nlp
components
Attention
papers
2021
Few-shot Intent Classification and Slot Filling with Retrieved Examples
1.
模型介绍
2.
优点
3.
模型
3.1.
数据构造
3.2.
Retriver
4.
数据集
pretrained-language-model
关于Bert的一切
1.
介绍
1.1.
解决了什么问题
1.2.
为什么这么强
1.3.
整体结构
1.4.
Transformer
1.4.1.
问题定义
1.4.2.
数据的流向
1.4.3.
输入表示
1.4.4.
Encoder Layer
1.4.4.1.
Multi-Header Layer
1.4.4.2.
[SEP] token
1.4.4.3.
Dropout, Add & Norm
1.4.4.4.
理解MultiHead
1.4.4.5.
总结
1.5.
训练方法
1.6.
一堆问题
1.6.1.
Self-Attention is BiDirectional
1.6.2.
为什么 [CLS] 能作为整个文本的表示
1.7.
总结
2.
衍生模型
2.1.
RoBERTa
2.2.
XLNet
2.3.
AlBERTa
2.4.
FastBert
Cross Attention
1.
介绍
1.1.
应用
1.2.
代码
2.
参考链接
prompt
Prompt 综述
1.
介绍
1.1.
三要素
1.1.1.
Prompt Template
1.2.
Prompt Engineering vs Answer Engineering
2.
Answer Engineering
2.1.
非受限空间
2.2.
受限空间
3.
训练方法
3.1.
参数更新方法
3.1.1.
Promptless Fine-Tune
3.1.2.
Tuning-free Prompt
3.1.3.
Fixed-LM Prompt Tuning
3.1.4.
Fixed-Prompt LM Tuning
3.1.5.
Prompt+LM Tuning
4.
应用任务
4.1.
5.
参考链接
transformer
深入理解Transformer（一）： 基础
1.
Transformer 整体结构
1.1.
模型组成
1.2.
模型结构
1.3.
模型类型
1.4.
计算逻辑流程
2.
源码解析
2.1.
输入输出
Transformer相关技术问题
1.
Bert为什么没有Decoder模块
the-rise-of-decoder-only-model
1.
到底什么样的模型好
python
http-server review
1.
Flask 源码
1.1.
app.py
1.2.
view.py
1.3.
Route
pre-commit 工具
1.
一、快速上手
1.1.
1.1 安装工具
1.2.
1.2 安装hook脚本
1.3.
1.3 配置文件
1.4.
1.4 参数说明
type hint in python
1.
类型注释
1.1.
什么是类型注释？
1.2.
优点
2.
py.typed
3.
types-
4.
参考资料
type hinting in python
1.
场景
2.
基本原理
3.
打包类型信息
3.1.
Stub Only Packages
3.2.
Partial Stub Files
types-paddle: 为Paddle增加Tensor类型注释特性
1.
思路
2.
类型注释的三种解决方案
3.
为什么选择这个解决方案？
3.1.
面临的问题
3.2.
解决方案
4.
pyi 是如何生成的？
5.
这个包的未来
6.
参考资料
quantization
【量化投资】：入门基础
skills
Github任务调度任务
1.
背景
2.
实现
3.
总结
如何编写一个好的README
Technical Writer
1.
什么是Technical Writer
1.1.
概念
1.2.
Technical Writer 的目的
2.
一定要成为Technical Writer
2.1.
最好的学习方法
2.2.
行动力
2.3.
可能性
2.4.
自制力
3.
如何成为一个Technical Writer？
3.1.
系统性
3.2.
少点拘束
3.3.
博文不是一蹴而就
4.
给自己的话
如何挑选一只有价值的股票
1.
如何看财报
1.1.
一、checklist 列表
1.2.
二、深入分析 top-k 公司
1.2.1.
2.1 这家公司是干什么？
1.2.2.
2.2 这家公司是如何赚钱的？
1.2.3.
2.3 这家公司的经营状况如何？
1.2.4.
2.4 给公司估值？
2.
Wechaty 机器人链路打通
2.1.
主动推送股票消息
2.2.
被动获取股票相关消息
3.
结论
thoughts
恭喜DRX获得2022年MSI冠军
1.
梦想
2.
人生
3.
感想
4.
最后
原来，高考可以重来
1.
失利是人生的常态
2.
高考落榜算是失利吗
3.
又重新高考了
4.
如何去努力
5.
人生可以重来
为什么我总是感觉到这么累
来自吴恩达的一封信：《如何打造AI职业规划》
Become a Sharer
1.
一定要成为一个Sharer
2.
分享到底是什么
3.
如何开始分享
4.
写博客可遵循的步骤
4.1.
找一个感兴趣的主题
4.2.
定位好目标读者和博客类型
4.3.
5.
总结
这些有趣的电影
1.
《金福南杀人事件》
思考
1.
话题
2.
你，愿不愿意思考
3.
你，会不会思考
4.
如何提升思考的深度
4.1.
与其他人讨论，从其他人贡献不同角度的看法。
4.2.
没人一起讨论，那就丰富自我，自己和自己讨论。
5.
结语
开源和商业开源
1.
OpenSource
1.1.
什么是开源
1.2.
开源，代表着公开透明
2.
Apache Way
2.1.
准则
2.2.
社区大于代码
2.2.1.
创新来源于社区
2.2.2.
贡献来源于社区
2.2.3.
可持续性来源于社区
2.3.
邮件列表讨论
2.3.1.
什么是邮件列表讨论
2.3.2.
为什么邮件列表这么重要
2.3.3.
中国开发者之间的沟通方式
2.3.4.
所有的事情都公开
2.4.
精英治理
2.4.1.
什么是精英治理
2.4.2.
职责大于权力
2.4.3.
异步工作
2.5.
社区的健康性
2.5.1.
多样性
2.5.2.
平等
2.5.3.
公开
2.6.
两位大佬的观点
3.
商业开源
3.1.
创业公司做开源
3.1.1.
优势
3.1.2.
弊端
3.2.
上市公司做开源
3.2.1.
优势
3.2.2.
弊端
4.
结语
人生中的梯度优化
1.
应该做梯度下降吗？
2.
何时做梯度下降？
3.
该如何做梯度下降
4.
总结
一些深有体会的句子
1.
情绪
2.
毅力
拖延症
1.
拖延小事，转头做大事
1.1.
防止焦虑
1.2.
不喜欢重要紧急的事情
2.
扩展
开源项目的PM
1.
PM 是什么
2.
互联网的 PM
3.
开源项目的 PM
4.
总结
wechaty
Wechaty UI QuickStart
1.
QuickStart
1.1.
安装
1.2.
编写插件基类
1.3.
添加UI代码
1.4.
启动机器人
2.
Vue Counter
2.1.
Vue Counter Plugin
2.2.
Vue Counter UI
3.
文档
3.1.
WechatyPlugin
3.1.1.
消息类型
3.1.2.
Web服务类型
3.1.3.
自定义插件元信息
4.
总结