image frame

Tanthen

找到一个有趣的灵魂

论文阅读与实现 Attention Is All You Need

  Transformer 是我从入门学习 NLP 开始就早有耳闻的内容,也是我之后的研究生生涯的最重要的基础框架,通过这篇论文再结合 Pytorch 版本的简单代码实现来了解 Transformer 内部的实现原理,包括位置编码,mask,attention的实现,encoder和decoder的构筑以及最终测试时贪心编码的运用。不过在阅读完这份简单代码并跟着实现之后还会有一些问题,由此会进一步改进代码。

阅读更多...

hexo常用操作

  第一次搭建博客,根据同学的推荐,结合 hexo 和 github 共同搭建了个人博客网站,主题采用的是ayer,hexo 中有挺多的 api 都还没有学习,不过对于短期之内写博客文章乃至于长期的博客维护,应该都只需要掌握一些基础的操作即可,对于一些深入博客外观相关的探索包括自定义主题和 hexo 的内核都在之后有时间再探索。

阅读更多...
  • Copyrights © 2022 Tanthen

请我喝杯咖啡吧~

支付宝
微信