[译]理解 LSTM 网络

作者:Christopher Olah   翻译:Yangyu Chen
原文:Understanding LSTM Networks

循环神经网络

人类在思考问题的时候并不总是从头开始的。当你在读这篇短文时,你对当前读到的每个字的理解,是建立在对之前内容理解的基础上的。你并不是把所有的东西扔掉然后从头开始思考。换句话说,你的思考具有延续性。

传统的神经网络无法模拟人的这一行为,这似乎是一个巨大的缺陷。例如,假设你想要对电影中发生的每一个事件进行分类,我们不知道如何让传统的神经网络去利用先前的推断结果作出下一个推断。

循环神经网络(Recurrent neural networks,RNN)解决了这个问题。它们是具有循环结构的网络,这使得它们能够保存信息。

阅读全文

[译]直观理解信息论

作者:Christopher Olah   翻译:Yangyu Chen
原文:Visual Information Theory

我喜欢通过不同方式思考事物所带来的感觉,特别是当某些模糊的想法被形式化为具体的概念时。信息论便是一个极好的例子。

信息论为我们提供了精确的语言来描述许多事物。我对事物有多少的不确信?知道问题A的答案能够为问题B提供多少信息?两组观点之间有多么相似1?当我还是孩子时便对这些念头有了简单的思索,但是信息论把这些念头变成了精确而又有效的概念2。这些概念有着非常多样的应用,从数据压缩,到量子物理,再到机器学习,以及它们之间的交叉领域。

不幸的是,信息论看起来似乎有点让人畏惧。我并不认为有什么理由使得它必须如此。事实上,许多核心概念可以完全通过图形来解释!

阅读全文

Archlinux安装笔记

初始准备

  1. 写入镜像到U盘中,可以使用Rufus

安装初始系统

参考Arch Wiki

  1. 分区,使用fdisk或者gdisk,一般就只分一个大区,不再考虑boot,swap之类(似乎如果采用GPT分区表则必须分配一个boot分区,并且将引导信息写入该分区,参考Arch Wiki),因此得到/dev/sda1。之后格式化分区,使用4K块大小
    mkfs.ext4 -b 4096 /dev/sda1
    
    如果需要swap分区,可以在装好系统之后添加一个swap文件,之后细说。

    阅读全文

论文笔记:A Model of Saliency-Based Visual Attention for Rapid Scene Analysis

论文信息

  1. 题目:A Model of Saliency-Based Visual Attention for Rapid Scene Analysis
  2. 作者:Laurent Itti, Christof Koch, and Ernst Niebur
  3. 领域:视觉显著性
  4. 类型:新问题,新方法

相关背景

灵长类动物的视觉系统能够快速地定位出场景中的显著目标,如何借鉴地让计算机快速定位出图像中的显著性位置,以此将复杂的场景理解问题简化。

阅读全文