随笔-宗教与科学
宗教和科学从诞生就有着分道扬镳的发展哲学，宗教先知总是秉持的极度自洽和坚定的态度，而科学研究者则坚持怀疑批判和严谨的理论实证。但随着科技树的不断点亮，我们发现二者却又在一些问题上有些“殊途同归”，这种经常会让人陷入一种错乱：宗教和哲学解释性的话语权究竟如何，作为一个现代人该如何分辨和看待呢？ 宗教是实用主义的优胜劣汰从宗教的诞生和发展来看，他并非看起来那样‘简单’，缺少理论根据。相反，尤其是对世界上的几大宗教来说，他们是接受了最漫长和严格的‘世俗审查’，无论理论是否站得住脚，他并不需要这样的东西，他能够存在下来就说明了一切； 根本上还是，我们也很难通过实验的方法来实证宗教的“解释”，因为...
脑结构的宏观感知随笔
外侧与前方：可感知的图形界面一个有趣的发现，大脑约靠近外侧和前方的部位功能越是可以感知的“图形操作界面”。这里主要就是我们所熟知的大脑皮层，负责处理所有我们能感知到的高级信息并形成决策和指令，有认知，计划，创作，欣赏，学习模仿等等这些我们非常熟悉和有知觉的行为。我们可以有意识的感知和控制。 中心内核：生存系统的大管家而越靠近中心内核和下后部，就越是承担生物本能和“底层”的结构功能，这部分包括从丘脑开始，再到下丘脑垂体，以及小脑和脑干，这部分结构通过神经递质的管理对脑神经，脊神经进行控制，能够基于意识和无意识的信息对下游神经元受体，肌肉和皮肤等身体功能结构直接产生影响，实现调控。这里主要是...
如何理解BP算法：从错误中学习，在传递中进化(二)
梯度下降在深度神经网络中的应用存在哪些问题在基础篇中我们以线性分类器为例解释了反向传播算法的工作原理，但是在实际应用中却很少直接使用这种最原始的梯度下降反向传播算法；主要由于对于大规模的深度网络来说求解每个节点的梯度是非常大的计算量，且在更加复杂的损失函数空间中也会遇到难以逼近极值的问题； 梯度的维度-计算量有多大？由于梯度下降算法中梯度的维度是和参数维度完全相同的，所以我们先来感受参数量是一个什么样的概念，我们以一个全链接网络为例；下图表示了神经网络中某一层的一个感知机的计算过程（对应图中的红色矩形部分） 参数的右上角标表示这个感知机属于第几层，比如L是本层，L-1就是上一层；右下 ...
如何理解BP算法：从错误中学习，在传递中进化(一)
这个话题我们分为两部分，在「一」中我们主要讨论基础的反向传播和梯度下降原理。 初步理解：梯度和反向传播 反向传播要解决什么问题，是如何实现的 在「二」中我们将围绕梯度下降中出现的问题，对BP算法的发展演化做更具体的了解，从而对参数更新方法有更整体的了解。 梯度下降中的常见问题 BP算法的演化 初步理解：梯度和反向传播首先我们尝试感性地理解反向传播。 在「基础的深度神经网络—从多层感知机开始」中了解神经网络的基本结构和特性后，很可能会好奇数据是如何在网络中流动的，这么复杂的网络是如何学习到能够适应环境的参数w？为什么一个静态的网络能够动起来学习到数据中的信息，这就不得不说到信息在神...
基础的深度神经网络—从多层感知机开始
神经网络的基础结构多层感知机，也称为MLP模型，是一种层次网络，包括了三个部分，输入层，输出层，和中间层/隐藏层；每一层都由特定个数的节点（又可称为神经元）构成。 每一个节点上的非线性函数称为激活函数，如果缺少了激活函数，神经网络无论有多少层都失去了意义，都只能描述线性关系。 最基础的MPL是只有一个隐藏层的全链接神经网络，这是最基本的神经网络架构类型。 在深度学习中，神经网络的结构通常包括输入层、隐藏层和输出层。其中，输入层的节点数需要与数据形状匹配，隐藏层的节点数需要根据实验和调整找到最佳的节点数，输出层的节点数通常根据任务的要求来定义。此外，激活函数也是神经网络中的重要...
随笔-游戏与工作
自从第一个原始部落形成，人类突破了生存这第一个门槛后，很多在生存阶段富有挑战性和冒险的事情有了路径依赖和明确的ROI，就变成了工作，这种充斥在权力金字塔和关系网络中的大大小小的分工，之所以叫它工作是因为：人类天生就不爱工作，人类爱的是一种可以获得金币和多巴胺的路径依赖。 世界的游戏性本质而那些充满变化的不确定性，挑战，得不到的可能性，或者美的感受和享受才真正可以激发人类主观上的热爱和能动性，获得新知，喜悦，荣誉，权力，这才是世界的游戏性本质。工作和职业只是效率导向流通中的间接性产物。 从效率逻辑中松动总有很大一部分工作在做着间接而又间接的事情，而这正是现在一个很矛盾的现象：我们一边嫌弃这...
Roadmap to becoming an Artificial Intelligence Expert in 2022
前言：对于一门复杂且快速迭代的学科，掌握知识的结构比掌握知识本身更重要，相信很多对数据科学和人工智能有兴趣的朋友一开始总免不了主动或被动的翻看各种大部头的技术书籍。由于技术书籍本身非常微观具体和颇有难度，self-learner往往容易深陷在某几个章节，要么难以持续，要么进展缓慢；倘若一开始，可以顺着一个全局的路线图来学习，本着循序渐进和有的放矢的节奏，那对于人工智能的学习理解会更加高效； AMAI GmbH是一家位于德国的软件公司，最近在GitHub上发布了一个名为“AI-Expert-Roadmap”的项目。该项目提供了全面的AI领域知识点，几乎涵盖了AI领域所有的内容。如果你想...