Ducky's Blog

宗教和科学从诞生就有着分道扬镳的发展哲学，宗教先知总是秉持的极度自洽和坚定的态度，而科学研究者则坚持怀疑批判和严谨的理论实证。但随着科技树的不断点亮，我们发现二者却又在一些问题上有些“殊途同归”，这种经常会让人陷入一种错乱：宗教和哲学解释性的话语权究竟如何，作为一个现代人该如何分辨和看待呢？ 宗教是实用主义的优胜劣汰 从宗教的诞生和发展来看，他并非看起来那样‘简单’，缺少理论根据。相反，尤其是对世界上的几大宗教来说，他们是接受了最漫长和严格的‘世俗审查’，无论理论是否站得住脚，他并不需要这样的东西，他能够存在下来就说明了一切； 根本上还是，我们也很难通过实验的方法来实证宗教的“解释”，因为作为宗教很难作为一种理论被验证--不能够阐述如可操作性定义、很难明确因素变量和结果之间的关系；而只能通过世俗社会的口口相传，亲身体验以及“政治联姻”这样的方式来传播和发展。 但是不能通过实验证实并不能说明宗教没有用，恰恰很多历史悠久的宗教中存在了很多无法通过目前科学方法完全解释的“智慧”。但是并非所有都是精华，这如同科学一样，需要一些辩证的态度。 宗教没有基于普世符号和基础逻辑的标准化的教义 ...

一个有趣的发现，大脑约靠近外侧和前方的部位功能越是可以感知的“图形操作界面”。这里主要就是我们所熟知的大脑皮层，负责处理所有我们能感知到的高级信息并形成决策和指令，有认知，计划，创作，欣赏，学习模仿等等这些我们非常熟悉和有知觉的行为。我们可以有意识的感知和控制。 而越靠近中心内核和下后部，就越是承担生物本能和“底层”的结构功能，这部分包括从丘脑开始，再到下丘脑垂体，以及小脑和脑干，这部分结构通过神经递质的管理对脑神经，脊神经进行控制，能够基于意识和无意识的信息对下游神经元受体，肌肉和皮肤等身体功能结构直接产生影响，实现调控。这里主要是人类生存的必要功能的“大管家”，你不用事无巨细的和他“对齐”，他就可以妥善和摆平一切处于基本生存状态的工作。比如呼吸、血压、吞咽、体温、精细的肌肉运动，平衡，睡眠周期等基础核心功能。 而 在二者的交界处，也就是大脑最深处和中心的区域（把大脑当作一个球），就是人类最区别于其他生物的复杂结构-边缘系统-人类具有最高级的边缘系统，但是这只是人类之所以是人类的特点，不一定就是完全的优点，进化总是在一些裂缝的地方修修补补。边缘系统和长短期记忆，情绪，动机等高级 ...

梯度下降在深度神经网络中的应用存在哪些问题 在基础篇中我们以线性分类器为例解释了反向传播算法的工作原理，但是在实际应用中却很少直接使用这种最原始的梯度下降反向传播算法；主要由于对于大规模的深度网络来说求解每个节点的梯度是非常大的计算量，且在更加复杂的损失函数空间中也会遇到难以逼近极值的问题； 梯度的维度-计算量有多大？ 由于梯度下降算法中梯度的维度是和参数维度完全相同的，所以我们先来感受参数量是一个什么样的概念，我们以一个全链接网络为例；下图表示了神经网络中某一层的一个感知机的计算过程（对应图中的红色矩形部分） 参数的右上角标表示这个感知机属于第几层，比如L是本层，L-1就是上一层；右下 角标表示在本层的第几个感知机（神经元/节点）； 对于一个感知机来说，本层需要输出一个；这里的个等于上一层L-1所有神经元的加权和，具体包括对应上层每个 i 神经元的 权重 「」乘以 上层的每个「」再分别加上偏置 ，得到; 最后对这个加权和 求一个激活函数（），得到本层第 i 个神经元的输出值： 。这就是第L层第 i 个感知机的整体呈现；关于海量的参数量： 将每一个感知机的输出值看做一个变量的话，上 ...

如何理解BP算法：从错误中学习，在传递中进化这个话题我们分为两部分，在「一」中我们主要讨论基础的反向传播和梯度下降原理。 初步理解：梯度和反向传播 反向传播要解决什么问题，是如何实现的 在「二」中我们将围绕梯度下降中出现的问题，对BP算法的发展演化做更具体的了解，从而对参数更新方法有更整体的了解。 梯度下降中的常见问题 BP算法的演化 初步理解：梯度和反向传播 首先我们尝试感性地理解反向传播。 在「基础的深度神经网络—从多层感知机开始」中了解神经网络的基本结构和特性后，很可能会好奇数据是如何在网络中流动的，这么复杂的网络是如何学习到能够适应环境的参数w？为什么一个静态的网络能够动起来学习到数据中的信息，这就不得不说到信息在神经网络中的流动的两种方向：前向传播和后向传播； 首先「正向传播」很好理解，顾名思义是指特征数据输入到网络后，数据与w和b产生计算，随着层层输出和处理，最终得到输出的结果y；而「反向传播」（BP:Backpropagation）则是把这个过程反过来，从最终的损失函数值出发，通过链式法和沿着梯度方向则将后一步的损失分摊到前一层的参数上，直到分摊到所有参数上； 为 ...

神经网络的基础结构 神经网络的层次性 激活与特征提取 多层感知机，也称为MLP模型，是一种层次网络，包括了三个部分，输入层，输出层，和中间层/隐藏层；每一层都由特定个数的节点（又可称为神经元）构成。 每一个节点上的非线性函数称为激活函数，如果缺少了激活函数，神经网络无论有多少层都失去了意义，都只能描述线性关系。 最基础的MPL是只有一个隐藏层的全链接神经网络，这是最基本的神经网络架构类型。 在深度学习中，神经网络的结构通常包括输入层、隐藏层和输出层。其中，输入层的节点数需要与数据形状匹配，隐藏层的节点数需要根据实验和调整找到最佳的节点数，输出层的节点数通常根据任务的要求来定义。此外，激活函数也是神经网络中的重要组成部分，常见的有Sigmoid、ReLU、Tanh、Softmax等。以下是神经网络的主要结构和构造方法： 输入层 输入层的节点数需要与数据形状（维度数量）匹配，否则模型将无法接收正确形状的输入数据。对于每个输入样本，它的特征数量就对应着输入层的节点数。例如，对于图像识别问题，输入层节点数通常等于图像的分辨率乘以通道数。如果图像分辨率为28x28像素，通道数为3（R ...

自从第一个原始部落形成，人类突破了生存这第一个门槛后，很多在生存阶段富有挑战性和冒险的事情有了路径依赖和明确的ROI，就变成了工作，这种充斥在权力金字塔和关系网络中的大大小小的分工，之所以叫它工作是因为：人类天生就不爱工作，人类爱的是一种可以获得金币和多巴胺的路径依赖。 而那些充满变化的不确定性，挑战，得不到的可能性，或者美的感受和享受才真正可以激发人类主观上的热爱和能动性，获得新知，喜悦，荣誉，权力，这才是世界的游戏性本质。工作和职业只是效率导向流通中的间接性产物。 总有很大一部分工作在做着间接而又间接的事情，而这正是现在一个很矛盾的现象：我们一边嫌弃这些狗屁工作，又同时担心这些工作被AI抢走。 这是因为人类游戏的精神，游戏的能力和经验，在长期的商业和效率环境下很难发育起来，总要考虑生存，效率，ROI来决定我们的行为；导致我们不得不做自己不喜欢的事情以换取报酬（再实现游戏性的追求），并且这个逻辑看起来似乎非常理所当然。然而，这并非唯一可行的逻辑，赚钱和做不喜欢的事情其实并没有必然的相关性。就像月亮其实抬头就可以看到，不需要先低头去捡六便士。 但是往往只有“游戏者”才能意识到这一点，而 ...