使神经网络可以学习和表示更加复杂的非线性关系Saturday, December 30, 2023mql4编程举动一名次第员，咱们民俗于去领悟所运用东西、中央件的底层道理，本文则旨正在援手大众领悟模子的底层机造，让大众正在研习或操纵各式大模子时愈加八面后珑，愈加适合没有 AI 本原的小伙伴们。

　　GPT 念必大众依然耳熟能详，当咱们与它实行对话时，平日只需闭切己方问出的题目（输入）以及 GPT 给出的谜底（输出），对付输出实质是怎么出现的，咱们一问三不知，它就像一个奥密的黑盒子。

　　GPT 是一种基于神经汇集的自然发言经管（NLP）模子，运用大方数据输入神经汇集对模子实行熬炼，直到模子的输出正在必定水平上适当咱们的预期，熬炼成熟的模子就能够回收用户的输入，并针对输入中的闭头消息给出过程 “考虑” 后的谜底。念要弄清楚 GPT 本相是怎么 “考虑” 的，或者咱们能够从神经汇集启航。

　　那么，神经汇集毕竟是什么呢？或者说，为什么是神经汇集？高中的生物学告诉咱们，人类的神经体系由数以亿计的神经元贯穿而成，它们是生物学上的细胞，有细胞体、树突、轴突等苛重布局，差别神经元之间的树突与轴突通过突触与其他神经元互相贯穿，变成丰富的人脑神经汇集。为了使呆板得到亲近人类的智力，测试效仿人脑的考虑历程，创设出了一种步武人脑神经元之间互相贯穿的计较模子 —— 神经汇集。它由众层神经元构成，每个神经元回收输入并出现相应的输出。依据上述界说，图 1 中黑盒子的内部布局已初具轮廓，下图中的每个圆圈都代外一个神经元，神经元具有计较技能，能够将计较出来的结果通报到下一个神经元。

　　正在生物学中，大脑的布局越单纯，智力也就越低；相应地，神经体系越丰富，能经管的题目越众，智力也就越高。人工神经汇集也是如许，越丰富的汇集布局计较技能越宏大，这也是为什么起色出了深度神经汇集。之因此被称为 深度，是由于它具有众个窜伏层（即上图中纵向神经元的层数），相对付守旧的浅层神经汇集，深度神经汇集具有更众的层级布局。熬炼深度神经汇集的历程就叫做深度研习。构筑好深度神经汇集之后，咱们只必要将熬炼数据输入到神经汇集中，它就会自觉地研习数据中的特性。好比说咱们念要熬炼一个深度神经汇集来识别猫，只必要将大方差别品种、差别神情、差别外观的猫的图片输入到神经汇集中让它研习。熬炼告捷后，咱们将一张任性的图片输入到神经汇集中，它会告诉咱们内里是否有猫。

　　今朝，咱们依然领会了什么是神经汇集以及它的基础布局，那么神经汇集中的神经元是怎么对输入数据实行计较的呢？

　　正在此之前，咱们要处理一个题目：数据是怎么输入到神经汇集中的？下面以图像和文本类型的数据为例批注。

　　设念一个画面：当咱们把一张图片放大到必定水平时，能够看到一格一格的小方块。这个小方块就称为像素点，一张图片的像素点越众，解说像素越高，图片越明确。每个像素点仅由一种颜色组成，光学中的三原色蕴涵血色、绿色、蓝色，通过差别水平地搀杂这三种颜色能够出现出整个其他颜色。正在 RGB 模子中，每种颜色的强度能够用一个数值来流露，平日正在 0 到 255 之间。血色的强度值为 0 流露没有血色光，255 流露最大强度的血色光；绿色和蓝色的强度值也是好似的。为了存储一张图像，计较机要存储三个独立的矩阵，这三个矩阵分辩与图像的血色、绿色和蓝色的强度相对应。借使图像的巨细是 256 * 256 个像素，那么正在计较机中运用三个 256 * 256 的矩阵（二维数组）就能流露这张图像。能够设念将三个矩阵流露的颜色重叠堆放正在一块，便可流露出图像的原始样貌。今朝咱们获得了图像正在计较机中的流露方法，那么怎么将它输入到神经汇集呢？平日咱们会把上述三个矩阵转化为一个向量，向量能够领悟成 1 * n（行向量）或 n * 1（列向量）的数组。那么这个向量的总维数即是 256 * 256 * 3，结果是 196608。正在人工智能范围中，每一个输入到神经汇集的数据都被叫做一个特性，那么上面的这张图像中就有 196608 个特性。这个 196608 维的向量也被叫做特性向量。神经汇集回收这个特性向量举动输入，并实行预测，然后给出相应的结果。

　　文本是由一系列字符构成的，开始必要将文本划分成成心义的单词，这个历程称为分词。正在分词后，构筑一个由涌现的整个单词或片面高频单词构成的词汇外（也能够运用已有的词汇外）。词汇外中的每个单词城市被分派一个独一索引，云云能够将文本转换为离散的符号序列，简单神经汇集实行经管。正在输入神经汇集之前，平日会将文本的符号序列转换为茂密的向量流露。以文本 “How does neural network works?” 为例：

　　至此咱们依然领会了数据以怎么的方法输入到神经汇集中，那么神经汇集是怎么依据这些数据实行熬炼的呢？

　　开始鲜明模子熬炼和预测的区别：熬炼是指通过运用已知的数据集来调治模子的参数，使其或许研习到输入和输出之间的闭联；预测是指示用熬炼好的模子来对新的输入数据实行预测。

　　此中，x流露特性向量，w是特性向量的权重，流露每个输入特性的苛重水平，b流露阈值，用于影响预测结果。公式中的 dot () 函数流露将 w和 x实行向量相乘。举例：借使一个输入数据有 i个特性，代入公式计较结果为：

　　怎么领悟这个公式呢？假设你必要计划周末是否去公园荡舟，你对此迟疑不决，必要神经汇集帮你做决计。决计是否去荡舟有三个成分：气候是否明朗和善、场所是否遐迩适中、同行玩伴是否合心意。现实境况是出行那天气候为阴且偶有阵风、场所正在 20km 外的偏远郊区、同行玩伴是心仪已久的大帅哥。这三个成分即为输入数据的特性向量 x=[x1, x2, x3]，咱们必要依据特性对结果的影响来设备特性值，如 “气候欠好” 和 “场所偏远” 对结果具有负向的影响，咱们能够把它设为 - 1，“同行玩伴是心仪已久的大帅哥” 较着对结果有大大的正向影响，能够把它设为 1，即特性向量 x=[-1, -1, 1]。接下来，必要依据你的偏好来设备三个特性的权重，也即是每个成分对你最终计划的影响水平。借使你不正在乎气候和场所，只须与大帅哥同行便风雨无阻，那么能够将权重设备为 w=[1, 1, 5]；借使你是个懒狗，那你或许会设备权重为 w=[2, 6, 3]；总之，权重是依据对应特性的苛重水平来确定的。咱们选取第一组权重 w=[1, 1, 5]，特性向量为 x=[-1, -1, 1]， 并设备阈值 b=1，假设结果 z ≥ 0 流露去，z0，所以神经汇集给出的预测结果是：去公园荡舟。

　　性质上是一种逻辑回归，用于将输入数据映照到二分类的概率输出。逻辑回归平日运用一个特定的激活函数来告终将 z值到 [0, 1] 的映照闭联，即 Sigmoid 函数，它将线性变换的结果通过非线性映照转化为概率值。平日，大于等于 0.5 的概率值被视为正类，小于 0.5 的概率值被视为负类。Sigmoid 函数的公式和图像如下所示：

　　除了能将结果输出规模左右正在 0 到 1 之间，Sigmoid 函数（或其他激活函数）此外一个苛重功用即是将线性变换的结果实行非线性映照，使神经汇集能够研习和流露愈加丰富的非线性闭联。借使没有激活函数，神经汇集只可处理单纯的线性题目；列入激活函数之后，只须层数足够众，神经汇集就能处理整个题目，所以激活函数是必不行少的。

　　耗费函数用于权衡模子的预测结果与真正标签之间的偏差。通过将预测值与真正值实行较量，耗费函数供应了一个数值目标，反应了模子目前的预测本能。较小的耗费值流露模子的预测结果与真正标签更亲近，而较大的耗费值流露预测偏差较大。下面先容一个常用于二分类题目的耗费函数（对数耗费）：

　　神经汇集研习的主意，即是通过调治模子的参数使耗费函数到达最小值，从而改观模子的预测本能，这个历程也称为模子的熬炼。梯度降低算法能够处理这一题目，通过该算法找到适合的 w（特性的权重）和 b（阈值），梯度降低算法会一步一步地转折 w 和 b的值，使耗费函数的结果越来越小，也即是使预测结果更精准。

　　这里必要留神的是，借使研习率设备过小，则必要众次梯度降低智力来到最低点，糜掷呆板运转资源；借使设备过大，则或许错过最低点直接到了图中左侧的点位，所以必要依据现实境况选取一个精确的研习率。

　　神经汇集的计较历程苛重有两个措施：正向宣扬和反向宣扬。正向宣扬用于计较神经元的输出，也即是上述对输入特性实行加权乞降、并通过激活函数实行非线性变换的历程；反向宣扬用于更新优化模子参数，通过计较耗费函数闭于模子参数的梯度，从输出层向输入层反向宣扬梯度的历程（反向宣扬涉及大方的数学计较，感有趣的读者能够深刻领悟）。

　　综上所述，神经汇集熬炼和研习的历程实在即是对模子参数实行陆续调优、删除预测耗费值历程。过程充塞熬炼后，模子或许从输入数据中研习到有用的特性流露和权重分派，从而或许对未睹过的数据实行正确的预测。熬炼竣事的神经汇集模子能够操纵于各式现实题目。好比，正在图像分类做事中，卷积神经汇集能够依据输入图像的特性主动识别物体或图案；正在自然发言经管做事中，轮回神经汇集能够领悟和天生文本；正在推举体系中，众层感知机神经汇集能够依据用户的史册行径实行脾气化推举。

转载请注明出处。