- Tubelator AI
- >
- Videos
- >
- Education
- >
- Neural Networks from Scratch - Part 5: Hidden Layer Activation Functions
Neural Networks from Scratch - Part 5: Hidden Layer Activation Functions
Learn about hidden layer activation functions like rectified linear, step, and sigmoid functions in this video on neural networks. Explore the purpose and usage of these activation functions to deepen your understanding of neural networks. Dive into the topic with nnfs.io resources and enhance your knowledge.
Install Tubelator On Chrome
Video Summary & Chapters
No chapters for this video generated yet.
Video Transcript
What's going on everybody welcome to part 5 of the neural networks from scratch series.
In this video we're going to be getting into our activation functions.
Specifically in this video we're going to talk about the rectified linear as well as the step function and sigmoid functions.
And then we'll save the softmax probably for the next video.
As always this video is based on the book which you can get at nnfs.io
Oh, and with that, let's jump into it.
And first, let's just cover a overview
of what are these activation functions?
What are they doing?
Why are we using them?
And so on.
And first, we're gonna start with the step function,
otherwise known as the unit step function,
or possibly the Hevaside after Oliver Hevaside.
So let's get into that.
So for an activation function,
you can use a variety of different functions.
In this case, we're just gonna look
at a step function to start.
so a step function is very...
simple. The idea is if your input to this function is greater than zero, then the output
will be a one. Otherwise, the output is going to be a zero. So that's all there is to this
step function. And now let's consider using this step function as an activation function.
So now taking the step function and using it as an activation function, the way that
this works in your entire neural network is each neuron in the hidden layers and the output
layers will have this activation function and this comes into play after
you do the inputs times the weights plus the bias. So that value of inputs times
the weights plus the bias is what is being fed through your activation
function. So as you can see here as we tweak the weights we can see how that
impacts that output and the same thing is true with the bias as we tweak a
bias we can see what kind of changes might be made. The big takeaway here is
the output is quite literally a 0 or a 1, so given some pretty complex inputs and...
tweaking of weights and biases we can see that for sure the output of this
activation function is and will always be either a 0 or a 1, nothing more than
that. And this 1 here or a 0 or 1, the output from this activation function
that becomes the input to the next neurons. So on the macro level again
every neuron in your hidden layers as well as your output layer is going to
have an activation function associated. Now what's most common and what you'll
see and soon learn why. Generally the output layer is going to have a different activation
function than what you're using in your hidden layers, but for now we're just kind of showing
an example of a variety of step functions being used as activation functions in this
network. So with that in mind and in mind of the zero and one only outputs, that brings
us to the next activation function which is the sigmoid activation function. Now while
you can have a neural network with a activation function that's a step function.
It quickly became obvious.
that using something like a sigmoid activation function was a little more easy to train a
neural network or a little more reliable for training a neural network due to the granularity
of the output.
So again the sigmoid activation function comes in after you do the inputs times the weights
plus the bias.
Video Summary & Chapters
1. 神经网络激活功能概述
介绍神经网络激活功能及其作用
2. 步骤功能激活
讨论步骤功能作为激活功能的简单性和输出特性
3. 步骤功能输出特性
讨论步骤功能输出为0或1，作为下一神经元输入
4. Sigmoid激活功能介绍
探讨Sigmoid激活功能的优势和细微性
5. 神经网络损失计算
下一步是计算神经网络的错误和损失
6. 输出优化器问题
描述输出1不被优化器了解的问题
7. 修正线性单元激活函数
介绍修正线性单元激活函数的作用
8. Sigmoid激活函数问题
讨论Sigmoid激活函数的消失梯度问题
9. 激活函数用途
探讨为何在神经网络中使用激活函数的目的
10. 线性激活函数限制
讨论线性激活函数对非线性数据拟合的限制
11. 修正线性激活功能优势
解释修正线性激活函数的快速和强大之处
12. 工作原理
探讨修正线性激活函数的工作原理
13. 加强输入
了解如何增加体重来修正输入
14. 神经元激活
探讨神经元激活的影响
15. 隐藏层模型
分析具有两个隐藏层的神经元模型
16. 重量影响输出
探讨重量如何影响输出曲线
17. 改变激活点
调整神经元的激活点来改变输出轨道
18. 神经元激活与禁用
调整神经元激活和禁用区域
19. 神经元设置与曲线调整
使用神经元对应影像形状进行设置和调整
20. 神经元权重调整
补偿和正确排列神经元权重
21. 神经元连接与重量调整
调整连接和神经元重量
22. 神经元激活顶点设置
设置神经元激活顶点位置
23. 神经元激活功能适应
线性与非线性激活功能适应
24. 模拟输入范围
模拟输入范围激活发生地点
25. 神经元的功能和输出
整体神经网络功能和输出的探讨
26. 神经元的激活作用
探讨神经元激活对整体神经网络功能的影响
27. 深度学习挑战
解释神经网络行为和挑战，以及对人工智能决策的引导
28. 神经网络的构建
探讨从底层构建神经网络的重要性和目的
29. 隐藏层神经元调整
讨论隐藏层神经元之间的重量调整和优化
30. 神经元数量与改进
神经元数量与性能改进的关系探讨
31. 神经元的协作
神经元之间的协作和影响范围的讨论
32. 非线性隐藏层
探讨为解决非线性问题而使用多个隐藏层的必要性
33. 激活功能
学习修正线性激活函数的实现
34. 修正线性对象
编写修正线性单元对象的前向方法
35. 活性激活功能
实现修正线性单元激活函数
36. 层组织
讨论如何组织不同类型的层
37. NNFS包装
介绍使用NNFS包装的方法
38. 创建代码文件
使用NNFS工具创建代码文件
39. 获取样本代码
介绍如何获取样本代码和使用GitHub页面
40. NNFS包的用途
探讨使用NNFS包的主要原因和目标
41. 设置随机种子
讨论设置随机种子和默认数据类型
42. 数据类型设置
解释设置默认数据类型为NumPy的重要性
43. 重新设置数据
说明使用NNFS包重新设置数据集的过程
44. 生成数据集
展示如何使用功能生成数据集
45. 课程回顾
回顾课程内容和学习神经网络的重要性
46. 挑战性数据集的染色
数据集挑战，染色使其更加明显
47. 导入和创建数据集
导入并创建螺旋数据集的功能和标签
48. 删除神经网络层
删除一层神经网络层的审查和提醒
49. 独特功能描述
数据集中两个独特功能的描述
50. 层面一个
定义神经网络中的第一个隐藏层
51. 激活功能定义
介绍神经网络中的激活功能
52. 层1前进
将数据传递到第一个隐藏层
53. 消极值处理
处理神经网络中的消极值问题
54. 解决网络死亡
解决神经网络中所有值为零的问题
55. 激活功能重要性
探讨激活功能的作用及重要性
56. 培训全路
总结神经网络培训的过程
Video Transcript
正在发生什么,欢迎大家进入第五部分神经网络从切断系列。
在这个视频中,我们将进入我们的激活功能。
具体而言,在本视频中,我们将谈论修正的线性以及步骤功能和 Sigmoid功能。
然后我们将保存 softmax 可能为下一个视频。
像往常一样,这个视频是基于你可以在 nnfs.io 获得的书籍。
哦,与此同时,让我们跳进它。
首先,让我们来讲一个概述。
这些激活功能是什么?
他们正在做什么?
我们为什么使用它们?
那么就这样。
首先,我们将从步骤功能开始,
另一方面,被称为单元步骤功能,
也许是奥利弗·赫瓦西德之后的哈瓦西德。
所以,让我们进入这一点。
因此,对于一个激活功能,
你可以使用各种不同的功能。
在这种情况下,我们只会看
在一个步骤的功能开始。
因此,步骤功能非常简单。
想法是,如果您的输入到这个函数大于零,那么输出将是一个
否则,输出将是零。
所以这就是这个步骤功能,现在让我们考虑使用这个步骤功能作为激活功能。
所以现在采取步骤功能并使用它作为一个
激活功能,它在整个神经网络中运作的方式是
每一个神经元在隐藏层和输出层
将有这个激活功能,
然后,你在输入后进入游戏。
有时,重量加上偏见。
因此,输入的值加倍重量加上偏见
它是通过你的激活功能被喂养的。
正如你所看到的那样,当我们推翻重量时,
我们可以看到它如何影响这个产量,
对偏见也是如此。
当我们推翻偏见时,我们可以看到什么样的变化。
可以做。这里的主要 takeaway是输出相当字面为0或1。
一些相当复杂的输入和重量和偏见,我们可以肯定看到
这个激活功能的输出是并将永远是0或1。
和这个 1 这里,或 0 或 1 这个激活功能的输出,
这将成为下一个神经元的输入。因此,在宏观层面,再次,每一个神经元
在您的隐藏层以及您的输出层将有启动功能
现在,什么是最常见的,你会看到什么,很快就了解为什么,一般来说,
输出层将具有与您正在使用的活动不同的激活功能
在你隐藏的层面上,但现在我们只是展示各种例子。
在这个网络中使用步骤功能作为激活功能。
而且,考虑到只有0和1的输出,这将使我们进入下一个激活功能。
这是 Sigmoid 激活功能。
现在,虽然您可以有一个神经网络,具有激活功能,这是一个步骤功能,
很快就显然,使用像 Sigmoid 激活功能的一些东西是很少的。
更容易训练神经网络或更可靠的训练神经网络
Video Summary & Chapters
No chapters for this video generated yet.
Video Transcript
正在发生什么,欢迎大家进入第五部分神经网络从切断系列。
在这个视频中,我们将进入我们的激活功能。
具体而言,在本视频中,我们将谈论修正的线性以及步骤功能和 Sigmoid功能。
然后我们将保存 softmax 可能为下一个视频。
像往常一样,这个视频是基于你可以在 nnfs.io 获得的书籍。
哦,与此同时,让我们跳进它。
首先,让我们来讲一个概述。
这些激活功能是什么?
他们正在做什么?
我们为什么使用它们?
那么就这样。
首先,我们将从步骤功能开始,
另一方面,被称为单元步骤功能,
也许是奥利弗·赫瓦西德之后的哈瓦西德。
所以,让我们进入这一点。
因此,对于一个激活功能,
你可以使用各种不同的功能。
在这种情况下,我们只会看
在一个步骤的功能开始。
因此,步骤功能非常简单。
想法是,如果您的输入到这个函数大于零,那么输出将是 1
否则,输出将是0,所以只有这个步骤功能。
现在,让我们考虑使用这个步骤功能作为激活功能。
所以现在采取步骤功能并使用它作为激活功能。
它在你的整个神经网络中运作的方式是
每一个神经元在隐藏层和输出层
将有这个激活功能,
然后,你在输入后进入游戏。
有时,重量加上偏见。
因此,输入的值加倍重量加上偏见
它是通过你的激活功能被喂养的。
正如你所看到的那样,当我们推翻重量时,
我们可以看到它如何影响这个产量。
对偏见也是如此。
当我们推翻偏见时,我们可以看到什么样的变化。
可以做。这里的主要 takeaway是输出相当字面为0或1。
一些相当复杂的输入和重量和偏见,我们可以肯定看到
这个激活功能的输出是并将永远是0或1。
和这个 1 这里,或 0 或 1 这个激活功能的输出,
这将成为下一个神经元的输入。因此,在宏观层面,再次,每一个神经元
在您的隐藏层以及您的输出层将有启动功能
现在,什么是最常见的,你会看到什么,很快就了解为什么,一般来说,
输出层将具有与您正在使用的活动不同的激活功能
在你隐藏的层面上,但现在我们只是展示各种例子。
在这个网络中使用步骤功能作为激活功能。
而且,考虑到只有0和1的输出,这将使我们进入下一个激活功能。
这是 Sigmoid 激活功能。
现在,虽然您可以有一个神经网络,具有激活功能,这是一个步骤功能,
很快就显然,使用像 Sigmoid 激活功能的一些东西是很少的。
更容易训练神经网络或更可靠的训练神经网络
