1、激活函数

激活函数为神经网络引入非线性，增强模型的表达能力，PyTorch 的激活函数位于 torch.nn（模块化）或 torch.nn.functional（函数式）模块中。

所有激活函数如下表：

2、损失函数

        损失函数衡量模型预测与真实标签的差异，用于指导优化，PyTorch 损失函数位于 torch.nn 模块

        所有损失函数如下表：