0 简介

1 张量的概念和生成

2 自动微分

2.1 Tensor类

2.2 梯度

3 神经网络

3.1 定义网络

3.2 查看模型参数

3.3 测试网络

3.4 损失函数更新权重

4 训练分类器

4.1 数据处理生成Dataload

4.2 定义卷积网络

4.3 定义损失函数

4.4 遍历DataLoader进行训练

4.5 测试

5 GPU训练

0 简介

跟numpy功能一样，但可以GPU加速，和numpy可以相互转化。

1 张量的概念和生成

张量是torch里的多维数组，和numpy中的ndarrays相似

生成张量的方法：

空张量

# 这个是用来生成一个为未初始化的5*3的张量，切记不是全零
x = torch.empty(5, 3

随机化0-1张量

# 这个是生成一个均匀分布的初始化的，每个元素从0~1的张量，与第一个要区别开，另外，还有其它的随机张量生成函数，如torch.randn()、torch.normal()、torch.linespace()，分别是标准正态分布，离散正态分布，线性间距向量
x = torch.rand(5, 3)

全0张量

# 这个是初始化一个全零张量，可以指定每个元素的类型。
x = torch.zeros(5, 3, dtype=torch.long)

已有矩阵转化为张量

x = torch.tensor([5.5, 3])

size函数来看它的shape

print(x.size())

张量加法

print(torch.add(x, y))

张量的大小

print(x.item())

torch转numpy

在使用Cpu的情况下，张量和array将共享他们的物理位置，改变其中一个的值，另一个也会随之变化。

a = torch.ones(5)
b = a.numpy()

numpy转torch

a = np.ones(5)
b = torch.from_numpy(a)

GPU下转化

if torch.cuda.is_available():device = torch.device("cuda")          # a CUDA device objecty = torch.ones_like(x, device=device)  # directly create a tensor on GPUx = x.to(device)                       # or just use strings ``.to("cuda")``z = x + y

2 自动微分

在pytorch中，神经网络的核心是自动微分

2.1 Tensor类

orch.Tensor 是这个包的核心类。如果它的属性requires_grad是True，那么PyTorch就会追踪所有与之相关的operation。当完成(正向)计算之后，我们可以调用backward()，PyTorch会自动的把所有的梯度都计算好。与这个tensor相关的梯度都会累加到它的grad属性里。

如果不想计算这个tensor的梯度，我们可以调用detach()，这样它就不会参与梯度的计算了。为了阻止PyTorch记录用于梯度计算相关的信息(从而节约内存)，我们可以使用 with torch.no_grad()。这在模型的预测时非常有用，因为预测的时候我们不需要计算梯度，否则我们就得一个个的修改Tensor的requires_grad属性，这会非常麻烦。

关于autograd的实现还有一个很重要的Function类。Tensor和Function相互连接从而形成一个有向无环图, 这个图记录了计算的完整历史。每个tensor有一个grad_fn属性来引用创建这个tensor的Function(用户直接创建的Tensor，这些Tensor的grad_fn是None)。

如果你想计算梯度，可以对一个Tensor调用它的backward()方法。如果这个Tensor是一个scalar(只有一个数)，那么调用时不需要传任何参数。如果Tensor多于一个数，那么需要传入和它的shape一样的参数，表示反向传播过来的梯度。

创建tensor时设置属性requires_grad=True，PyTorch就会记录用于反向梯度计算的信息：

    x = torch.ones(2, 2, requires_grad=True)print(x)

然后我们通过operation产生新的tensor：

y = x + 2
print(y)

是通过operation产生的tensor，因此它的grad_fn不是None。

    print(y.grad_fn)# <AddBackward0 object at 0x7f35409a68d0>

再通过y得到z和out

    z = y * y * 3out = z.mean()print(z, out)# z = tensor([[ 27.,  27.],[ 27.,  27.]]) # out = tensor(27.)

requires_grad_()函数会修改一个Tensor的requires_grad。

a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)
输出：FalseTrue<SumBackward0 object at 0x7f35766827f0>