Regression

import torch

import matplotlib.pyplot as plt

import torch.nn.functional as F # 激勵函數都在這

x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1)

y = x.pow(2) + 0.2*torch.rand(x.size()) # noisy y data (tensor), shape=(100, 1)

#plt.scatter(x.data.numpy(), y.data.numpy())

#plt.show()

class Net(torch.nn.Module): # 繼承 torch 的 Module

def __init__(self, n_feature, n_hidden, n_output):

super(Net, self).__init__() # 繼承 __init__ 功能

# 定義每層用什麼樣的形式

self.hidden = torch.nn.Linear(n_feature, n_hidden) # 隱藏層線性輸出

self.predict = torch.nn.Linear(n_hidden, n_output) # 輸出層線性輸出

def forward(self, x): # 這同時也是 Module 中的 forward 功能

# 正向傳播輸入值, 神經網路分析出輸出值

x = F.relu(self.hidden(x)) # 激勵函數(隱藏層的線性值)

x = self.predict(x) # 輸出值

return x

net = Net(n_feature=1, n_hidden=10, n_output=1)

#print(net) # net 的結構

optimizer = torch.optim.SGD(net.parameters(), lr=0.5) # 傳入 net 的所有參數, 學習率

loss_func = torch.nn.MSELoss() # 預測值和真實值的誤差計算公式 (均方差)

for t in range(100):

prediction = net(x) # 喂給 net 訓練資料 x, 輸出預測值

loss = loss_func(prediction, y) # 計算兩者的誤差

optimizer.zero_grad() # 清空上一步的殘餘更新參數值

loss.backward() # 誤差反向傳播, 計算參數更新值

optimizer.step() # 將參數更新值施加到 net 的 parameters 上

if t % 5 == 0:

# plot and show learning process

plt.cla()

plt.scatter(x.data.numpy(), y.data.numpy())

plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)

plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color': 'red'})

plt.pause(0.1)

plt.ion()

plt.show()