模型训练之数据集操作：矩阵变换

对神经网络技术有所了解的人应该都知道，要想训练一个高性能的神经网络模型，除了神经网络本身的设计之外，还一个非常重要的前提就是数据集的质量问题；因此，打造一个高质量的数据集就是一个必不可少的过程。但具体怎么才能开发一个合格的数据集，这时就离不开对数据集的各种操作；而由于在神经网络中，数据的主要载体是多维数组，也就是矩阵；因此一般情况下，数据集的数据格式也会以矩阵的形式存在。而学会对矩阵的操作就是一个必不可少的技能之一；下面我们就以MINST数据集为例，来简单介绍一下对数据集的操作过程。

对神经网络技术有所了解的人应该都知道，要想训练一个高性能的神经网络模型，除了神经网络本身的设计之外，还一个非常重要的前提就是数据集的质量问题；因此，打造一个高质量的数据集就是一个必不可少的过程。

但具体怎么才能开发一个合格的数据集，这时就离不开对数据集的各种操作；而由于在神经网络中，数据的主要载体是多维数组，也就是矩阵；因此一般情况下，数据集的数据格式也会以矩阵的形式存在。

而学会对矩阵的操作就是一个必不可少的技能之一；下面我们就以MINST数据集为例，来简单介绍一下对数据集的操作过程。

模型训练之数据集操作：矩阵变换

数据集操作

MINST数据集是一个经典的数据集，其内容是一个手写数字识别的数据集；对学习神经网络技术的人来说，手写数字识别就相当于编程入门中的Hello World。

因此，了解MINST数据集也是学习神经网络技术的入门课程之一。

关于MINST数据集的下载方式，基本有两种选择；一种是自己手动下载，另一种是从pytorch官网下载，使用PyTorch的数据集API即可下载。

复制

from torchvision import datasets
# 执行以下代码即可从pytorch官网下载minst数据集到本地data目录
datasets.MNIST(root='data', train=True, download=True)

MINST数据集主要有四个压缩文件组成，分别由train开头的图片数据(images)和标签数据(labels)；以及t10k开头的测试图片数据(t10k-images)和标签数据(t10k-labels)组成。

模型训练之数据集操作：矩阵变换

MNIST数据集的具体内容是由0〜9手写数字图片和数字标签所组成的，由60000个训练样本和10000个测试样本组成，每个样本都是一张28 * 28像素的灰度手写数字图片。如下图所示。

模型训练之数据集操作：矩阵变换

由于下载的MINST数据集文件是已经处理好的矩阵格式，并且用二进制格式存储，因此无法直接使用文本工具打开。

而我们可以使用python提供的numpy工具包，或者pytorch提供的工具包来读取数据。

复制

import numpy as np
import gzip


with gzip.open("./MNIST/train-images-idx3-ubyte.gz", 'rb') as f:    
  x_train = np.frombuffer(f.read(), np.uint8, offset=16)    
  print("MINST数据集信息打印, 数据集内容：%s， 类型: %s, 长度: %s, 矩阵数据类型: %s, 形状: %s, 大小：%s, 维度: %s" % (x_train, type(x_train), len(x_train), x_train.dtype, x_train.shape, x_train.size, x_train.ndim))

以上代码输出结果如下，可以明显看出读取结果是一个一维数组；并且长度为47040000；不是说数据集是六万个28*28的手写数字图片吗？为什么会是一个47040000长度的一维数组。

模型训练之数据集操作：矩阵变换

原因就在于此数据集是经过处理之后的数据集，为了存储方便使用一维数组最简单；因此，在使用过程中需要把数据变换成一个三维矩阵，也就是升维的操作；47040000 / (28 * 28) = 60000。

复制

import numpy as np
import gzip
with gzip.open("./MNIST/train-images-idx3-ubyte.gz", 'rb') as f:
    x_train = np.frombuffer(f.read(), np.uint8, offset=16)
    print("MINST数据集信息打印, 数据集内容：%s， 类型: %s, 长度: %s, 矩阵数据类型: %s, 形状: %s, 大小：%s, 维度: %s" % (x_train, type(x_train), len(x_train),
        x_train.dtype, x_train.shape, x_train.size, x_train.ndim))    
    # 矩阵变换
    x_train = x_train.reshape(-1, 28, 28)
    print("MINST数据集信息变换之后打印, 数据集内容：%s， 类型: %s, 长度: %s, 矩阵数据类型: %s, 形状: %s, 大小：%s, 维度: %s" % (    x_train, type(x_train), len(x_train),    x_train.dtype, x_train.shape, x_train.size, x_train.ndim))

结果如下图所示：

模型训练之数据集操作：矩阵变换

经过变换之后，打印矩阵并显示图片：

复制

import numpy as np
import gzip
from PIL import Image
with gzip.open("./MNIST/train-images-idx3-ubyte.gz", 'rb') as f:
    x_train = np.frombuffer(f.read(), np.uint8, offset=16)    
    print("MINST数据集信息打印, 数据集内容：%s， 类型: %s, 长度: %s, 矩阵数据类型: %s, 形状: %s, 大小：%s, 维度: %s" % (x_train, type(x_train), len(x_train),          x_train.dtype, x_train.shape, x_train.size, x_train.ndim))    
    x_train = x_train.reshape(-1, 28, 28)    
    print("MINST数据集信息变换之后打印, 数据集内容：%s， 类型: %s, 长度: %s, 矩阵数据类型: %s, 形状: %s, 大小：%s, 维度: %s" % (    x_train, type(x_train), len(x_train),    x_train.dtype, x_train.shape, x_train.size, x_train.ndim))    
    print(len(x_train), x_train[0])    
    # 转换为图片 并显示    
    pil_img = Image.fromarray(np.uint8(x_train[0]))    
    pil_img.show()

执行以上代码用户即可输出手写数字图片。

模型训练之数据集操作：矩阵变换

数据集操作

相关资讯

从一个简单的神经网络模型开始

再谈什么是神经网络，透过现象看本质

怎么实现一个神经网络？神经网络的组成结构