机器学习周报(8.19-8.25

news/2024/9/13 12:51:54 标签: 机器学习

文章目录

    • 摘要
    • Abstract
    • 1.PyTorch环境的配置及安装
      • 使用PyCharm配置环境
      • 安装配置jupyter
    • 2.两个Python常用函数
    • 3.DataSet
    • 4.TensorBoard的使用
      • 绘制一幅坐标图
      • 使用tendorboard对一幅图片进行操作
    • 5.torchvison中的transforms
    • 总结

摘要

在之前学习了一些机器学习相关理论之后，本周进行了一些简单的代码实操学习，学习了PyTorch环境的配置及安装，学习了DataSet类对图像数据的处理，简单学习了TensorBoard的安装与使用，实操了一些常见的Transforms对图像的变换操作

Abstract

After learning some theories related to machine learning, I have done some simple code operation learning this week, including the configuration and installation of PyTorch environment, the processing of image data by DataSet class, and the installation and use of TensorBoard. Some common Transforms to images are implemented

1.PyTorch环境的配置及安装

安装Anaconda，网址：https://www.anaconda.com/

安装成功之后，打开Anaconda的命令窗口，左侧有base代表安装成功

在这里插入图片描述在这里插入图片描述

在做不同的项目时，可能遇到不同版本的环境，比如这个项目用到pytorch 0.4，另一个项目用到pytorch 1.0，若你卸载了0.4，安装1.0版本，再碰到0.4版本，就要又卸载1.0版本，安装0.4版本。

Anaconda集成的conda包，创造出两个“房子”，一个是0.4版本，一个是1.0版本，需要哪个版本就使用哪个。

使用conda指令，创建一个“屋子”，-n后面是屋子的名字（可以自己起），python=3.8是python3.8版本。

conda create -n pytorch python=3.8

在这里插入图片描述

conda activate pytorch 激活这个环境
pip list 查看这个环境中的工具包

在这里插入图片描述

接下来安装pytorch，网址：https://pytorch.org/

在这里插入图片描述

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

检验安装是否成功

使用torch.cuda.is_available()来验证计算机的GPU是否可以被pytorch使用

在这里插入图片描述

使用PyCharm配置环境

  • 创建一个pytorch项目

在这里插入图片描述

在Python Console中进行一下输入

在这里插入图片描述
跟在命令行里一样，判断GPU是否可以被pytorch使用

在这里插入图片描述

安装配置jupyter

打开Anaconda命令行，执行

conda activate pytorch
conda install nb_conda (安装一个包
jupyter notebook (启动jupyter

在这里插入图片描述

2.两个Python常用函数

dir()：打开，看见（让我们知道工具箱以及工具箱中的分隔区有什么东西）

help()：说明书

在这里插入图片描述

例如：dir(torch)可以查看torch下面的一些工具
在这里插入图片描述

对于help()函数，可以让我们知道每个工具是如何使用的，工具的使用方法。（查看的是官方使用文档

在这里插入图片描述

3.DataSet

  • DataSet

DataSet：提供一种方式去获取数据及其label

  1. 如何获取每一个数据及其label
  2. 告诉我们总共有多少个数据

同时对于数据集的组织形式，有两种方式：

  1. 文件夹的名字，就是数据的label
  2. 文件名和label，分别处在两个文件夹中，label可以用txt的格式进行存储

在这里插入图片描述

比如：以下图片的label就是ants
在这里插入图片描述

from torch.utils.data import Dataset
from PIL import Image
import os

'''
定义一个class类，继承 Dataset （from torch.utils.data import Dataset）
在类中，定义三个函数:
分别是：初始化 init、获得每一个数据 getitem、数据长度 len。
其中：
1.init：图片所在根路径，标签名，合并路径，将文件夹中的所有图片名字做成一个列表
2.getitem：从列表中逐一取出图片名字，命名为name，再次合并路径，并且把文件名连接在路径之后
用PIL中的Image.open函数，读取（加载）上述路径的文件（命名为img）（这里肯定是图像了），返回 图像img和标签 label（这是getitem的工作）
3.最后用len（）返回列表的长度。
'''

class MyData(Dataset):

    def __init__(self,root_dir,label_dir):
        self.root_dir = root_dir
        self.label_dir = label_dir
        self.path = os.path.join(self.root_dir,self.label_dir)
        self.img_path = os.listdir(self.path)

    def __getitem__(self, idx):
        img_name = self.img_path[idx] #获取每一张图片的名字
        img_item_path = os.path.join(self.path,img_name) #获取某一张图片的相对路径
        img=Image.open(img_item_path)
        label=self.label_dir
        return  img,label

    def __len__(self):
        return len(self.img_path)

'''
定义好MyData类之后，进行实例化这个类，定义参数（一个路径，加一个标签名）
引用之前定义的类，把上述参数，传递进去
'''

#蚂蚁的数据集
root_dir = "dataset/train"
ants_label_dir = "ants"

ants_dataset = MyData(root_dir,ants_label_dir)


#蜜蜂的数据集
bees_label_dir = "bees"
bees_dataset = MyData(root_dir,bees_label_dir)

#将两个数据集进行拼接
train_dataset = ants_dataset + bees_dataset

4.TensorBoard的使用

绘制一幅坐标图

安装TensorBoard的package

pip install tensorboard

from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter("logs")
# y=x

for i in range(100):
    writer.add_scalar("y=x" ,i, i)

writer.close()

执行完上述代码会在项目中生成一个logs为名字的事件文件。
接下来执行该事件文件在终端中执行：

tensorboard --logdir=logs --port-6007
注意：logdir=事件文件所在的文件夹名（注意路径问题）,可通过port来进行设置端口号

在这里插入图片描述

使用tendorboard对一幅图片进行操作

注意SummaryWriter的函数add_image 传入参数及其格式问题
在这里插入图片描述
在这里插入图片描述

使用numpy.array()，对PIL图片进行转换

在这里插入图片描述

from torch.utils.tensorboard import SummaryWriter
from PIL import Image
import numpy as np

'''
定义一个变量=一张图片的相对路径
用PIL中的Image.open函数，读取（加载）上述路径的文件（命名为img_PIL,格式为PIL.JpegImagePlugin.JpegImageFile）
使用numpy.array()将PIL格式转换为array格式
查看writer.add_image()官方文档 查看例子使用
注意：从PIL到numpy，需要在add_image()中指定shape中每一个数字/维表示的含义(dataformats='HWC',图片的高度，宽度，维度)
'''

writer = SummaryWriter("log_1")

img_path = "data/train/ants_image/0013035.jpg"
img_PIL = Image.open(img_path)
img_array = np.array(img_PIL)
print(type(img_array))
print(img_array.shape)

writer.add_image("test", img_array, 1, dataformats='HWC')
writer.close()

在这里插入图片描述

改变title，step，这样可以在训练的时，很方便的看到给modle哪些数据，可以看到每个阶段的输出结果，还可以观察不同step的显示结果

在这里插入图片描述

5.torchvison中的transforms

transforms是一个transforms.py文件，里面有很多类和函数，可以查看官方文档查看使用

在这里插入图片描述

对于tensor数据类型，是我们在训练model时，使用十分方便的类型，里面包含了许多训练model要用的变量
在这里插入图片描述

  • ToTensor的使用

以transforms.ToTensor为例，以为为python中transforms使用，transforms.ToTensor()是一个类，返回一个对象，通过类中的函数实现具体功能

在这里插入图片描述

from torchvision import transforms
from torch.utils.tensorboard import SummaryWriter
from PIL import Image

img_path = "data/train/bees_image/90179376_abc234e5f4.jpg"
img_PIL = Image.open(img_path)

#transforms该如何使用（python）
img_tentor = transforms.ToTensor()
img = img_tentor(img_PIL)

writer = SummaryWriter("log_2")
writer.add_image("tentor_demo",img)
writer.close()

在这里插入图片描述

  • Normalize的使用

Normalize a tensor image with mean and standard deviation.

# Normalize
trans_norm = transforms.Normalize([1, 0.5, 2], [2, 0.1, 0.2])
img_norm = trans_norm(img)
# print(img_norm)

writer.add_image("norm_demo", img_norm, 2)

在这里插入图片描述

  • Resize的使用
# Resize
print(img_PIL.size)
trans_resize = transforms.Resize((256, 256))
# img PIL -> resize -> img_resize PIL
img_resize = trans_resize(img_PIL)
# img_resize PIL -> totensor -> img_resize tensor
img_resize = trans_totensor(img_resize)
writer.add_image("resize", img_resize, 0)
print(img_resize)

在这里插入图片描述

  • Compose使用，对图片组合几种转换一起操作
# Compose-resize
trans_resize2 = transforms.Resize(512)
# PIL -> PIL resize -> tensor resize 其实是一个两步变换，要主要输入的图片的格式
trans_compose=transforms.Compose([trans_resize2,trans_totensor])
img_compose = trans_compose(img_PIL)
writer.add_image("resize", img_compose, 1)

在这里插入图片描述
在这里插入图片描述

  • RandomCrop使用，随机裁剪图片
# RandomCrop
trans_RandomCrop = transforms.RandomCrop(256)
trans_compose_2 = transforms.Compose([trans_RandomCrop, trans_totensor])
for i in range(10):
    img_crop = trans_compose_2(img_PIL)
    writer.add_image("RandomCrop", img_crop, i)

总结

本周进行了PyTorch的相关学习，但是对于TensorBoard部分的实际应用，


http://www.niftyadmin.cn/n/5621959.html

相关文章

多线程面试常问

多线程面试常问

一、创建线程的几种方式 1、继承Thread类并重写run()方法。 public class MyThread extends Thread {Overridepublic void run() {System.out.println("通过集成 Thread 类实现线程"); } } // 如何使用 new MyThread().start() 2、实现Runnable接口并重写run()方法…
阅读更多...
Nginx原理及应用

Nginx原理及应用

Nginx 是一款广泛使用的高性能 Web 服务器和反向代理服务器，它在 Java 开发中通常用于前端负载均衡和服务路由。 Nginx 工作原理 事件驱动架构： Nginx 使用高效的事件驱动模型来处理请求，这意味着它可以同时处理成千上万个并发连接而不会显著…
阅读更多...
.net maui安卓开发中使用明文传输（一）

.net maui安卓开发中使用明文传输（一）

背景：最近在做一个pad上的项目，目的是执行每日点检功能（就是检查设备的各项保养指标）；前期用HBuilder做了一个，但是现场的触摸屏选用的是TouchPie 安卓版本是6.0版本，上次开发的软件可以在安卓7.0上完美兼容，但由于触摸屏安卓版本太低不能兼容；询问厂商才知道这款触摸…
阅读更多...
如何禁止编辑PDF文件？推荐两种方法！

如何禁止编辑PDF文件？推荐两种方法！

在日常工作中，我们经常会遇到需要分享重要的PDF文件的情况，但又希望文件内容不被随意更改。为此，设置PDF文件的修改限制是一个非常有效的措施。今天分享两种常见的禁止修改PDF的方法，一起来看看如何设置。 方法一：使用…
阅读更多...
叉车（工业车辆）安全管理系统，云端监管人车信息运营情况方案

叉车（工业车辆）安全管理系统，云端监管人车信息运营情况方案

近年来，国家和各地政府相继出台了多项政策法规，从政策层面推行叉车智慧监管，加大叉车安全监管力度。同时鼓励各地结合实际，积极探索智慧叉车建设，实现作业人员资格认证、车辆状态认证、安全操作提醒、行驶轨迹监控等&a…
阅读更多...
Python知识点：如何使用MySQL与PyMySQL进行数据库操作

Python知识点：如何使用MySQL与PyMySQL进行数据库操作

使用MySQL与PyMySQL进行数据库操作的过程与使用PostgreSQL与Psycopg2类似。以下是一个简单的指南，介绍如何使用PyMySQL连接到MySQL数据库并进行基本的数据库操作。 1. 安装PyMySQL 首先，你需要安装PyMySQL库。如果还未安装，可以使用以下命令…
阅读更多...
浅谈【数据结构】树与二叉树二

浅谈【数据结构】树与二叉树二

目录 1、二叉排序树 1.1二叉树排序树插入 1.1.1两种插入方法 1.1.2循环法 1.1.3递归法 1.2二叉树的打印 1.3二叉树的结点删除 1.4销毁二叉树 1.5层次打印 谢谢帅气美丽且优秀的你看完我的文章还要点赞、收藏加关注 没错，说的就是你，不用再怀疑&…
阅读更多...
**Adobe Acrobat XI 键盘快捷键指南**

**Adobe Acrobat XI 键盘快捷键指南**

**一、导航与视图切换** - **翻页**： - 下一页：空格键 或 Page Down - 上一页：Backspace 或 Page Up - 跳转到第一页：Home - 跳转到最后一页：End - **缩放视图**： - 放大视图：Ctrl …
阅读更多...
最新文章

Copyright @ 2022~2023