色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

利用Python和PyTorch處理面向對象的數(shù)據(jù)集(1)

efwedfd ? 來源:efwedfd ? 作者:efwedfd ? 2022-08-02 08:03 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

機器學習中一個常見問題是判定與數(shù)據(jù)交互的最佳方式。

在本文中,我們將提供一種高效方法,用于完成數(shù)據(jù)的交互、組織以及最終變換(預處理)。隨后,我們將講解如何在訓練過程中正確地把數(shù)據(jù)輸入給模型。

PyTorch 框架將幫助我們實現(xiàn)此目標,我們還將從頭開始編寫幾個類。PyTorch 可提供更完整的原生類,但創(chuàng)建我們自己的類可幫助我們加速學習。

第 1 部分:原始數(shù)據(jù)和數(shù)據(jù)集

首先我們把尚未經(jīng)過組織的所有樣本稱為“原始數(shù)據(jù)”。

把“數(shù)據(jù)集”定義為現(xiàn)成可用的數(shù)據(jù),即含標簽以及基本函數(shù)接口(以便于使用原始數(shù)據(jù)信息)的原始數(shù)據(jù)。

此處我們使用一種簡單的原始數(shù)據(jù)形式:1 個包含圖像和標簽的文件夾。

但此方法可擴展至任意性質的樣本(可以是圖片、錄音、視頻等)以及包含標簽的文件。

標簽文件中的每一行都用于描述 1 個樣本和相關標簽,格式如下:

file_sample_1 label1

file_sample_2 label2

file_sample_3 label3

(。..)

當能夠完成一些基本信息查詢(已有樣本數(shù)量、返回特定編號的樣本、預處理每個樣本等)時,說明我們已從原始數(shù)據(jù)集創(chuàng)建了 1 個數(shù)據(jù)集。

此方法基于面向對象編程以及創(chuàng)建用于數(shù)據(jù)處理的 “類”。

對于一組簡單的圖像和標簽而言,此方法可能看上去略顯殺雞用牛刀(實際上,此用例通常是通過創(chuàng)建分別用于訓練、驗證和測試的獨立文件夾來進行處理的)。但如果要選擇標準交互方法,則此方法將來可復用于多種不同用例,以節(jié)省時間。

Python 中處理數(shù)據(jù)

在 Python 中所有一切都是對象:整數(shù)、列表、字典都是如此。

構建含標準屬性和方法的“數(shù)據(jù)集”對象的原因多種多樣。我認為,代碼的精致要求就足以合理化這一選擇,但我理解這是品味的問題。可移植性、速度和代碼模塊化可能是最重要的原因。

在許多示例以及編碼書籍中,我發(fā)現(xiàn)了面向對象的編碼(尤以類為甚)的其它有趣的功能和優(yōu)勢,總結如下:

? 類可提供繼承

? 繼承可提供復用

? 繼承可提供數(shù)據(jù)類型擴展

? 繼承支持多態(tài)現(xiàn)象

? 繼承是面向對象的編碼的特有功能

■輸入 [1]:

import torch

from torchvision import transforms

to_tensor = transforms.ToTensor()

from collections import namedtuple

import functools

import copy

import csv

from PIL import Image

from matplotlib import pyplot as plt

import numpy as np

import os

import datetime

import torch.optim as optim

在我們的示例中,所有原始樣本都存儲在文件夾中。此文件夾的地址在 raw_data_path 變量中聲明。

■輸入 [2]:

raw_data_path = ‘。/raw_data/data_images’

構建模塊

數(shù)據(jù)集接口需要一些函數(shù)和類。數(shù)據(jù)集本身就是一個對象,因此我們將創(chuàng)建 MyDataset 類來包含所有重要函數(shù)和變量。

首先,我們需要讀取標簽文件,然后可對樣本在其原始格式(此處為 PIL 圖像)以及最終的張量格式應用某些變換。

我們需要使用以下函數(shù)來讀取 1 次標簽文件,然后創(chuàng)建包含所有樣本名稱和標簽的元組。

內存中緩存可提升性能,但如果標簽文件發(fā)生更改,請務必更新緩存內容。

■ 輸入 [113]:

DataInfoTuple = namedtuple(‘Sample’,‘SampleName, SampleLabel’)

def myFunc(e):

return e.SampleLabel

# in memory caching decorator: ref https://dbader.org/blog/python-memoization

@functools.lru_cache(1)

def getSampleInfoList(raw_data_path):

sample_list = []

with open(str(raw_data_path) + ‘/labels.txt’, mode = ‘r’) as f:

reader = csv.reader(f, delimiter = ‘ ’)

for i, row in enumerate(reader):

imgname = row[0]

label = int(row[1])

sample_list.append(DataInfoTuple(imgname, label))

sample_list.sort(reverse=False, key=myFunc)

# print(“DataInfoTouple: samples list length = {}”.format(len(sample_list)))

return sample_list

如需直接變換 PIL 圖像,那么以下類很實用。

該類僅含 1 種方法:resize。resize 方法能夠改變 PIL 圖像的原始大小,并對其進行重新采樣。如需其它預處理(翻轉、剪切、旋轉等),需在此類種添加方法。

當 PIL 圖像完成預處理后,即可將其轉換為張量。此外還可對張量執(zhí)行進一步的處理步驟。

在以下示例種,可以看到這兩種變換:

■ 輸入 [4]:

class PilTransform():

“”“generic transformation of a pil image”“”

def resize(self, img, **kwargs):

img = img.resize(( kwargs.get(‘width’), kwargs.get(‘height’)), resample=Image.NEAREST)

return img

# creation of the object pil_transform, having all powers inherited by the class PilTransform

pil_transform = PilTransform()

以下是類 PilTransform 的實操示例:

■ 輸入 [5]:

path = raw_data_path + “/img_00000600.JPEG”

print(path)

im1 = Image.open(path, mode=‘r’)

plt.imshow(im1)

。/raw_data/data_images/img_00000600.JPEG

■ 輸出 [5]:

■ 輸入 [6]:

im2 = pil_transform.resize(im1, width=128, height=128)

# im2.show()

plt.imshow(im2)

■ 輸出 [6]:

最后,我們定義一個類,用于實現(xiàn)與原始數(shù)據(jù)的交互。

類 MyDataset 主要提供了 2 個方法:

__len__ 可提供原始樣本的數(shù)量。

__getitem__ 可使對象變?yōu)榭傻愋停磸埩扛袷椒祷卣埱蟮臉颖荆ㄒ淹瓿深A處理)。

__getitem__ 步驟:

1) 打開來自文件的樣本。

2) 按樣本的原始格式對其進行預處理。

3) 將樣本變換為張量。

4) 以張量格式對樣本進行預處理。

此處添加的預處理僅作為示例。

此類可對張量進行歸一化(求平均值和標準差),這有助于加速訓練過程。

請注意,PIL 圖像由范圍 0-255 內的整數(shù)值組成,而張量則為范圍 0-1 內的浮點數(shù)矩陣。

該類會返回包含兩個元素的列表:在位置 [0] 返回張量,在位置 [1] 返回包含 SampleName 和 SampleLabel 的命名元組。

■ 輸入 [109]:

class MyDataset():

“”“Interface class to raw data, providing the total number of samples in the dataset and a preprocessed item”“”

def __init__(self,

isValSet_bool = None,

raw_data_path = ‘。/’,

SampleInfoList = DataInfoTuple,norm = False,

resize = False,

newsize = (32, 32)

):

self.raw_data_path = raw_data_path

self.SampleInfoList = copy.copy(getSampleInfoList(self.raw_data_path))

self.isValSet_bool = isValSet_bool

self.norm = norm

self.resize = resize

self.newsize = newsize

def __str__(self):

return ‘Path of raw data is ’ + self.raw_data_path + ‘/’ + ‘’

def __len__(self):

return len(self.SampleInfoList)

def __getitem__(self, ndx):

SampleInfoList_tup = self.SampleInfoList[ndx]

filepath = self.raw_data_path + ‘/’ + str(SampleInfoList_tup.SampleName)

if os.path.exists(filepath):

img = Image.open(filepath)

# PIL image preprocess (examples)

#resize

if self.resize:

width, height = img.size

if (width 》= height) & (self.newsize[0] 》= self.newsize[1]):

img = pil_transform.resize(img, width=self.newsize[0], height=self.newsize[1])

elif (width 》= height) & (self.newsize[0] 《 self.newsize[1]):

img = pil_transform.resize(img, width=self.newsize[1], height=self.newsize[0])

elif (width 《 height) & (self.newsize[0] 《= self.newsize[1]):

img = pil_transform.resize(img, width=self.newsize[0], height=self.newsize[1])

elif (width 《 height) & (self.newsize[0] 》 self.newsize[1]):

img = pil_transform.resize(img, width=self.newsize[1], height=self.newsize[0])

else:

print(“ERROR”)

# from pil image to tensor

img_t = to_tensor(img)

# tensor preprocess (examples)

#rotation

ratio = img_t.shape[1]/img_t.shape[2]

if ratio 》 1:

img_t = torch.rot90(img_t, 1, [1, 2])

#normalization requires the knowledge of all tensors

if self.norm:

img_t = normalize(img_t)

#return img_t, SampleInfoList_tup

return img_t, SampleInfoList_tup.SampleLabel

else:

print(‘[WARNING] file {} does not exist’.format(str(SampleInfoList_tup.SampleName)))

return None

審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 機器學習
    +關注

    關注

    66

    文章

    8500

    瀏覽量

    134479
  • python
    +關注

    關注

    56

    文章

    4826

    瀏覽量

    86596
  • pytorch
    +關注

    關注

    2

    文章

    809

    瀏覽量

    13909
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    使用Yolo-v3-TF運行OpenVINO?對象檢測Python演示時的結果不準確的原因?

    的模型與對象檢測 Python* Demo 配合使用時無法檢測對象python3 open_model_zoo/demos/object_detection_demo/
    發(fā)表于 03-06 06:31

    操作指南:pytorch云服務器怎么設置?

    設置PyTorch云服務器需選擇云平臺,創(chuàng)建合適的GPU實例,安裝操作系統(tǒng)、Python及Anaconda,創(chuàng)建虛擬環(huán)境,根據(jù)CUDA版本安裝PyTorch,配置環(huán)境變量,最后驗證安裝。過程中需考慮
    的頭像 發(fā)表于 02-08 10:33 ?337次閱讀

    利用Arm Kleidi技術實現(xiàn)PyTorch優(yōu)化

    PyTorch 是一個廣泛應用的開源機器學習 (ML) 庫。近年來,Arm 與合作伙伴通力協(xié)作,持續(xù)改進 PyTorch 的推理性能。本文將詳細介紹如何利用 Arm Kleidi 技術提升 Arm
    的頭像 發(fā)表于 12-23 09:19 ?1035次閱讀
    <b class='flag-5'>利用</b>Arm Kleidi技術實現(xiàn)<b class='flag-5'>PyTorch</b>優(yōu)化

    PyTorch 數(shù)據(jù)加載與處理方法

    PyTorch 是一個流行的開源機器學習庫,它提供了強大的工具來構建和訓練深度學習模型。在構建模型之前,一個重要的步驟是加載和處理數(shù)據(jù)1. Py
    的頭像 發(fā)表于 11-05 17:37 ?917次閱讀

    如何在 PyTorch 中訓練模型

    準備好數(shù)據(jù)PyTorch 提供了 torch.utils.data.Dataset 和 torch.utils.data.DataLoader 兩個類來幫助我們加載和批量處理
    的頭像 發(fā)表于 11-05 17:36 ?907次閱讀

    pycharm配置pytorch運行環(huán)境

    在PyCharm中配置PyTorch運行環(huán)境主要包括安裝PyCharm、安裝Python(如果尚未安裝)、配置PyTorch環(huán)境以及驗證安裝等步驟。以下是詳細的步驟說明: 一、安裝PyCharm
    的頭像 發(fā)表于 08-01 16:25 ?2400次閱讀

    pytorch怎么在pycharm中運行

    PyTorch。以下是安裝PyTorch的步驟: 打開終端或命令提示符。 根據(jù)你的系統(tǒng)和需求,選擇適當?shù)陌惭b命令。例如,如果你使用的是Python 3.8和CUDA 10.2,可以使用以下命令: pip
    的頭像 發(fā)表于 08-01 16:22 ?2476次閱讀

    pycharm如何調用pytorch

    引言 PyTorch是一個開源的機器學習庫,廣泛用于計算機視覺、自然語言處理等領域。PyCharm是一個流行的Python集成開發(fā)環(huán)境(IDE),提供了代碼編輯、調試、測試等功能。將PyTor
    的頭像 發(fā)表于 08-01 15:41 ?1197次閱讀

    pytorch環(huán)境搭建詳細步驟

    了conda、Python等180多個科學包及其依賴項,非常適合用于科學計算(數(shù)據(jù)科學、機器學習應用、大數(shù)據(jù)處理
    的頭像 發(fā)表于 08-01 15:38 ?1832次閱讀

    pytorchpython的關系是什么

    在當今的人工智能領域,Python已經(jīng)成為了最受歡迎的編程語言之一。Python的易學易用、豐富的庫和框架以及強大的社區(qū)支持,使其成為了數(shù)據(jù)科學、機器學習和深度學習等領域的首選語言。而在深度學習領域
    的頭像 發(fā)表于 08-01 15:27 ?3248次閱讀

    Python建模算法與應用

    Python作為一種功能強大、免費、開源且面向對象的編程語言,在科學計算、數(shù)學建模、數(shù)據(jù)分析等領域展現(xiàn)出了卓越的性能。其簡潔的語法、對動態(tài)輸入的支持以及解釋性語言的本質,使得
    的頭像 發(fā)表于 07-24 10:41 ?1201次閱讀

    pycharm怎么訓練數(shù)據(jù)

    在本文中,我們將介紹如何在PyCharm中訓練數(shù)據(jù)。PyCharm是一款流行的Python集成開發(fā)環(huán)境,提供了許多用于數(shù)據(jù)科學和機器學習的工具。
    的頭像 發(fā)表于 07-11 10:10 ?1209次閱讀

    pytorch如何訓練自己的數(shù)據(jù)

    本文將詳細介紹如何使用PyTorch框架來訓練自己的數(shù)據(jù)。我們將從數(shù)據(jù)準備、模型構建、訓練過程、評估和測試等方面進行講解。 環(huán)境搭建 首先,我們需要安裝PyTorch。可以通過訪問
    的頭像 發(fā)表于 07-11 10:04 ?1009次閱讀

    pytorch中有神經(jīng)網(wǎng)絡模型嗎

    當然,PyTorch是一個廣泛使用的深度學習框架,它提供了許多預訓練的神經(jīng)網(wǎng)絡模型。 PyTorch中的神經(jīng)網(wǎng)絡模型 1. 引言 深度學習是一種基于人工神經(jīng)網(wǎng)絡的機器學習技術,它在圖像識別、自然語言
    的頭像 發(fā)表于 07-11 09:59 ?1761次閱讀

    PyTorch的介紹與使用案例

    PyTorch是一個基于Python的開源機器學習庫,它主要面向深度學習和科學計算領域。PyTorch由Meta Platforms(原Facebook)的人工智能研究團隊開發(fā),并逐漸
    的頭像 發(fā)表于 07-10 14:19 ?903次閱讀
    主站蜘蛛池模板: 国产亚洲日韩另类在线观看 | 亚洲欧洲日本天天堂在线观看 | 黄色日本女人 | 亚洲黄色在线播放 | 在线视频 日韩视频二区 | 国产h视频在线观看网站免费 | 动漫美女被到爽了流 | 特级毛片内射WWW无码 | 亚洲免费黄色片 | 欧美 亚洲 中文字幕 高清 | 欧美性狂猛bbbbbbxxxx | 美国ZOOM动物在线观看 | 亚洲色偷偷偷网站色偷一区人人藻 | 欧美兽交YOYO | AV天堂午夜精品一区 | 久久91精品国产91久久户 | 秋霞电影网午夜鲁丝片无码 | 99热这里只有精品视频2 | MD传媒在线观看佳片 | 国产精品96久久久久久AV网址 | 精品国产一区二区三区久久影院 | 久久亚洲精品专区蓝色区 | 特黄特黄aaaa级毛片免费看 | 大胸美女被C得嗷嗷叫动态图 | 国产精品无码亚洲区艳妇 | 97在线播放 | 久久精品亚洲AV无码三区观看 | 免费看大黄高清网站视频在线 | 国产精品99久久久久久WWW | 伊人久久综合成人亚洲 | 国产在线精品亚洲另类 | 秘密教学26我们在做一次吧免费 | 免费啪视频观试看视频 | 国产精品亚洲污污网站入口 | 亚洲视频中文 | 超碰国产亚洲人人 | 91夫妻交友论坛 | 欧美日韩精品一区二区三区高清视频 | 亚洲乱码日产精品BD在线下载 | 嫩草影院地址一二三 | 色噜噜色啪在线视频 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品