Clik here to view.
Tensorflow基础学习五杂项
作者： Sam (甄峰) sam_code@hotmail.com x_data_2 = [[1,2,3],[4,5,6],[7,8,9],[10,11,12],[13,14,15],[16,17,18]] sp = tf.split(x_data_2, 2, axis=0) with tf.Session() as sess: for c in sp:...
View ArticleClik here to view.
Tensorflow基础学习TFRecord-DataSet学习
作者： Sam (甄峰) sam_code@hotmail.com 0. 缘由： 对深度学习而言，因为训练数据通常极为庞大，所以在提高运算能力的同时，更高效的数据I/O操作也非常重要。 使用Tensorflow训练模型时，有三种数据加载方式： A. 使用python 代码准备数据。 B. 预先加载数据，将需要训练的数据以变量形式保存于内存。 C. 利用管道从文件中读取。...
View ArticleClik here to view.
Matplotlib学习记录
作者： Sam(甄峰) sam_code@hotmail.com Matplotlib是一个用来绘制二维图像的Python库。在机器学习中很常用，主要用来数据可视化绘图，把数据直观的呈现出来。它可以绘制线图，散点图，等高线图，条形图，柱状图等等。 中文官网为： https://www.matplotlib.org.cn/ 1. 画线： 使用matplotlib.pyplot 中的plot() 例如：...
View ArticleClik here to view.
Ubuntu下Python工作环境摸索
作者：Sam(甄峰) sam_code@hotmail.com 基于机器学习的学习和开发中，很多时候需要以Python和Python Package为基础，做数据准备，训练和推理。 之前一直做Linux/Android开发，对机器学习工作只触及多层感知机(NN)的训练和推理，基于OpenCV的MLP就可以了。随着对深度学习的进一步接触，深感需要一个方便合理高效的开发环境。现摸索如下。 平台的选择：...
View ArticleClik here to view.
Python使用记录二
作者： Sam(甄峰) sam_code@hotmail.com Python 有个语法糖(syntactic sugar)叫做list comprehension(列表推导式). 主要利用一个已知List推导新的List。 语法规范为： out_list = [out_express for out_express in input_list if out_express_condition]...
View ArticleClik here to view.
机器学习中的数据处理--基于Python数据结构和处理
作者： Sam (甄峰) sam_code@hotmail.com 机器学习中常用的数据类型如：向量(vector), 矩阵(Matrix), 张量(Tensor)。 他们在Python中如何创建，维护和处理。尝试记录如下。 Python原生数据结构中，并没有对这些类型进行定义。所以我们通常采用Python Package...
View ArticleClik here to view.
机器学习之模型评估
作者： Sam(甄峰) sam_code@hotmail.com 0. 问题的提出： 对一个机器学习模型，如何评估其好坏。最好有个指标性的数据。 对一些分类模型，首先可以想到使用精准率，如：有90%的分类是准确的。但这个数据在某些情况下，并不足以反映真实情况。 1. 分类评估指标： 1.1：准确率(Accuracy)： 它是一种常见的性能指标，表示被正确预测的样本数占参与预测的样本总数的比例。...
View ArticleClik here to view.
Win10下安装PaddlePaddle-GPU版本
作者： Sam (甄峰) sam_code@hotmail.com 之前在Linux下使用Paddle及其相关工具，之后想把它放在手头一台训练机上，但对Linux下安装Cuda信心不足。所以采用Windows。没想到也遇到一些问题，记录下来备忘。 0. 背景介绍： 0.1：训练机介绍： 主板为技嘉B85M-D3V-A. 显卡为Nvidia GeForce RTX 2070. 使用WD 1T...
View ArticleClik here to view.
PaddleDetectionPCB训练记录
作者：Sam （甄峰） sam_code@hotmail.com Paddle在目标检测7日打卡营中有个作业--Yolo系列模型训练实战，训练PCB瑕疵检测。 现将训练过程记录如下： 1. 使用Yolov3_darknet_baseline.yml为基础训练： 其中： max_iters: 11000 base_lr: 0.00025 batch_size=8 worker_num=8...
View ArticleClik here to view.
图像均值归一化
作者： Sam (甄峰) sam_code@hotmail.com 1：图像的均值： 对图像来说，均值分两种：Image mean, Pixel mean. Image mean: 把所有训练集中的图片在同一空间位置上的像素对应通道求均值。 例如：训练集是N张 W x H x C 的图片。 则Image mean是一个W x H x C 的矩阵。 其中每个值都是对应位置像素的均值。 Pixel...
View ArticleClik here to view.
Python3多国语言处理
作者： Sam (甄峰) sam_code@hotmail.com 在Python中遇到中文或多国语言，常常会遇到字符编码问题。现将其记录如下： 0. Unicode, UTF-8, UTF-16, UTF-32, UCS-2, UCS-4等缘起和概念：...
View ArticleClik here to view.
NPU相关知识
作者： Sam (甄峰) sam_code@hotmail.com 0. 基础概念： 0.1：OpenVX: 各种硬件厂商生产的芯片结构和功能区别很大，同样的代码，在不同硬件上实现的性能有很大区别。所以想要最大限度发挥硬件性能，必须针对硬件本身进行代码优化。所以一份算法程序，在不用硬件上经过优化的代码是不同的，这对开发者造成很大困扰。（主要指视觉领域） 为了解决这个问题，硬件厂商(Intel，...
View ArticleClik here to view.
Yolo简介及其推理
作者：Sam （甄峰） sam_code@hotmail.com 0.目标检测算法： 目标检测算法两个分支，单阶段和两阶段目标检测 Yolo(You Only Look Once)是目标检测单阶段模型。它是一个精度尚可，速度很快的模型。即精度速度性价比很高的模型。 1. Yolo的思路： 如何可以只Look一次呢？ 就是将目标检测当作一个单一的回归任务。 1.1:核心思路： A....
View ArticleClik here to view.
Ubuntu开发机配置
作者：Sam （甄峰） sam_code@hotmail.com 0. 安装Ubuntu： Install use bootable Ubuntu usb devices: 采用rufus做一个U盘启动和安装盘。 https://rufus.ie/en/ 1. ssh-server安装: sudo apt install openssh-server 查看是否安装成功，可以用以下两个方法。 apt...
View ArticleClik here to view.
Ubuntu20.04安装Cuda+cudnn
作者： Sam (甄峰) sam_code@hotmail.com 在Ubuntu20.04下安装深度学习训练环境记录。 0. 硬件环境： 主板为技嘉B85M-D3v-A. 显卡为Nvidia GeForce RTX2070. 准备使用Ubuntu20.04。 1. 安装： 1.1：背景介绍： A.首先需要安装Nvidia GetForce RTX2070显卡驱动。 B. 需要安装Cuda...
View ArticleClik here to view.
LabelImg使用简介
作者： Sam (甄峰) sam_code@hotmail.com 背景： LabelImg是一个图像化图像标注工具(annotation tool). 它是用Python写成的，用QT作为其图形界面。 LabelImg支持以PASCAL VOC格式保存XML标注文件，这是ImageNet所使用的格式。此外，它还支持YOLO和CreateML格式。 在Ubuntu安装使用如下： 1....
View ArticleClik here to view.
git使用记录本地
作者：Sam(甄峰) sam_code@hotmail.com 1. 提交： 提交记录，git仓库中保存的是您目录下所有文件的快照，就像是把整个目录复制，然后再粘贴一样，但比复制粘贴优雅的多。 git 希望提交记录尽可能的轻量，因此再每次进行提交时，它并不会盲目的复制整个目录，条件允许的情况下，它会将当前版本与仓库中的上一个版本进行对比，并把所有的差异打包到一起作为一个提交记录。 #git...
View ArticleClik here to view.
git使用记录二远程部分
作者： Sam (甄峰) sam_code@hotmail.com 上一节中，我们聚焦在本地仓库的操作(branch, merge, rebase等)，这一节看看远程仓库。 远程仓库并不复杂，只是你的仓库在另一个计算机上的拷贝。同样可以提交和恢复项目到指定版本的能力。但因为项目被托管到远端，所以可以多人对项目做出贡献。 现在用网站对远程仓库进行可视化操作的有: github,...
View Article