网站单页推广,友汇网站建设管理后台,网站的建设的含义,用ps设计一个个人网站模板百度深度学习框架PaddlePaddle
百度深度学习框架PaddlePaddle是一个支持深度学习和机器学习的开源框架。它由百度公司于2016年开发并发布#xff0c;现在已经成为中国最受欢迎的深度学习框架之一#xff0c;并且在国际上也获得了不少关注。
特点与功能
易于使用
PaddlePa…百度深度学习框架PaddlePaddle
百度深度学习框架PaddlePaddle是一个支持深度学习和机器学习的开源框架。它由百度公司于2016年开发并发布现在已经成为中国最受欢迎的深度学习框架之一并且在国际上也获得了不少关注。
特点与功能
易于使用
PaddlePaddle提供了Python API和命令行工具使得使用者可以轻松地构建、训练和部署深度学习模型。同时PaddlePaddle还内置了各种深度学习模型和数据集用户只需要进行简单的调用就可以快速上手。
多种神经网络结构
PaddlePaddle支持大规模的神经网络结构包括卷积神经网络CNN、循环神经网络RNN、长短时记忆网络LSTM、门控循环单元网络GRU等。此外PaddlePaddle还支持自定义神经网络结构方便用户根据实际需求进行修改和优化。
分布式训练和推理
为了应对大规模数据和高并发访问的需求PaddlePaddle支持分布式训练和推理可以将计算负载分配到多个GPU或多台服务器上进行处理从而提高计算效率和处理能力。
高性能和高效稳定
PaddlePaddle通过使用高效的并行计算技术和动态图执行引擎保证了高性能和高效稳定。此外PaddlePaddle还支持异构计算可以充分利用GPU、FPGA等硬件设备的优势。
应用广泛
PaddlePaddle被广泛应用于图像识别、自然语言处理、语音识别、推荐系统等领域。例如百度的图片搜索、语音识别、知识图谱等产品都是基于PaddlePaddle开发的。
优势与竞争
动态图机制
PaddlePaddle采用了动态图机制相比于静态图机制可以更加灵活地构建和优化神经网络模型同时还可以实现更好的可读性和可维护性。
跨平台支持
PaddlePaddle支持Windows、Linux和MacOS等不同操作系统在不同的平台上都可以进行深度学习模型的构建和训练。
分布式训练优势
PaddlePaddle的分布式训练具有优秀的性能和可扩展性可将计算负载分配到多台服务器上进行处理有效地提高了训练速度和精度。
商业落地
百度在多个行业都有应用实践PaddlePaddle也得到了广泛的商业落地包括金融、医疗、智能驾驶等领域。
相关链接
官方网站https://www.paddlepaddle.org.cn/PaddlePaddle Githubhttps://github.com/PaddlePaddle/PaddlePaddlePaddle中文文档https://www.paddlepaddle.org.cn/documentation/docs/zh/index_cn.html
AI Studio
AI Studio是由百度开发的深度学习和人工智能开发平台旨在为开发者提供一站式的解决方案。AI Studio集成了PaddlePaddle等多种深度学习框架提供了可视化的界面、强大的计算资源和丰富的数据集让用户可以快速构建、训练和部署深度学习模型。
特点与功能
可视化交互界面
AI Studio提供了基于Web的可视化交互界面用户可以通过简单的拖拽和配置完成模型的构建和训练。同时AI Studio还支持Jupyter Notebook和Python编程环境方便用户进行自定义操作。
强大的计算资源
AI Studio提供了GPU和CPU等多种计算资源用户可以根据实际需求选择合适的资源来进行模型训练和推理。此外AI Studio还支持分布式训练和推理可以将计算负载分配到多个计算节点上进行处理。
丰富的数据集
AI Studio集成了各种常见的数据集包括ImageNet、CIFAR-10/100、MNIST、LFW等。用户可以直接使用这些数据集进行模型训练也可以上传自己的数据集进行训练和测试。
多种深度学习框架支持
AI Studio除了支持PaddlePaddle之外还支持TensorFlow、PyTorch等多种深度学习框架。用户可以根据自己的喜好和需求选择合适的框架来进行开发。
应用场景广泛
AI Studio被广泛应用于图像识别、自然语言处理、推荐系统等领域。例如在图像识别方面AI Studio可以用于物体检测、图像分割、人脸识别等任务在自然语言处理方面AI Studio可以用于文本分类、情感分析、机器翻译等任务。
相关链接
AI Studio官网https://aistudio.baidu.com/AI Studio中文文档https://ai.baidu.com/docs#/AIStudio/top
开始配置
这里我们配置这个项目的环境 基于ppyoloe-sod海星目标检测(小目标检测)
虚拟环境创建
call cmd
rem 创建虚拟环境
python -m venv venv
rem 激活虚拟环境
call venv\Scripts\activate.bat
python -m pip install --upgrade pip半自动化使用.bat手动打包迁移python项目
lap
lab包直接装装不上使用编译安装法 https://pypi.org/project/lap/#files
pip install -i https://mirrors.aliyun.com/pypi/simple/ numpy1.24curl -o lap-0.4.0.tar.gz https://files.pythonhosted.org/packages/bf/64/d9fb6a75b15e783952b2fec6970f033462e67db32dc43dfbb404c14e91c2/lap-0.4.0.tar.gz
tar -zxvf lap-0.4.0.tar.gz
cd lap-0.4.0
python setup.py build
python setup.py installpip show lap下载PaddleDetection
git clone https://gitee.com/PaddlePaddle/PaddleDetection.gitpip install -i https://mirrors.aliyun.com/pypi/simple/ opencv-python4.5.3.56
pip install -i https://mirrors.aliyun.com/pypi/simple/ pycryptodome#安装PaddleDetection相关依赖 pip install -r PaddleDetection/requirements.txt
python PaddleDetection/setup.py installAI Studio会自动创建version.py这里我们需要在该路径手动创建
PaddleDetection\ppdet\version.py (venv) PS E:\Downloads\ppd python PaddleDetection/setup.py install fatal: not a git repository (or any of the parent directories): .git Traceback (most recent call last): File “PaddleDetection/setup.py”, line 56, in write_version_py() File “PaddleDetection/setup.py”, line 52, in write_version_py with open(filename, ‘w’) as f: FileNotFoundError: [Errno 2] No such file or directory: ‘ppdet/version.py’ 然后
cd PaddleDetection
python setup.py installrequirements.txt
numpy 1.24
tqdm
typeguard
visualdl2.2.0
opencv-python 4.6.0
PyYAML
shapely
scipy
terminaltables
Cython
pycocotools
setuptools# for MOT evaluation and inference
lap
motmetrics
sklearn0.0# for vehicleplate in deploy/pipeline/ppvehicle
pyclipper
pip list
(venv) PS E:\Downloads\pad pip list Package Version anyio 4.0.0 astor 0.8.1 Babel 2.13.0 bce-python-sdk 0.8.92 blinker 1.6.3 certifi 2023.7.22 charset-normalizer 3.3.0 click 8.1.7 colorama 0.4.6 contourpy 1.1.1 cycler 0.12.1 Cython 3.0.4 decorator 5.1.1 exceptiongroup 1.1.3 filelock 3.12.4 fire 0.5.0 Flask 3.0.0 flask-babel 4.0.0 fonttools 4.43.1 fsspec 2023.9.2 future 0.18.3 h11 0.14.0 httpcore 0.18.0 httpx 0.25.0 idna 3.4 importlib-metadata 6.8.0 importlib-resources 6.1.0 itsdangerous 2.1.2 Jinja2 3.1.2 joblib 1.3.2 kiwisolver 1.4.5 lap 0.4.0 llvmlite 0.39.1 MarkupSafe 2.1.3 matplotlib 3.7.3 motmetrics 1.4.0 mpmath 1.3.0 networkx 3.1 numba 0.56.4 numpy 1.23.5 opencv-python 4.5.5.64 opt-einsum 3.3.0 packaging 23.2 paddle-bfloat 0.1.7 paddledet 2.6.0 paddlepaddle 2.5.1 paddlepaddle-gpu 2.5.1 pandas 2.0.3 Pillow 10.1.0 pip 23.3 protobuf 3.20.2 psutil 5.9.6 pybboxes 0.1.6 pyclipper 1.3.0.post5 pycocotools 2.0.7 pycryptodome 3.19.0 pyparsing 3.1.1 python-dateutil 2.8.2 pytz 2023.3.post1 PyYAML 6.0.1 rarfile 4.1 requests 2.31.0 sahi 0.11.14 scikit-learn 1.3.1 scipy 1.10.1 tzdata 2023.3 urllib3 2.0.7 visualdl 2.5.3 Werkzeug 3.0.0 xmltodict 0.13.0 zipp 3.17.0
本地运行
NAME : 3kshUSER : adminDATE : 18/10/2023PROJECT_NAME : ppdCSDN : friklogff# 调用一些需要的第三方库
import numpy as np
import pandas as pd
import shutil
import json
import os
import cv2
import glob
import matplotlib.pyplot as plt
import matplotlib.patches as patches
import seaborn as sns
from matplotlib.font_manager import FontProperties
from PIL import Image
import random
###解决中文画图问题
myfont FontProperties(fnamerNotoSansCJKsc-Medium.otf, size12)
plt.rcParams[figure.figsize] (12, 12)
plt.rcParams[font.family] myfont.get_family()
plt.rcParams[font.sans-serif] myfont.get_name()
plt.rcParams[axes.unicode_minus] False# 加载训练集路径
TRAIN_DIR kaggle_dataset/train2017/
TRAIN_CSV_PATH TRAIN_CSV_PATH kaggle_dataset/annotations/train.json
# 加载训练集图片目录
train_fns glob.glob(TRAIN_DIR *)
print(数据集图片数量: {}.format(len(train_fns)))def generate_anno_result(dataset_path, anno_file):with open(os.path.join(dataset_path, anno_file)) as f:anno json.load(f)total []for img in anno[images]:hw (img[height], img[width])total.append(hw)unique set(total)ids []images_id []for i in anno[annotations]:ids.append(i[id])images_id.append(i[image_id])# 创建类别标签字典category_dic dict([(i[id], i[name]) for i in anno[categories]])counts_label dict([(i[name], 0) for i in anno[categories]])for i in anno[annotations]:counts_label[category_dic[i[category_id]]] 1label_list counts_label.keys() # 各部分标签size counts_label.values() # 各部分大小train_fig pd.DataFrame(anno[images])train_anno pd.DataFrame(anno[annotations])df_train pd.merge(lefttrain_fig, righttrain_anno, howinner, left_onid, right_onimage_id)df_train[bbox_xmin] df_train[bbox].apply(lambda x: x[0])df_train[bbox_ymin] df_train[bbox].apply(lambda x: x[1])df_train[bbox_w] df_train[bbox].apply(lambda x: x[2])df_train[bbox_h] df_train[bbox].apply(lambda x: x[3])df_train[bbox_xcenter] df_train[bbox].apply(lambda x: (x[0] 0.5 * x[2]))df_train[bbox_ycenter] df_train[bbox].apply(lambda x: (x[1] 0.5 * x[3]))print(最小目标面积像素, min(df_train.area))balanced small_object densely # 判断样本是否均衡给出结论if max(size) 5 * min(size):print(样本不均衡)balanced c11else:print(样本均衡)balanced c10# 判断样本是否存在小目标给出结论if min(df_train.area) 900:print(存在小目标)small_object c21else:print(不存在小目标)small_object c20arr1 []arr2 []x []y []w []h []for index, row in df_train.iterrows():if index 1000:# 获取并记录坐标点x.append(row[bbox_xcenter])y.append(row[bbox_ycenter])w.append(row[bbox_w])h.append(row[bbox_h])for i in range(len(x)):l np.sqrt(w[i] ** 2 h[i] ** 2)arr2.append(l)for j in range(len(x)):a np.sqrt((x[i] - x[j]) ** 2 (y[i] - y[j]) ** 2)if a ! 0:arr1.append(a)arr1 np.matrix(arr1)# print(arr1.min())# print(np.mean(arr2))# 判断是否密集型目标具体逻辑还需优化if arr1.min() np.mean(arr2):print(密集型目标)densely c31else:print(非密集型目标)densely c30return balanced, small_object, densely# 分析训练集数据
generate_anno_result(kaggle_dataset, annotations/train.json)# 图片大小分布
# 读取训练集标注文件
with open(kaggle_dataset/annotations/train.json, r, encodingutf-8) as f:train_data json.load(f)
train_fig pd.DataFrame(train_data[images])
train_fig.head()
ps np.zeros(len(train_fig))
for i in range(len(train_fig)):ps[i]train_fig[width][i] * train_fig[height][i]/1e6
plt.title(训练集图片大小分布, fontpropertiesmyfont)
sns.distplot(ps, bins21,kdeFalse)
# 可以看出所有图片大小都相同都为720*1280# 训练集目标大小分布
# !python box_distribution.py --json_path kaggle_dataset/annotations/train.json
#
#
# 注意:
#
# 当原始数据集全部有标注框的图片中有1/2以上的图片标注框的平均宽高与原图宽高比例小于0.04时建议进行切图训练。
# 所以根据上面的说明海星检测这个数据集其实介于“可切可不切”之间。当然我们可以继续试验下看看切图是否可以取得更加优秀的效果train_anno pd.DataFrame(train_data[annotations])
df_train pd.merge(lefttrain_fig, righttrain_anno, howinner, left_onid, right_onimage_id)
df_train[bbox_xmin] df_train[bbox].apply(lambda x: x[0])
df_train[bbox_ymin] df_train[bbox].apply(lambda x: x[1])
df_train[bbox_w] df_train[bbox].apply(lambda x: x[2])
df_train[bbox_h] df_train[bbox].apply(lambda x: x[3])
df_train[bbox_xcenter] df_train[bbox].apply(lambda x: (x[0]0.5*x[2]))
df_train[bbox_ycenter] df_train[bbox].apply(lambda x: (x[1]0.5*x[3]))
df_train[bbox_w].max(),df_train[bbox_h].max()
ps np.zeros(len(df_train))
for i in range(len(df_train)):ps[i]df_train[area][i]/1e6ps np.zeros(len(df_train))
plt.title(训练集目标大小分布, fontpropertiesmyfont)
sns.distplot(ps, bins21,kdeTrue)
# 各类别目标形状分布
# 各类别目标形状分布
sns.set(rc{figure.figsize:(12,6)})
sns.relplot(xbbox_w, ybbox_h, huecategory_id, colcategory_id, datadf_train[0:1000])
# 各类别目标中心点形状分布
# 各类别目标中心点形状分布
sns.set(rc{figure.figsize:(12,6)})
sns.relplot(xbbox_xcenter, ybbox_ycenter, huecategory_id, colcategory_id, datadf_train[0:1000]);
# 训练集目标大小统计结果
df_train.area.describe()
# 训练集目标个数分布
df_train[bbox_count] df_train.apply(lambda row: 1 if any(row.bbox) else 0, axis1)
train_images_count df_train.groupby(file_name).sum().reset_index()
plt.title(训练集目标个数分布, fontpropertiesmyfont)
sns.distplot(train_images_count[bbox_count], bins21,kdeTrue)
# 分析结论海星检测的数据集图片分辨率相同均为1280*720、小目标占比相当大。
#
# 总的来说这是个比较典型的小目标检测场景。# 这段代码用于使用sahi库对训练集和验证集的标注数据进行图像切割并生成切割后的子图像。以下是代码的功能和参数说明
#
# 1. 安装sahi库
# python
# !pip install sahi
#
#
# 2. 对训练集标注进行切图
# python
# !python PaddleDetection/tools/slice_image.py --image_dir kaggle_dataset/train2017\
# --json_path kaggle_dataset/annotations/train.json --output_dir kaggle_dataset/train2017_400_sliced --slice_size 400 --overlap_ratio 0.25
#
#
# - --image_dir原始数据集图片文件夹的路径这里是 kaggle_dataset/train2017。
# - --json_pathCOCO标注数据文件地址这里是 kaggle_dataset/annotations/train.json。
# - --output_dir切图结果所在文件位置这里是 kaggle_dataset/train2017_400_sliced。
# - --slice_size切图大小默认为正方形这里设置为 400x400 像素。
# - --overlap_ratio切分时的子图之间的重叠率这里设置为 0.25。
#
# 3. 对验证集标注进行切图与训练集切图的方式类似只是针对验证集数据
# python
# !python PaddleDetection/tools/slice_image.py --image_dir kaggle_dataset/val2017\
# --json_path kaggle_dataset/annotations/valid.json --output_dir kaggle_dataset/val2017_400_sliced --slice_size 400 --overlap_ratio 0.25
#
#
# 这段代码的作用是将原始数据集的图像切分成指定大小的子图像以便后续进行目标检测或其他计算机视觉任务。确保你已安装了所需的库并提供了正确的数据集路径和参数以使代码成功运行。
# python PaddleDetection\\tools\\slice_image.py --image_dir kaggle_dataset\\train2017\\ --json_path kaggle_dataset\\annotations\\train.json --output_dir kaggle_dataset\\train2017_400_sliced --slice_size 400 --overlap_ratio 0.25
# python PaddleDetection/tools/slice_image.py --image_dir kaggle_dataset/val2017\ --json_path kaggle_dataset/annotations/valid.json --output_dir kaggle_dataset/val2017_400_sliced --slice_size 400 --overlap_ratio 0.25# pip install paddlepaddle
# pip install paddlepaddle-gpu# python PaddleDetection/tools/train.py -c configs/ppyoloe_p2_crn_l_80e_sliced_xview_400_025.yml --use_vdlTrue -o worker_num1 --eval
