企业网站建设与推广,dw网页制作详细步骤景颇族,广州实时热点新闻事件,wordpress编辑器怎么变目录 一、NeRFStudio安装1.安装#xff08;ubuntu系统#xff09;2.安装#xff08;windows系统#xff09; 二、安装tinycudann三、Colmap安装与使用1. 安装依赖2. 安装colmap3.使用colmap3.1 可视化界面使用3.2 Nerfstudio命令行调用Colmap 四、使用NeRFStudio进行三维重… 目录 一、NeRFStudio安装1.安装ubuntu系统2.安装windows系统 二、安装tinycudann三、Colmap安装与使用1. 安装依赖2. 安装colmap3.使用colmap3.1 可视化界面使用3.2 Nerfstudio命令行调用Colmap 四、使用NeRFStudio进行三维重建五、3D GaussianSplatting安装与使用即将到来五* CUDA安装附C编译器说明 场景/物体三维重建过程首先用colmap估计图像位姿而后以图像和位姿作为出入用NeRF或Gaussian Splatting进行三维重建
一、NeRFStudio安装 简介Nerfstudio一个用于NeRF开发的模块化PyTorch框架。框架中用于实现基于NeRF的方法的组件即插即用使得研究人员和相关从业者可以轻松地将NeRF集成到自己的项目中。框架的模块化设计支持实时可视化工具导入用户真实世界捕获的数据集外in-the-wild数据以及导出为视频点云和网格表示的工具。近期还导入了InstantNGP、3D Gaussian Splatting等最新重建算法。 1.安装ubuntu系统 下载项目代码到本地
git clone https://github.com/nerfstudio-project/nerfstudio.git可以去github直接下载zip文件也可以按照以上命令git。网络不好可以去gitee(码云)加速。
cd nerfstudio
pip install --upgrade pip setuptools
pip install -e .2.安装windows系统
2.1.安装vs2019 cuda 11.6; 2.2.通过conda创建虚拟环境nerfstudio,依次执行如下命令
conda create --name nerfstudio -y python3.8
conda activate nerfstudio
python -m pip install --upgrade pip3.3.安装依赖 (1).pytorch 1.13.1, 执行如下命令
pip install torch1.13.1cu116 torchvision0.14.1cu116 -f https://download.pytorch.org/whl/torch_stable.html(2).tinycudann, 执行如下命令
pip install ninja githttps://github.com/NVlabs/tiny-cuda-nn/#subdirectorybindings/torch3.4.安装nerfstudio依次执行如下命令:
git clone gitgithub.com:nerfstudio-project/nerfstudio.git
cd nerfstudio
pip install --upgrade pip setuptools
pip install -e .5.安装ffmpeg, 执行如下命令
conda install -c conda-forge ffmpeg6.安装colmap, 执行如下命令
conda install -c conda-forge colmap
conda install -c conda-forge mpir7.安装hloc,依次执行如下命令: 可选windwos上不支持pycolmap
cd ..
git clone --recursive https://github.com/cvg/Hierarchical-Localization/
cd Hierarchical-Localization/
pip install pycolmap # windows不支持
python -m pip install -e .二、安装tinycudann
pip install githttps://github.com/NVlabs/tiny-cuda-nn/#subdirectorybindings/torch这句命令不成功的请切换gcc与g版本方法见最后
三、Colmap安装与使用 colmap是用来对一系列图像进行位姿匹配从而生成场景的三维模型点云。也就是你对一个场景拍摄了很多照片colmap可以估计出每张照片的相机位置pose是NeRF的输入并利用SFM算法生成三维模型。使用NeRF和Gaussian Splatting进行三维重建必备的工具。
1. 安装依赖
sudo apt-get install \git \cmake \ninja-build \build-essential \libboost-program-options-dev \libboost-filesystem-dev \libboost-graph-dev \libboost-system-dev \libeigen3-dev \libflann-dev \libfreeimage-dev \libmetis-dev \libgoogle-glog-dev \libgtest-dev \libsqlite3-dev \libglew-dev \qtbase5-dev \libqt5opengl5-dev \libcgal-dev \libceres-dev2. 安装colmap
git clone https://github.com/colmap/colmap.git
cd colmap
mkdir build
cd build
sudo cmake .. \-D CMAKE_CUDA_COMPILER/usr/local/cuda-11.3/bin/nvcc ../CMakeLists.txt \-D CMAKE_CUDA_ARCHITECTURES89
cd ..
sudo make -j24
sudo make install注意 更改以上命令中cuda路径以及最后的显卡算力75代表Turing架构如RTX 20系列80代表Ampere架构如RTX 30系列89为RTX4080 显卡等
3.使用colmap
3.1 可视化界面使用
使用命令打开colmap
colmap gui打开界面如下
1.创建 project_cat 文件夹把图片放 project_cat/images 下 2.执行 Automatic reconstruction 重建如下‘ 需要等待比较久的时间最开始比较占用CPU,大概执行的是特征点计算和匹配一类的后面会占用比较大的GPU使用率GPU内存占用大概2G. 到下面的界面后表明完成。 同时介绍了可视化sparse, dense, mesh 模型结果的方法。最终效果如下 一些参数说明 Rotate model: Left-click and drag. Shift model: Right-click or -click (-click) and drag. Zoom model: Scroll. Change point size: -scroll (-scroll). Change camera size: -scroll. 红色的表示相机拍摄位置的符号 Adjust clipping plane: -scroll. 距离观察视点一定距离的点会被 clipped Select point: Double-left-click point (change point size if too small). The green lines visualize the projections into the images that see the point. The opening window shows the projected locations of the point in all images. 3.2 Nerfstudio命令行调用Colmap 除以上可视化界面直接计算图片的pose以外还可以用Nerfstudio调用colmap
ns-process-data images --sfm-tool hloc --feature-type superpoint --matcher-type superglue --data /path/to/IMG --output-dir /path/to/IMG 其优点是利用superpoint 和 superglue深度特征替代原始的sift提取特征
四、使用NeRFStudio进行三维重建
4.1.通过colmap生成数据集也可从网上如https://data.nerf.studio/nerfstudio/ 下载lego 乐高玩具测试集并拷贝到nerfstudio的data/nerfstudio目录下data/nerfstudio需自己创建;
4.2.采用colmap生成数据集时需执行如下命令生成transforms.json
ns-process-data images --data data/nerfstudio/lego/train --output-dir data/nerfstudio/lego --camera-type perspective --matching-method exhaustive --sfm-tool colmap --crop-factor 0.0 0.0 0.0 0.04.3.训练命令如下迭代产生的checkpoint存储在outputs/lego/nerfacto目录下
ns-train nerfacto --data data/nerfstudio/lego --vis viewer --max-num-iterations 50000参数为数据路路径迭代次数等。还可添加其他参数用命令ns-render --help查看官方文档 训练进度如下图所示 训练结束后会显示本地浏览地址。打开web实时预览: https://viewer.nerf.studio/versions/23-04-10-0/?websocket_urlws://localhost:7007 ,如下图所示:
加载预训练模型继续训练命令为
ns-train nerfacto --data data/nerfstudio/person --load-dir outputs/person/nerfacto/2023-08-23_152364/nerfstudio_models加载预训练模型进行可视化查看
ns-viewer --load-config outputs/person/nerfacto/2023-04-23_152364/config.yml训练结果可以导出为 (1).渲染视频 (2).点云(3).mesh. 支持的自定义数据集类型https://docs.nerf.studio/en/latest/quickstart/custom_dataset.html ns-process-data各参数说明https://docs.nerf.studio/en/latest/reference/cli/ns_process_data.html 官方提供的数据集https://drive.google.com/drive/folders/19TV6kdVGcmg3cGZ1bNIUnBBMD-iQjRbG 五、3D GaussianSplatting安装与使用即将到来 一周内将更新此部分内容
五* CUDA安装附C编译器说明 提示安装cuda前首先要确保gcc与g编译器的版本与cuda版本相匹配。不确定的先看第5节
1、查看已安装的CUDA版本 所有已安装的CUDA版本默认保存在/usr/local路径下cd到该路径下通过ls命令查看 2、查看当前使用的CUDA版本 在/usr/local路径下通过 stat cuda 命令查看当前使用的CUDA版本
3、安装新的CUDA版本——CUDA11.3为例
3.1、下载对应版本的CUDA安装包: 链接选择下载runfile文件
3.2、在下载文件的目录下通过命令进行安装
sudo sh cuda_10.0.130_410.48_linux.run
## 安装时去掉对显卡驱动的安装如下图中去掉第一行3.3、修改环境变量 系统环境中修改cuda版本。执行以下命令打开环境路径在最后添加并保存
gedit ~/.bashrc## 默认为以上软连接的路径
export PATH/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export CUDA_HOME/usr/local/cuda## 也可以指定具体路径
export PATH/usr/local/cuda-11.3/bin:$PATH
export LD_LIBRARY_PATH/usr/local/cuda-11.3/lib64:$LD_LIBRARY_PATH保存环境变量
source ~/.bashrc4、CUDA版本的切换
4.1、删除原版本的cuda软连接
sudo rm -rf /usr/local/cuda4.2、建立新的指向cuda-10.0的软连接
sudo ln -s /usr/local/cuda-10.0 /usr/local/cuda5.切换gcc与g版本 cuda支持的最高版gcc与g如下表大部分人都需要降级gcc 安装对应版本gcc与g这里以cuda11.3对应的9.5为例
sudo apt-get install gcc-9
sudo apt-get install g-9随后进入/usr/bin目录下删除旧版本gcc/g文件这里只是删除了软连接
cd /usr/bin
sudo rm gcc g最后将gcc/g和新安装的gcc-9/g±9关联起来
sudo ln -s gcc-9 gcc
sudo ln -s g-9 g查看最新版本
gcc -V其他切换版本方法gcc版默认使用优先级最高的版本。设置gcc 10优先级为100设置gcc 9优先级为70。那么默认使用gcc10。
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-10 100 --slave /usr/bin/g g /usr/bin/g-10 --slave /usr/bin/gcov gcov /usr/bin/gcov-10
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 70 --slave /usr/bin/g g /usr/bin/g-9 --slave /usr/bin/gcov gcov /usr/bin/gcov-9随后使用以下命令来选择版本默认选择第1行的序号为0
sudo update-alternatives --config gcc
