泉州建行 网站,咸宁市网站建设,上海网站外包建设,建设通网站是什么网站作者#xff1a; Herman Ye Galbot Auromix 版本#xff1a; V1.0 测试环境#xff1a; Ubuntu20.04 更新日期#xff1a; 2023/08/08 注1#xff1a; 本文内容中的硬件由 Galbot 提供支持。 注2#xff1a; Auromix 是一个机器人爱好者开源组织。 注3#xff1a; 本文在…作者 Herman Ye Galbot Auromix 版本 V1.0 测试环境 Ubuntu20.04 更新日期 2023/08/08 注1 本文内容中的硬件由 Galbot 提供支持。 注2 Auromix 是一个机器人爱好者开源组织。 注3 本文在更新日期经过测试确认有效。
Azure Kinect DK使用教程
Azure Kinect DK 是一款开发人员工具包配有先进的 AI 传感器提供复杂的计算机视觉和语音模型。 Kinect 将深度传感器、带有视频摄像头的空间麦克风阵列和方向传感器整合成一体式的小型设备提供多种模式、选项和软件开发工具包 (SDK)。 DK的硬件
RGB相机 Azure Kinect DK 包含 OV12A10 12MP CMOS 滚动快门传感器。深度相机 Azure Kinect DK 集成了 Microsoft 设计的 1 兆像素时差测距 (ToF) 深度相机。IMU 嵌入式惯性测量单元 (IMU) 为 LSM6DSMUS包含加速度传感器和陀螺仪。 加速度传感器和陀螺仪同时按 1.6 kHz 采样。 样本以 208 Hz 的频率报告给主机可以通过SDK来读取。七麦克风阵列 正六边形x6中心x1 标准 USB 音频类 2.0 设备的优质七麦克风环形阵列 DK的供电与数据传输
方式1.电源与数据拆分输入线
DK-Type-C转Type-A - PC DK-DC5V转Type-A- PC
方式2.电源和数据合并线
DK-Type-C转Type-C- PC
一、安装SDK相关软件包
警告 对于Ubuntu20.04用户请直接参考安装软件包- 5.安装k4a-tools-解决方法不要执行以下步骤。
1.查看系统发行版和版本号
lsb_release -a结果类似如下
galbotubuntu:~$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 20.04.6 LTS
Release: 20.04
Codename: focal2.配置Microsoft软件包源
下载Microsoft的软件包配置文件然后将其写入到 /etc/apt/sources.list.d/microsoft-prod.list 文件中以配置系统以从Microsoft的软件源获取软件更新或安装软件包。
curl -sSL https://packages.microsoft.com/config/distribution/version/prod.list | sudo tee /etc/apt/sources.list.d/microsoft-prod.list替换distribution和version为Distributor ID: Ubuntu和Release: 20.04
示例如下
curl -sSL https://packages.microsoft.com/config/ubuntu/20.04/prod.list | sudo tee /etc/apt/sources.list.d/microsoft-prod.list3.配置Microsoft 存储库 GPG 公钥
下载公钥
下载 Microsoft 存储库的 GPG 公钥然后将其写入到系统的信任 GPG 目录中以便在之后的软件包验证过程中使用该公钥进行验证确保下载的软件包的安全性和真实性。 /etc/apt/trusted.gpg.d/microsoft.asc: 是要写入数据的目标文件。它作为系统的信任 GPG 目录中的一个文件存放了信任的 GPG 公钥。
curl -sSL https://packages.microsoft.com/keys/microsoft.asc | sudo tee /etc/apt/trusted.gpg.d/microsoft.asc注册、安装、删除认证相关软件包
注意 需要先下载packages-microsoft-prod.deb 可能是Microsoft安全认证相关包官方未提及。
wget https://packages.microsoft.com/config/ubuntu/20.04/packages-microsoft-prod.deb安装Microsoft安全认证相关包
sudo dpkg -i packages-microsoft-prod.deb安装后删除安装包文件以释放磁盘空间
rm packages-microsoft-prod.deb4.更新包索引
sudo apt update现在Microsoft 相关产品包能够通过sudo apt install microsoft_package_name正确安装。
5.安装k4a-tools
k4a-tools 包中包含 Azure Kinect查看器、Azure Kinect 录制器和 Azure Kinect 固件工具
sudo apt install k4a-tools -y报错
galbotubuntu:~$ sudo apt install k4a-tools
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package k4a-tools其他用户提出的相关IssueUnable to install k4a-tools in Ubuntu 20.04 该问题于2020年8月24日提出2023年8月8日仍未得到解决原因是SDK包在2023年8月8日只支持Ubuntu18.04。
根据另一个用户提出的Issue中的解决办法该用户于2020年10月17日提出该方法但具体的方法已有部分过时失效不可用通过参考该用户的思路重新提出解决方法如下。
解决方法
对于Ubuntu20.04用户解决方式及注释如下
清除旧配置
如果不幸已经按照微软官方提供的Ubuntu20.04 SDK安装方法来配置了需要先清理相关资源。
删除sources.list中有关Microsoft的内容
# Delete microsoft related line
sudo nano /etc/apt/sources.list删除packages-microsoft-prod
# remove packages-microsoft-prod
sudo apt remove packages-microsoft-prod删除sources.list.d中有关Microsoft的内容
# remove old 20.04 microsoft-prob.list
sudo rm /etc/apt/sources.list.d/microsoft-prod.list
sudo rm /etc/apt/sources.list.d/microsoft-prod.list.save 执行新配置
如果已经清除了旧配置或者在警告提示下直接跳到了这一步按照以下内容进行安装
通过模拟18.04的软件下载源来欺骗Ubuntu20.04使用18.04的文件同时指定了较老的版本以避免最新的传感器依赖等问题影响基础使用比如Azure Kinect ROS 驱动程序需要 v1.3.0 版本的 Azure Kinect Sensor SDK 才能编译。
# Download key and add to system key list
curl -sSL https://packages.microsoft.com/keys/microsoft.asc | sudo apt-key add -# Add Microsoft Ubuntu18.04 packages list to source
curl -sSL https://packages.microsoft.com/config/ubuntu/18.04/prod.list | sudo tee /etc/apt/sources.list.d/microsoft-prod.list# Update software source
sudo apt update# Upgrade software
sudo apt upgrade# Install package of Microsoft
sudo apt install libk4a1.3-dev -y
sudo apt install libk4abt1.0-dev -y
sudo apt install k4a-tools1.3.0 -y注意 另一种可行的方式是直接手动下载微软源的文件进行deb手动安装。因为微软服务器23.99.120.248虽然在亚东但使用魔法似乎速度还是很慢暂时不清楚原因如果下载时间过长时建议手动同时选择老版本的软件。 需要下载的文件如下 libk4abt1.1-dev libk4a1.4-dev k4a-tools 对于ARM架构设备 libk4a1.4-dev ARM
二、设置Udev规则
新建udev规则
sudo nano /etc/udev/rules.d/99-k4a.rules写入udev规则内容
# Bus 002 Device 116: ID 045e:097a Microsoft Corp. - Generic Superspeed USB Hub
# Bus 001 Device 015: ID 045e:097b Microsoft Corp. - Generic USB Hub
# Bus 002 Device 118: ID 045e:097c Microsoft Corp. - Azure Kinect Depth Camera
# Bus 002 Device 117: ID 045e:097d Microsoft Corp. - Azure Kinect 4K Camera
# Bus 001 Device 016: ID 045e:097e Microsoft Corp. - Azure Kinect Microphone ArrayBUS!usb, ACTION!add, SUBSYSTEM!usb_device, GOTOk4a_logic_rules_endATTRS{idVendor}045e, ATTRS{idProduct}097a, MODE0666, GROUPplugdev
ATTRS{idVendor}045e, ATTRS{idProduct}097b, MODE0666, GROUPplugdev
ATTRS{idVendor}045e, ATTRS{idProduct}097c, MODE0666, GROUPplugdev
ATTRS{idVendor}045e, ATTRS{idProduct}097d, MODE0666, GROUPplugdev
ATTRS{idVendor}045e, ATTRS{idProduct}097e, MODE0666, GROUPplugdevLABELk4a_logic_rules_end重启udev服务
sudo service udev restart设置用户组权限
sudo usermod -aG plugdev $USER重启设备
拔出设备USB线重新插入。
三、SDK基本测试
通过官方k4aviewer确认红外图、深度图、色彩图、麦克风阵列、IMU功能正常。
# Open a new terminal
k4aviewer四、DK ROS基本测试
注意 此处默认ROS1 Noetic已被正确安装并配置如果还没有安装ROS1请参考ROS1 Noetic一键安装脚本
下载、依赖安装、编译、配置
mkdir -p galbot_ws/src
cd galbot_ws/src
git clone https://github.com/microsoft/Azure_Kinect_ROS_Driver.git
cd ..
rosdep install --from-paths src --ignore-src -r -y
catkin_make
echo source ~/galbot_ws/devel/setup.bash ~/.bashrc
source ~/.bashrc运行
# Terminal 1
roslaunch azure_kinect_ros_driver driver.launch# Terminal 2
rviz添加DK可发布的话题数据在RViz中进行可视化如下
五、重要的缺陷
SDK默认不支持Ubuntu20.04、Ubuntu22.04Azure Kinect ROS Driver不支持自身的麦克风阵列Azure Kinect ROS Driver官方默认只支持ROS1 Melodic不使用直插而使用USB拓展坞可能会造成ROS启动问题
六、参考文献
官方
DK official docs DK official docs 中文 Azure Kinect Sensor SDK Github Sensor SDK官方下载 Sensor SDK API文档 Sensor SDK示例代码 Sensor SDK示例代码2 更新DK固件 SDK安装文档及对应版本固件下载 Azure Kinect ROS Driver 麦克风使用参考 语音服务案例 DK 硬件规格书 麦克风硬件规格书部分
第三方
image_proc setup-azure-kinect-on-jetson-x-nx_18.04 Azure Kinect SDK 及 ROS 驱动安装 Azure Kinect DK Python封装
