大数据培训多少钱,北京网站制作网站优化,如何提供网站建设公司,亚马逊品牌网站怎么做【Apache Doris】周FAQ集锦#xff1a;第 2 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目#xff01; 在这个栏目中#xff0c;每周将筛选社区反馈的热门问题和话题#xff0c;重点回答并进行深入探讨。旨在为广大用户和… 【Apache Doris】周FAQ集锦第 2 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目 在这个栏目中每周将筛选社区反馈的热门问题和话题重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。 通过这个每周 FAQ 栏目希望帮助社区小伙伴更好地了解和应用 Apache Doris促进经验交流和技术共享。 SQL问题
❓Q1 查询报错timeout when waiting for send fragments RPC
A1 fragments rpc通信超时导致处理步骤
检查网络是否正常可升级至2.x.x新版本2.0之前出现的较多2.0比较少出现该异常可参考如下相关参数调整后再观察
be.conf:
fragment_pool_thread_num_max 2048 fragment_pool_queue_size 4096 brpc_num_threads 256 fe.conf
remote_fragment_exec_timeout_ms 30000 具体可以查阅Doris论坛帖子 https://ask.selectdb.com/questions/D1F4/she-qu-wen-ti-timeout-when-waiting-for-send-fragments-rpc-yi-chang/E1G4
❓Q2 为什么with select语法兼容但insert into with select不支持
A2 两种方式参考
insert into tabl with lable xxxinsert into table (xxx)
具体demo可以查阅官方文档对应章节 https://doris.apache.org/zh-CN/docs/data-operate/import/import-way/insert-into-manual/
数据操作问题
❓Q1 导入报错get tableList write lock timeout
A1 如下
通常是因为FE JVM内存设置太小或者FE/BE混布导致的出现该异常时单独打一个 jstack联系社区同学具体分析 jstack -l pid 1.js 具体可以查阅Doris论坛帖子 https://ask.selectdb.com/questions/D1O5/doris-2-0-4-get-tablelist-write-lock-timeout
❓Q2 stream load时报错[PUBLISH TIMEOUT]transaction commit successfully, BUT data will be visible later
A2 导入实际时成功的只是延迟可见。在Apache Doris 2.0.4已优化建议升级至2.0.4的版本。 Release 2.0.4可以查阅 https://doris.apache.org/zh-CN/docs/releasenotes/release-2.0.4
❓Q3 表中有个insertTime字段是默认生成时间的streamload导入csv数据不包含insertTime时报错actual column number in csv file is less than schema column number
A3 如果指定 columns 需要包含所有表字段例如 -H “columns: a,b,c,d,insertTimecurrent_timestamp()”
运维常见问题
❓Q1 BE无法正常启动
W0304 16:03:13.052549 14927 olap_meta.cpp:80] rocks db open failed, reason:IO error: While lock file: /data/doris/be/storage/meta/LOCK: Resource temporarily unavailable W0304 16:03:13.053174 14927 data_dir.cpp:203] init OlapMeta failed, error: [IO_ERROR]open rocksdb failed, path/data/doris/be/storageA1 如下
be节点的磁盘损坏需要检查目录磁盘是否健康确认是否有自动拉起进程可能是连续启动be导致 a. 若有自动拉起进程则先stop b. 将be/storage/meta的LOCK文件移走 c. 重启be即可
❓Q2 是否可以跨2个机房搭建Doris集群
A2 如下
不建议跨机房部署跨机房之间的延迟一般是毫秒级正常同机房时延级别在0.1ms以内容易频繁出现brpc timeout异常如果是主备场景可以使用CCRApache Doris 2.0 推出跨集群数据复制功能
❓Q3 FE集群异常fe.log Clock delta: xxxx ms. between Feeder: xxxx and this Replica exceeds max permissible delta: xxxx ms
A3 非主 FE 到主 FE 主机之间的最大可接受时钟偏差超过默认值5秒导致需要开启 ntp 确保时间同步小于默认的5秒时差。由fe的max_bdbje_clock_delta_ms参数控制。 FE配置项 https://doris.apache.org/zh-CN/docs/admin-manual/config/fe-config
❓Q4 Doris出现事务回滚失败后回滚失败的数据会怎么处理
A4 内部会有 GC 的逻辑去定期删除清理。
其它问题
❓Q 基于Doris做数据分层和实时计算有哪些方案
A 关于Doris做数据分层和实时计算的方案可参考
借助外部调度工具比如DolphinScheduler按分钟级微批调度分层物化视图实时地同步聚合预聚合2.1版本会发布多表物化视图相当于大部分场景可以不借助外部调度工具在Doris内部即可实现异步定时分层了Flink APP中进行分层将数据sink至doris例如ods - kafka - flink - dw - kafka - flink - doris后续规划doris binlog即可实现ods - doris - flink当前还未出具体计划、可以持续关注中
在doris binlog未发之前大部分用户选择的是前两种方式因为绝大多数用户场景是允许3-5分钟左右的数据可见延迟。
关于社区 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库以极速易用的特点被人们所熟知仅需亚秒级响应时间即可返回海量数据下的查询结果不仅可以支持高并发的点查询场景也能支持高吞吐的复杂分析场景。 如果您对 Apache Doris 感兴趣可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组
官方文档
社区论坛
GitHub
dev邮件组devdoris.apache.org
非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧或者向dev邮件组提交反馈和意见。
相信您的参与将帮助Apache Doris变得更加完善。
