网站建设起来还需要花钱吗,网站名称是什么,网站建设 项目经验,网站开发公司上海1. 背景
TDengine 的 taos.cfg 中配置项及使用 SQL 命令 alter 修改的系统变量之间的关系如何#xff0c;哪些是持久存储项#xff0c;哪些设置是临时项#xff0c;这章将详细说明。
本文是技术参考资料#xff0c;请收藏。
2.定义
1. 全局配置参数 全局配置参数#…
1. 背景
TDengine 的 taos.cfg 中配置项及使用 SQL 命令 alter 修改的系统变量之间的关系如何哪些是持久存储项哪些设置是临时项这章将详细说明。
本文是技术参考资料请收藏。
2.定义
1. 全局配置参数 全局配置参数作用于集群内所有 dnode 且在集群内必须保持一致的变量也称为全局变量、系统变量 或全局参数。例如: timezone/charset/countAlwaysReturnValue 以上配置必须保持一致不一致则程序返回结果可能会有问题。
2.局部配置参数 局部配置参数作用于集群内某个 dnode 或客户端(taosc视为集群的一个节点) 但不要求集群内必须保持一致的变量也称为局部参数 或 局部变量根据作用范围可分为服务端(dnode)局部变量、客户端(taosc)局部变量示例如下
1) 只适用于 dnode 的局部配置参数
例如dDebugFlag/vDebugFlag/numOfMnodeReadThreads/numOfVnodeReadThreads 2) 只适用于客户端 taosc 的局部配置参数
例如cDebugFlag/minSlidingTime 3) 既适用于 dnode 也适用于 taosc 的局部配置参数 例如debugFlag/firstEp/numOfLogLines/logDir/tempDir 客户端局部配置参数通过 clientHb 进行同步默认与服务端保持一致需要与服务端不一致的配置参数可手动在客户端所使用的配置文件中配置。 注在本文中”变量“ 和 ”配置参数“ 具有相同含义视为等价。
3.行为说明 系统变量 查看系统变量
show variables/show cluster variables;
// 查看系统变量 二者等价
select * from information_schema.ins_configs;
// 查看系统变量相比较 show variables 缺少 scope 列
目前show variables 与 select * from ins_configs 输出内容基本一致但是用了两种完全不同的实现方式。实际上二者统一使用 ins_configs 的机制即可。 增加 category 以区分变量类别global 表示系统变量local 表示局部变量。示例如下因为 show variables 的作用就是展示系统变量所以以下输出中的 category 字段的值均为 global。 taos show variables; name | value | scope| category| statusInterval | 1 | statics | global| timezone | Asia/Shanghai (CST, 0800) | sysconf | global| locale | en_US.UTF-8 | sysconf | global| charset | UTF-8 | sysconf | global| monitor | 1 | monitor | global| monitorInterval | 30 | monitor | global| slowLogThreshold | 10 | slowlog | global| slowLogMaxLen | 4096 | slowlog | global| slowLogScope | QUERY | slowlog | global| ... Query OK, 9 row(s) in set (0.002328s) 系统变量列表 以下变量在 3.3.4.0 版本开始被归类为系统变量: 变量名称说明取值范围默认值动态修改类别适用范围备注timezone时区系统时区是sysconfserver不建议下发至客户端locale系统区位信息及编码格式系统 local是sysconfserver不建议下发至客户端 字符集编码系统 charset是sysconfserverenableWhiteList是否打开白名单功能[0,1]0是permissionserverstatusIntervaldnode 向 mnode 报告状态间隔[1,30]1 秒是statisservermonitor是否开启监控0,11 开启是monitorservermonitorInterval监控上报间隔[1,86400]30 秒是monitorservermonitorComp在上报 monitor 消息时是否采用压缩方式0: 不压缩, 1压缩0是/重启生效monitorservermonitorForceV2是否使用V2版本监控0/11是monitorservermonitorLogProtocol是否打印监控日志0/10是monitorservermonitorMaxLogs在每个 montior 上报时间间隔可以缓存的待上报日志条数[1,1000000]100是monitorserveraudit是否开启申计功能0:不开启,1:开启1是auditserverauditCreateTable是否针对建表开启申计功能0:不开启,1:开启1是auditserverauditInterval申计上报周期[500,200000] 毫秒5000是auditservercompressMsgSize表示是否对RPC消息进行压缩-1: 所有消息都不压缩 0: 所有消息都压缩 N: N0表示大于N字节的消息进行压缩-1是/重启生效compressbothcompressor默认压缩算法ZSTD_COMPRESSOR是compressservercurRangecurrent quantization intervals[0,65536]100是compressserverdPrecisiondouble column precision[0.0,1000000.0]1E-16是compressserverfPrecisionfloat column precision[0.0, 100000.0]0.00000001是compressserverifAdtFseADT-FSE algorithom or original huffman algorithom0,10是compressservermaxRangemax quantization intervals[0,65536]500是/重启生效/暂不支持compressserverarbCheckSyncIntervalSec双活模块同步间隔时间[1,60*24*2]10否/暂不支持dual replicaserverarbHeartBeatIntervalSec双活模块心跳间隔时间[1,60*24*2]5否/暂不支持dual replicaserverarbSetAssignedTimeoutSec双活模块超时时间[1,60*24*2]30否/暂不支持dual replicaserverencryptAlgorithm加密算法否/暂不支持encryptserverencryptScope加密范围否/暂不支持encryptserverexperimental实验开关0/11是/重启生效querybothmaxTsmaNum集群内一共可创建TSMA个数受参数maxTsmaNum限制.注意, 由于TSMA后台计算使用流计算, 因此每创建一条TSMA, 将会创建一条流, 因此能够创建的TSMA条数也受当前已经存在的流条数和最大可创建流条数限制.[0,3]3是queryserverqueryRsmaTolerance表示用于判定查询哪一级 rsma 数据时的容忍时间单位为毫秒[0, 900000]1000否queryserverqueryRspPolicy查询响应策略0: delay 1: quick0是queryservercountAlwaysReturnValuecount/hyperloglog函数在输入数据为空或者NULL的情况下是否返回值0返回空行1返回 01是querybothuptimeIntervaldnode 向 mnode 报告启动状态的时间间隔单位为秒[1,100000]300是statisservertimeseriesThresholdvnode 测点数变化上报门限值[0,2000]50是statisservers3Accesskeys3 密钥是/重启生效s3servers3BucketNames3 桶名是/重启生效s3servers3Endpoints3 使用的 endpoint是/重启生效s3servers3PageCacheSizes3 page cache 缓存页数目单位页。最小值4最大值1024*1024*1024。[4,1024*1024*1024]4096是/重启生效s3servers3UploadDelaySecdata 文件不再变动后延迟多久上传至 s3单位秒[1,60 * 60 * 24 * 30]60是s3servermndSdbWriteDelta单个文件的日志数目阈值到达此阈值mnode元数据会落盘此时将产生新的wal文件。条200是sdbservercheckpointIntervalcheckponit 同步间隔[60,1800]60是streamserverconcurrentCheckpoint当前 checkpoint[1,10]1是streamserverdisableStream是否启用流计算功能0/10是/重启生效streamserverresolveFQDNRetryTime启动时解析FQDN失败会重试一秒一次该参数指定重试的次数单位秒100否syncserversyncElectIntervalraft定时器在 syncElectInterval 与 2 * syncElectInterval 2.5秒-5秒之间选择一个随机值作为下次发起选举的时间。单位毫秒2500是syncserversyncHeartbeatIntervalraft leader 向follwer发送心跳消息的时间间隔以维持自己的leader状态。单位毫秒1000是syncserversyncHeartbeatTimeoutraft leader 在 指定时间内如果收不到quorum-1个follower 心跳消息的回应则认为当前集群内没有quorum个节点互通无法正常工作。对于新来的请求直接拒绝服务。单位毫秒20000是syncserversyncSnapReplMaxWaitN[16,4096]128是syncserversyncLogBufferMemoryAllowed[104857600,INT64_MAX]0syncservertelemetryInterval用来上传 telemetry 的时间间隔单位为秒仅用于内部测试[0,200000]43200是telemetrybothtelemetryPort上传 telemtry 信息的服务所监听的端口仅用于内部测试[1, 65056]80否telemetrybothtelemetryReporting是否允许 TDengine 采集和上报 基本使用信息0: 不允许 1允许1否telemetrybothtelemetryServer上传 telemetry 信息的域名 仅用于内部测试telemetry.taosdata.com否telemetrybothmqRebalanceInterval检测rebalance的间隔时间2 秒是tmqservertmqMaxTopicNum支持最大的 topic 数量是tmqservertmqRowSize是tmqservertransPullupInterval当有对 mnode 操作因为错误而未执行结束时mnode 下次发起重试的时间间隔[1,10000]2是transactionserverkeepAliveIdle空闲连接保持时间[1,7200000]60是transportbothmaxRetryWaitTime重连最大超时时间[0,86400000]10000是/重启生效transportbothmaxShellConns一个 dnode 容许的连接数[10,50000000]5000是/重启生效transportservernumOfRpcSessions创建的最大连接数[1,100000]30000是/重启生效transportbothnumOfRpcThreadsRPC的收发线程数目最大值为 20CPU核数的1/2是/重启生效transportbothrpcQueueMemoryAllowed接收到的 RPC 消息如果没有被处理会暂存在 dnode 的待处理队列中通过这个值控制该队列的大小避免累积消息过多导致内存无限上涨直到 OOM100M ~ 10G系统总内存的 1/10是transportbothshellActivityTimer[1,120]3是/重启生效transportbothtimeToGetAvailableConn获得可用连接的最长等待时间,单位为毫秒[10,50000000]500000是/重启生效transportbothtsReadTimeout单个请求最小超时时间取值范围 64-604800单位为秒默认值 900compactPullupInterval是tsdbservercacheLazyLoadThreshold是tsdbservermaxCompactConcurrency控制 1 个 dnode 上 compact 任务的并发度[0, 16]0 表示不限制2是tsdbserverretentionSpeedLimitMB数据文件多级存储间迁移限速[0,1024]0 不限速是tsdbservertrimVDbIntervalSec数据文件迁移触发周期[1,100000]3600是tsdbserverttlChangeOnWrite表的修改操作是否改变表的TTL0,10 不改变是ttl服务端ttlBatchDropNum是ttlserverttlFlushThreshold是ttlserverttlPushIntervalttl 检测超时频率是ttlserverttlUnitttl 参数的单位是ttlserverudf是否启动 udf 功能是/重启生效udfserverudfdLdLibPath是/重启生效udfserverudfdResFuncs是/重启生效udfservermndLogRetention累积文件的日志数目阈值到达此阈值会进行清理清理从最老的日志文件开始。单位条[500,10000]2000是walserverwalFsyncDataSizeLimit[100*1024*1024,INT64_MAX]100*1024*1024是walserverrandErrorChance[0,10000]1否catalogbothrandErrorDivisortelemetryInterval[1,INT64_MAX]10001否catalogbothrandErrorScope[0,INT64_MAX]否catalogbothnumOfCoresCPU 核数[1,100000]2是/重启生效confbothcrashReporting是否上报crash0/1企业版0 社区版: 1是crashbothenableCoreFile是否生成 core 文件0/11是crashbothslowLogThreshold慢查询门限值大于等于为慢查询[1, INT32_MAX]10 秒是slowlog客户端服务端配置下发给客户端slowLogThresholdTest慢查询门限值大于等于为慢查询(仅用于测试)[0, INT32_MAX]INT32_MAX是slowlog客户端服务端配置下发给客户端slowLogMaxLen慢查询日志最大长度[1,16384]4096是slowlog客户端服务端配置下发给客户端slowLogScope慢查询记录类型ALL, QUERY, INSERT, OTHERS, NONEALL是slowlog客户端服务端配置下发给客户端slowLogExceptDb指定的 db(目前只支持一个) 不上报慢查询是slowlog客户端服务端配置下发给客户端 修改系统变量
通过任意客户端修改系统变量该系统变量的修改会被自动传递到集群中的所有 dnode 并被持久化在集群重启后仍然有效。修改系统变量使用如下命令。 alter all dnodes ${systemVariableName} ${value}; 校验新的系统变量取值是否在取值范围内如果不在取值范围内则报错并提示用户正确的取值范围。 使用 alter dnode dnode_id 会提示参数不合法。 dnode 局部变量 查看 dnode 变量 增加了类别 catetory 列以区分不同类型的变量。 目前show dnode {dnodeId} variables 会显示适用于 dnode 的所有变量包含局部变量和系统变量。
dnode_id | name | value | scope| category| 1 | firstEp | u3-31:6030 | cluster | local | 1 | secondEp | u3-31:6030 | cluster | local | 1 | fqdn | u3-31 | cluster | local | 1 | serverPort | 6030 | cluster | local | 1 | tempDir | /tmp/ | conf | local | 1 | minimalTmpDirGB | 1.000000 | query | local | 1 | shellActivityTimer | 3 | transport | local | 1 | compressMsgSize | -1 | compress | local | ... Query OK, 194 row(s) in set (0.010489s) dnode 局部变量列表
该列表包含在 dnode 生效的配置参数不包含全局配置参数。 变量名称说明取值范围默认值动态修改类别适用范围备注forceReadConfig强制使用配置文件中的参数。[0,1]0否firstEptaosd 或者 taos 启动时主动连接的集群中首个 dnode 的 endpointlocalhost:6030否clusterbothfqdn数据节点的 FQDN。如果习惯 IP 地址访问可设置为该节点的 IP 地址。缺省为操作系统配置的第一个 hostname否clusterbothsecondEptaosd 或者 taos 启动时如果 firstEp 连接不上尝试连接集群中第二个 dnode 的 endpoint无否clusterbothserverPorttaosd 启动后对外服务的端口号6030否clusterbothconfigDir配置文件目录/etc/taos/否confbothlogDir日志目录/var/log/taos/是/重启生效confbothscriptDir配置文件目录/etc/taos/否confbothtempDir该参数指定所有系统运行过程中的临时文件生成的目录/tmp/是confbothdataDir数据目录/var/lib/taos否confserversupportVnodes节点支持的最大 vnode 数[0,4096]CPU 核数的 2倍是confservernumOfCommitThreads异步落盘模式下的后台落盘线程数目[1, 1024]4是/重启生效tsdbserverdebugFlag日志级别131是debugbothrpcDebugFlag日志级别131是debugbothsimDebugFlag日志级别131是debugbothtmrDebugFlag日志级别131是debugbothuDebugFlag日志级别131是debugbothdDebugFlag日志级别131是debugserverfsDebugFlag日志级别131是debugserveridxDebugFlag日志级别131是debugservermDebugFlag日志级别131是debugservermetaDebugFlag日志级别131是debugserversDebugFlag日志级别131是debugserversmaDebugFlag日志级别131是debugserversndDebugFlag日志级别131是debugserverstDebugFlag日志级别131是debugservertdbDebugFlag日志级别131是debugservertqDebugFlag日志级别131是debugservertsdbDebugFlag日志级别131是debugserverudfDebugFlag日志级别131是debugservervDebugFlag日志级别131是debugserverwDebugFlag日志级别131是debugserverqDebugFlag日志级别131是debugbothasyncLog异步日志0/11是logbothlogKeepDays日志保留天数[-365000365000]0(1天内)是logbothminimalLogDirGB日志目录最小可用空间[0.001, 10000000]1GB是logbothnumOfLogLines日志文件最大行数[1000,2000000000]10000000是logbothmonitorFqdntaosKeeper 监控服务的 FQDN是/重启生效monitorservermonitorPorttaosKeeper 监控服务端口号[1,65056]6043是/重启生效monitorservertsShareConnLimit一个链接可以共享的请求的数目取值范围 1-512默认值 101-51210是/重启生效minimalTmpDirGB该参数指定临时文件夹所需要保留的最小空间小于这个空间taosd 服务启动会失败。[0.001, 10000000]1是querybothtagFilterCache0/10否querybothfilterScalarMode强制使用标量过滤模式。0:关闭;1:开启。0/10否queryservernumOfMnodeReadThreadsmnode 用来处理读请求的线程数目[1,4]CPU核数的1/8是/重启生效queryservernumOfQnodeQueryThreadsqnode 用来处理请求的线程数[1, 1024]CPU核数的2倍是/重启生效queryservernumOfVnodeFetchThreadsvnode 用来处理数据请求和控制消息的线程数目[4,1024]CPU核数的1/4是/重启生效queryservernumOfVnodeQueryThreadsvnode 用来处理查询请求的线程数目[1, 1024]CPU核数的2倍是/重启生效queryservernumOfVnodeRsmaThreadsvnode 用来处理 rsma 数据生成的线程数[1,1024]max(cpu核数4是/重启生效queryserverpqSortMemThreshold执行计划中sort Node判断是否使用优先级队列进行纯内存排序的内存估算阈值, 通过Table Scan的行长度以及配置大小估算出内存中能存下的最大行数, 若limit的行数小于此行数, 则会进入该逻辑单位: M 1. 服务端配置, 不能动态调整 2. 取值范围: 1 ~ 10240, 即1MB ~ 10GB256否queryserverqueryBufferSize现在 3.0 没有应用内存控制策略该参数暂不起作用[-1, 500000000000]-1是/重启生效queryserverrsyncPortrsync 端口号[1,65535]873是/重启生效streambothcheckpointBackupDir是/重启生效streamservermaxStreamBackendCache单个vnode上rocksdb的cache限制到达此阈值之后会进行write buffer 的 flush, 可能进一步触发rocksdb 内部的compaction.单位 M 1. 服务端的配置, 不能动态调整如果需要调整需要重启taosd 2. 如果用户配置为M会向上取整到2^N, 假设用户配置25那么会去整到32 3. 取值范围: 16~1024128是/重启生效streamserverratioOfVnodeStreamThreads[0.01,4]0.5是/重启生效streamserversnodeAddress是/重启生效streamserverstreamAggCnt[2,INT32_MAX]INT32_MAX是streamserverstreamBufferSize流计算缓存大小[0,INT64_MAX]128M是/重启生效streamserverstreamSinkDataRate[0.1,5]2是/重启生效streamserverminDiskFreeSize是tsdbserverminimalDataDirGB否tsdbserverbypassFlag是both 查看 dnode 只读局部变量
使用以下命令查看 readonly 变量。readonly 变量大多为系统信息仅做展示但不可修改 show dnode {dnodeId} variables readonly dnode 只读局部变量列表 变量名称说明取值范围默认值动态修改类别适用范围备注buildinfo版本打包信息否buildbothcompatible_version兼容版本号否buildbothgitinfo打包使用的 commit id否buildbothversiontaosd 版本号否buildbothopenMax系统信息否osbothos machine系统信息否osbothos nodename系统信息否osbothos release系统信息否osbothos sysname系统信息否osbothos version系统信息否osbothpageSizeKB系统信息否osbothstreamMax系统信息否osbothtotalMemoryKB系统信息否osbothavx系统信息否perfbothavx2系统信息否perfbothavx512系统信息否perfbothAVX512Enable是否开启 AVX5120/10是perfbothfma系统信息否perfbothsimdEnable是否开启simd0/10是perfbothssd42系统信息否perfboth 修改 dnode 局部变量
dnode 的局部变量被修改后只对当前 dnode 生效并被自动持久化在 dnode 重启后仍然有效。 alter dnode ${dnodeId} ${dnodeVariableName} ${value} alter all dnodes ${dnodeVariableName} ${value} 检查局部变量是否支持动态修改如果不支持则报错提示用户当前局部变量不支持修改。 检查新的局部变量取值是否在取值范围内如果不在取值范围内则报错并提示用户当前局部变量的取值范围。 客户端taosc局部变量 查看客户端变量 增加了类别 catetory 列以区分不同类型的变量。 show local variables 显示应用于当前客户端 (taosc实例的变量 taos show local variables; name | value | scope| category| firstEp | u3-31:6030 | cluster | local| secondEp | u3-31:6030 | cluster | local| fqdn | u3-31 | cluster | local| serverPort | 6030 | cluster | local| tempDir | /tmp/ | conf | local| minimalTmpDirGB | 1.000000 | query | local| shellActivityTimer | 3 | transport | local| compressMsgSize | -1 | compress | local| queryPolicy | 1 | query | local| enableQueryHb | 1 | query | local| enableScience | 0 | query | local| querySmaOptimize | 0 | query | local| queryPlannerTrace | 0 | query | local| queryNodeChunkSize | 32768 | query | local| ... Query OK, 80 row(s) in set (0.001913s) 客户端taosc局部变量列表
该列表包含在 taosc 生效的配置参数不包含全局配置参数。 变量名称说明取值范围默认值动态修改类别适用范围备注firstEptaosd 或者 taos 启动时主动连接的集群中首个 dnode 的 endpointlocalhost:6030是clusterbothfqdn数据节点的 FQDN。如果习惯 IP 地址访问可设置为该节点的 IP 地址。缺省为操作系统配置的第一个 hostname是clusterbothsecondEptaosd 或者 taos 启动时如果 firstEp 连接不上尝试连接集群中第二个 dnode 的 endpoint无是clusterbothserverPorttaosd 启动后对外服务的端口号6030是clusterbothconfigDir配置文件目录否confbothlogDir日志目录/var/log/taos/是confbothtempDir临时文件路径否confbothdebugFlag日志级别131是debugbothrpcDebugFlag日志级别131是debugbothsimDebugFlag日志级别131是debugbothtmrDebugFlag日志级别131是debugbothuDebugFlag日志级别131是debugbothqDebugFlag日志级别131是debugbothcDebugFlag日志级别131是debugclientjniDebugFlag日志级别131是debugclientasyncLog异步日志0/11是logbothlogKeepDays日志保留天数[-365000365000]0(1天内)是logbothminimalLogDirGB日志目录最小可用空间[0.001, 10000000]1GB是logbothnumOfLogLines日志文件最大行数[1000,2000000000]10000000是logbothminimalTmpDirGB该参数指定临时文件夹所需要保留的最小空间小于这个空间taosd 服务启动会失败。[0.001, 10000000]1YquerybothtagFilterCache0/10是querybothmetaCacheMaxSize指定单个客户端元数据缓存大小的最大值单位 MB[-1,INT32_MAX]-1 (无限制)是catalogclientuseAdapter是否使用 adapter0/10是insertclientminIntervalTimeinterval窗口的最小允许值[1,1000000] 单位同数据库时间单位1是queryclientminSlidingTimesliding 的最小允许值[1,1000000] 单位同数据库时间单位1是queryclientenableQueryHb0/11否queryclientenableScience是否开启科学计数法显示浮点数0/10是queryclientkeepColumnNameLast、First、LastRow 函数查询且未指定别名时自动设置别名为列名不含函数名因此 order by 子句如果引用了该列名将自动引用该列对应的函数1 表示自动设置别名为列名(不包含函数名) 0 表示不自动设置别名。0是queryclientmaxTsmaCalcDelay单位 s用于控制用户可以接受的 TSMA 计算延迟若 TSMA 的计算进度与最新时间差距在此范围内 则该 TSMA 将会被使用 若超出该范围 则不使用最小值 60010 分钟 最大值 864001 天默认值 60010 分钟是queryclientmultiResultFunctionStarReturnTags查询超级表时last(\*)/last_row(\*)/first(\*) 是否返回标签列查询普通表、子表时不受该参数影响0不返回标签列1返回标签0是queryclientnumOfTaskQueueThreadsTaos-c-driver 业务callback处理线程数最大值为10CPU核数的1/2是/重启生效queryclientqueryMaxConcurrentTables[INT64_MIN,INT64_MAX]200否queryclientqueryPlannerTrace查询计划是否输出详细日志0/10是queryclientqueryNodeChunkSize[1024,128*1024]30*1024是queryclientqueryPolicy查询语句的执行策略1: 只使用 vnode不使用 qnode; 2: 没有扫描算子的子任务在 qnode 执行带扫描算子的子任务在 vnode 执行; 3: vnode 只运行扫描算子其余算子均在 qnode 执行1是queryclientqueryTableNotExistAsEmpty是queryclinetquerySmaOptimize用于控制查询时是否使用TSMA1为使用, 0为不使用即从原始数据查询.0是queryclientqueryUseNodeAllocator0/11是queryclienttsmaDataDeleteMark单位毫秒, 与流计算参数deleteMark一致, 用于控制流计算中间结果的保存时间, 默认值为: 1d, 最小值为1h. 因此那些距最后一条数据时间大于配置参数的历史数据将不保存流计算中间结果, 因此若修改这些时间窗口内的数据, TSMA的计算结果中将不包含更新的结果. 即与查询原始数据结果将不一致.[60*60*1000,INT64_MAX]1天是queryclientsmlAutoChildTableNameDelimiter是schemalessclientsmlChildTableName是schemalessclientsmlDot2Underline只在client端起作用目的是为了兼容 schemaless 写入协议中已有存在点号.的逻辑。1: schemaless自动建表的表名如果有点号.会自动替换为下划线_ 0: 不进行替换保留 . Note: 如果配置了 smlChildTableName 手动指定子表名的话子表名里有点号.同样按照上面的配置逻辑处理。1是schemalessclientsmlTagNameschemaless tag 为空时默认的 tag 名字_tag_null是schemalessclientsmlTsDefaultNameschemaless自动建表的时间列名字通过该配置设置_ts是schemalessclientmaxInsertBatchRowsbypassFlag是both 查看客户端 (taosc) 只读局部变量
使用以下命令查看 readonly 变量。readonly 变量大多为系统信息仅做展示但不可修改 show local variables readonly 客户端 (taosc) 只读局部变量列表 变量名称说明取值范围默认值动态修改类别适用范围备注buildinfo版本打包信息否buildbothcompatible_version兼容版本号否buildbothgitinfo打包使用的 commit id否buildbothversiontaosd 版本号否buildbothopenMax系统信息否osbothos machine系统信息否osbothos nodename系统信息否osbothos release系统信息否osbothos sysname系统信息否osbothos version系统信息否osbothpageSizeKB系统信息否osbothstreamMax系统信息否osbothtotalMemoryKB系统信息否osbothavx系统信息否perfbothavx2系统信息否perfbothavx512系统信息否perfbothAVX512Enable是否开启 AVX5120/10是perfbothfma系统信息否perfbothsimdEnable是否开启simd0/10是perfbothssd42系统信息否perfboth 修改客户端局部变量
通过 taos shell 或 API 修改客户端局部变量后在该 taos shell 实例或客户端程序的运行期间有效退出重启后失效需要重新设置。 alter local ${localVariableName} {value}; 检查局部变量是否支持动态修改如果不支持则报错提示用户当前局部变量不支持修改。 检查新的局部变量取值是否在取值范围内如果不在取值范围内则报错并提示用户当前局部变量的取值范围。 taosd 行为 启动时配置文件中 forceReadConfig 为 1
taosd 成功启动后会自动将所有生效的系统变量和局部变量无论它们的来源是配置文件还是默认值自动持久化到内部存储中该内部存储对用户不可见不可修改。人工修改内部存储的变量会导致不可预测的产品行为涛思数据不对此行为负责。
集群中每个节点的首次启动无论 forceReadConfig 是否打开均需要读取指定配置文件或者使用默认配置文件。 启动时配置文件中 forceReadConfig 为 0
如果启动时关闭 forceReadConfig 则 taosd 仅会读取 dataDir 参数然后自动使用系统上次运行时持久化的系统变量和局部变量。如果本次启动为该集群中本节点 taosd 的首次启动或者集群中不存在内部持久化的系统变量和局部变量则 taosd 会自动使用默认配置文件启动。如果默认配置文件不存在或存储配置错误则启动失败。 修改系统变量或 dnode 局部变量
在集群首次启动以后所有的配置参数修改都推荐使用 SQL 命令进行否则极易造成配置参数的错误、不一致以及过往配置的丢失。
部分参数需要重启后生效则不改动当前内存中的值仅做持久化避免前后参数不一致带来的问题。 细分场景 集群首次启动 集群中的第一个节点必须指定配置文件或者使用默认配置文件 集群中的第二到第N个节点同上如果配置文件中存在系统变量不一致的情况报错退出 集群中的某个节点重启在集群中其它节点仍然存活的情况下 (推荐)指定配置文件并且forceReadConfig配置为0需保证配置文件中包含 dataDir ,则使用持久化的局部变量;同时校验参数版本号是否落后于集群版本如果落后于集群则从集群中重新拉取系统变量否则使用本地存储的系统变量。 不推荐指定配置文件并且forceReadConfig配置为1则全部使用配置文件配置文件中没有的使用默认值启动如果存在与集群中系统变量不一致的情况则报错退出。重启成功后会自动覆盖持久化的局部变量。 集群停止后重新启动集群中的第一个节点 推荐指定配置文件并且forceReadConfig配置为0需保证配置文件中包含 dataDir ,则使用持久化的系统变量和局部变量。 不推荐指定配置文件并且forceReadConfig配置为1则全部使用配置文件配置文件中没有的使用默认值启动重启成功后会自动覆盖持久化的系统变量和局部变量。 taos shell 行为 启动 taos shell
taos shell 启动时如果指定配置文件则使用该配置文件如果不指定配置文件则使用默认配置文件。如果指定的配置文件或默认配置文件中有配置错误则启动失败。 修改 taos shell 所在客户端配置
如果希望对 taos shell 所使用的客户端配置参数进行修改最佳实践是修改配置文件以达到持久化目的并重启 taos shell。如果使用 SQL 命令动态修改也建议同步修改配置文件否则下次重启后要重复进行同样的动态修改。 如何新增参数 (供研发参考)
如何增加配置参数 增加磁盘 disk id 检测功能
背景
用户在停机后重启数据库服务前可能会忘记进行磁盘挂载在一个空目录下重启数据库服务并且用户不清楚数据已经丢失可能运行一段时间才会发现。这样无疑给用户造成了损失并且增加了运维成本。
功能概述
基于配置参数的持久化功能taosd 会在首次启动时持久化各个数据目录对应的 disk id 在 taosd 重启时会校验当前各个数据目录所对应的 disk id 和之前记录的 disk id 是否一致如果不一致则退出数据库服务并提示用户检查是否磁盘忘记挂载。如果用户主动切换磁盘可以通过设置参数diskIDCheckEnabled 跳过检查。 taosd 行为 集群初始化启动 集群中的节点重新启动 集群的升级 全局配置参数 更新立即生效 集群中的第一个节点启动时使用第一个节点的配置文件中的全局配置参数持久化全局配置参数如果没有在配置文件中配置则使用全局配置参数系统的默认值。 其余节点加入集群时发起请求拉取已经持久化的全局配置参数。 校验参数版本号是否落后于集群如果落后于集群则从集群中重新拉取系统变量否则使用本地存储dataDir中的全局配置参数。 升级时以下行为不需要特别关注 增加了全局配置参数 删除了配置参数 升级时以下行为需要特殊关注 修改了全局配置参数的默认值 即使修改了全局配置参数的默认值升级后仍然使用集群中持久化的值如果需要默认值生效需要手动执行 alter 。 全局配置参数 需要重启生效 同上 同上 升级时以下行为不需要特别关注 删除了配置参数 升级时以下行为需要特殊关注 修改了全局配置参数的默认值 即使修改了全局配置参数的默认值升级后仍然使用集群中持久化的值如果需要默认值生效需要手动执行 alter 。 增加了配置参数 升级后更新此类型配置参数需要再次重启才能生效。 局部配置参数 动态计算 集群节点在首次启动时将配置文件中配置的局部配置参数持久化到本地如没有设置则根据机器配置计算得出。 (推荐)指定配置文件并且forceReadConfig配置为0需保证配置文件中包含 dataDir ,我们将会使用持久化的局部变量或动态计算结果。具体行为可以参考以下列表 使用持久化的局部配置参数如果发生硬件资源变化需手动调整局部配置参数以适配新的硬件资源。 首次启动时在配置文件中配置过的局部配置参数 使用 alter 命令更改过的局部配置参数 使用动态计算结果如果发生硬件资源变化将重新计算配置参数的值无需手动调整。 既没有在配置文件中配置也没有使用 alter 命令更改的配置参数 不推荐指定配置文件并且forceReadConfig配置为1则全部使用配置文件配置文件中没有的使用动态计算结果启动。 升级时以下行为不需要特别关注 删除了配置参数 新增了动态计算的参数 升级时以下行为需要特殊关注 修改了动态计算参数的计算公式 该配置参数首次启动在配置文件中配置或使用 alter 命令更改过的配置参数即使在新版本修改了动态计算参数的计算公式升级后仍会使用已经持久化的值 需要用户手动 alter 调整配置参数。 如果该配置参数并没有在配置文件中配置同时也没有使用 alter 命令修改过那么升级后会重新计算该配置参数的值。 局部配置参数 集群节点在首次启动时将配置文件中配置的局部配置参数持久化到本地如没有设置则使用默认参数值。 (推荐)指定配置文件并且forceReadConfig配置为0需保证配置文件中包含 dataDir ,我们将会使用持久化的局部变量。 不推荐指定配置文件并且forceReadConfig配置为1则全部使用配置文件配置文件中没有的使用默认值启动。 升级时以下行为不需要特别关注 删除了配置参数 升级时以下行为需要特殊关注 修改了全局配置参数的默认值 即使修改了全局配置参数的默认值升级后仍然使用集群中持久化的值如果需要默认值生效需要手动执行 alter 。 增加了配置参数 升级后更新此类型配置参数需要再次重启才能生效。 forceReadConfig 行为
如果您不想使用配置参数的持久化功能可以使用 forceReadConfig 强制从配置文件读取配置参数覆盖本地持久化的配置参数但需要注意 forceReadConfig 仅对局部配置参数生效全局配置参数仍然以集群持久化的值为准。 4. 兼容性 新建集群无兼容性问题 旧集群升级 首次启动使用指定或默认的配置文件启动无兼容性问题 首次启动后不建议再通过修改配置文件的方式修改配置如果通过修改配置文件的方式则重启时要指定配置文件 首次启动后推荐只使用动态修改系统变量或局部变量的方式再次启动时不应指定配置文件则再次启动时会自动使用内部持久化存储的系统变量和局部变量无兼容性问题 降级 仅可降级到 做完 sdb 处理逻辑之后的版本具体版本会在发版后补充到这里。 如果降级到不支持本特性的版本则降级后要指定配置文件启动或使用默认配置文件启动曾经做过的配置修改均会丢失但无兼容性问题。
5. 运维 本特性的主要价值在于对运维的帮助修改系统变量或局部变量立即生效无需重启并在下次重启后依然有效。 最佳实践集群首次启动成功后不再使用配置文件通过 SQL 命令修改系统变量或局部变量重新启动 taosd 时不指定配置文件 Linux/Windows 平台的 systemd 脚本有可能需要进行修改service restart 所对应的命令行参数不能指定配置文件
6. 使用场景
动态修改系统变量或局部变量立即生效无需重启并在下次重启后依然有效。
7. 约束和限制 全局配置参数在出现网络分区之后恢复时可能会出现各个 dnode 不一致情况。 全局配置参数在变更时可能会存在短时间的不一致。 全局配置参数存放在 sdb 中mnode 重启回放日志时可能会出现配置参数修改内容丢失等待 mnode 彻底恢复后恢复正常。
