检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume,Hue,meta,Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB服务 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。
(n)。 数据倾斜 当数据发生倾斜(某一部分数据量特别大),虽然没有GC(Gabage Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 优化数据结构 把数据按列存放,读取数据时就可以只扫描需要的列。
VARCHAR->TIMESTAMP:仅支持严格的格式:YYYY-MM-DD HH:MM:SS.XXX。 DATE->TIMESTAMP:自动补齐时间,补零 '2010-01-01' -> 2010-01-01 00:00:00.000。 TIME->TIME WITH TIME ZONE:自动补齐时区。
(n)。 数据倾斜 当数据发生倾斜(某一部分数据量特别大),虽然没有GC(Gabage Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 优化数据结构 把数据按列存放,读取数据时就可以只扫描需要的列。
为空意义相同),为0表示不可挂起任务。取值范围为-1~2147483647。 资源分配规则 表示单个用户任务间的资源分配规则,包括FIFO和FAIR。 一个用户如果在当前队列上提交了多个任务,FIFO规则代表一个任务完成后再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。
不涉及 charge_info 否 ChargeInfo object 参数解释: 节点组的计费类型,Master和Core节点组是和集群的计费类型一致,Task节点组可以和集群的计费类型不同。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 auto_scaling_policy
String 参数解释: 资源计划的起始时间。格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。
在UDF列表中,可查看当前应用内所有的UDF信息。可在对应UDF信息的“操作”列编辑或删除UDF信息(只能删除未被使用的UDF项)。 (可选)如果需要立即运行或开发作业,可在“作业管理”进行相关作业配置,可参考创建FlinkServer作业。 UDF java代码及SQL样例 UDF java使用样例
用户在集群中创建数据库或者表时需使用ON CLUSTER语句,保证各个ClickHouse节点上数据库、表的元信息相同。 ClickHouse赋权成功后,权限生效时间大约为1分钟。 添加ClickHouse角色 登录Manager,选择“系统 > 权限 > 角色”,在“角色”界面单击“添加角色”按钮,进入添加角色页面。
不涉及 默认取值: 不涉及 create_time Long 参数解释: 创建时间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 last_update_time Long 参数解释: 最后更新时间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 create_by
用户在集群中创建数据库或者表时需使用ON CLUSTER语句,保证各个ClickHouse节点上数据库、表的元信息相同。 ClickHouse赋权成功后,权限生效时间大约为1分钟。 添加ClickHouse角色 登录Manager,选择“系统 > 权限 > 角色”,在“角色”界面单击“添加角色”按钮,进入添加角色页面。
'\t') CarbonData也支持\001和\017作为分隔符。 对于CSV数据,分隔符为单引号(')时,单引号必须在双引号(" ")内。例如:'DELIMITER'= "'"。 QUOTECHAR:可以在加载命令中提供分隔符和引号字符。默认值为"。 OPTIONS('DELIMITER'='
Hue,meta,Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB服务 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。
当增大参数dfs.client.block.write.locateFollowingBlock.retries的值,默认值为5次,尝试的时间间隔为400ms、800ms、1600ms、3200ms、6400ms,12800ms,那么close函数最多需要25.2秒才能返回。 解决办法
因为备份恢复操作,操作的都是实际的数据文件。所以当一个表的分片过多,或者一个分片有过多的小版本时,可能即使总数据量很小,依然需要恢复很长时间。 当通过SHOW BACKUP或者SHOW RESTORE命令查看作业状态时,有可能会在TaskErrMsg列中看到错误信息,只要Sta
如需还原某次配置变更,可单击记录所在行“操作”列的“还原配置”按钮,在弹出的窗口中单击“确定”。 针对同一服务实例下的同一配置,如果修改了多次,还原配置时必须从该配置的最新修改时间开始还原,不能从中间某次进行还原。 部分配置项在修改参数值后需重启对应服务才会生效,在保存配置后请及时重启配置过期的服务或实例。 查看角色实例配置文件
的时候会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.log.[编号].gz”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 审计日志压缩后的日志文件名规则为:“audit.log.[yyyy-MM-dd].[编号].zip”。该文件永远都不会删除。
序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示当前时间处理存在错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 配置转换字段类型,与原始数据实际类型不同,全部数据成为脏数据。例如将字符串类型转换为数值类型。 长整型时间转换 原始数据包含NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 遇到类型转换错误,当前数据保存为脏数据。
为空意义相同),为0表示不可挂起任务。取值范围为-1~2147483647。 资源分配规则 表示单个用户任务间的资源分配规则,包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务,FIFO规则代表一个任务完成后再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。