检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ource、channel以及sink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、File Channel和Avro Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。
常的mutation任务。 业务写入压力过大导致merge速度小于insert速度。 可以用以下SQL语句检查报错节点最近一小时的写入条数和频次: select tables,written_rows,count() from system.query_log where type='QueryFinish'
这里join操作,只指inner join。 操作步骤 在Spark SQL中进行Join操作时,可以按照以下步骤进行优化。为了方便说明,设表A和表B,且A、B表都有个名为name的列。对A、B表进行join操作。 估计表的大小。 根据每次加载数据的大小,来估计表大小。 也可以在Hiv
Flume Source配置的IP地址命令查看对端主机是否可以ping通。 是,执行3。 否,执行2.d。 联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。
作业提交成功后默认为“已接受”状态,不需要用户手动执行作业。 查看作业执行结果。 进入“作业管理”页面,查看作业是否执行完成。 作业运行需要时间,作业运行结束后,刷新作业列表。 作业执行成功或失败后都不能再次执行,只能新增作业,配置作业参数后重新提交作业。 进入Yarn原生界面,查看作业输出信息。
并绑定角色获得相应权限。 前提条件 Doris服务运行正常。 角色名称不能为operator和admin。 集群已启用Kerberos认证(安全模式)时,Doris赋权成功后,权限生效时间大约为2分钟。 添加Doris角色 登录FusionInsight Manager,选择“系统
HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。 “GC_OPTS”主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议将“Xms”和“Xmx”设置成相同的值,这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSiz
1,每2个segment触发一次Minor合并。在Level2,每3个Level 1合并的segment将被再次合并为新的segment。 合并策略根据实际的数据大小和可用资源决定。 有效值为0-100。 carbon.major.compaction.size 1024mb Major 通过配置该参数可配
1,每2个segment触发一次Minor合并。在Level2,每3个Level 1合并的segment将被再次合并为新的segment。 合并策略根据实际的数据大小和可用资源决定。 有效值为0-100。 carbon.major.compaction.size 1024mb Major 通过配置该参数可配
log 启动日志。 FlinkServer服务日志、审计日志和HA相关日志。 FlinkServer服务日志、审计日志和HA相关日志默认100MB滚动存储一次,服务日志最多保留30天,审计日志最多保留90天。 日志大小和压缩文件保留个数可以在Manager界面中配置或者修改客户端
buffer的总大小=write_buffer_size*max_write_buffer_number)。 是:在Flink WebUI的作业开发界面,调整如下自定义参数的值并保存后执行8。 表1 调整自定义参数 参数名称 默认值 说明 state.backend.rocksdb.writebuffer
eta、Guardian、Loader、ClickHouse、HetuEngine、Oozie、CDL和IoTDB服务 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。
进入扩容集群页面。 只有运行中的集群才能进行扩容操作。 设置“系统盘”和“数据盘”的类型、“扩容节点数量”、“启动组件”和“执行引导操作”参数。系统呈现集群使用的到期时间和此次扩容节点所需的费用。“启动组件”和“执行引导操作”参数部分版本的集群可能不支持,请以界面实际参数为准。
服务日志默认20MB滚动存储一次,最多保留20个文件,不压缩。 针对MRS 3.x之前版本,Executor日志默认30MB滚动存储一次,最多保留20个文件,不压缩。 日志大小和压缩文件保留个数可以在Manager界面中配置或者修改客户端“客户端安装目录/Flink/flink/conf/”中的log4j-cli.properties、log4j
HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。 GC_OPTS主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议将Xms和Xmx设置成相同的值,这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSize大小
录时可以不携带--user和--password参数,即使用kinit认证的用户登录。Kerberos集群场景下没有默认用户,必须在Manager上创建该用户名。 如果当前集群未启用Kerberos认证(集群为普通模式),客户端登录时如果需要指定用户名和密码,不能使用FusionInsight
Flume,Hue,meta,Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB服务 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。
在UDF列表中,可查看当前应用内所有的UDF信息。可在对应UDF信息的“操作”列编辑或删除UDF信息(只能删除未被使用的UDF项)。 (可选)如果需要立即运行或开发作业,可在“作业管理”进行相关作业配置,可参考创建FlinkServer作业。 UDF java代码及SQL样例 UDF java使用样例
数据库和表的元数据信息到目标集群 执行元数据迁移脚本,将源集群中的ClickHouse数据库和表的数据库名、表名、表结构等元数据信息迁移到目标集群。 步骤4:迁移源ClickHouse集群下数据库和表数据到目标集群 执行数据迁移脚本,将源集群中的ClickHouse数据库和表的数据迁移至目标集群。
VARCHAR->TIMESTAMP:仅支持严格的格式:YYYY-MM-DD HH:MM:SS.XXX。 DATE->TIMESTAMP:自动补齐时间,补零 '2010-01-01' -> 2010-01-01 00:00:00.000。 TIME->TIME WITH TIME ZONE:自动补齐时区。