检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ource、channel以及sink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、File Channel和Avro Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。
ource、channel以及sink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、File Channel和Avro Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。
作业提交成功后默认为“已接受”状态,不需要用户手动执行作业。 查看作业执行结果。 进入“作业管理”页面,查看作业是否执行完成。 作业运行需要时间,作业运行结束后,刷新作业列表。 作业执行成功或失败后都不能再次执行,只能新增作业,配置作业参数后重新提交作业。 进入Yarn原生界面,查看作业输出信息。
HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。 “GC_OPTS”主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议将“Xms”和“Xmx”设置成相同的值,这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSiz
并绑定角色获得相应权限。 前提条件 Doris服务运行正常。 角色名称不能为operator和admin。 集群已启用Kerberos认证(安全模式)时,Doris赋权成功后,权限生效时间大约为2分钟。 添加Doris角色 登录FusionInsight Manager,选择“系统
1,每2个segment触发一次Minor合并。在Level2,每3个Level 1合并的segment将被再次合并为新的segment。 合并策略根据实际的数据大小和可用资源决定。 有效值为0-100。 carbon.major.compaction.size 1024mb Major 通过配置该参数可配
1,每2个segment触发一次Minor合并。在Level2,每3个Level 1合并的segment将被再次合并为新的segment。 合并策略根据实际的数据大小和可用资源决定。 有效值为0-100。 carbon.major.compaction.size 1024mb Major 通过配置该参数可配
log 启动日志。 FlinkServer服务日志、审计日志和HA相关日志。 FlinkServer服务日志、审计日志和HA相关日志默认100MB滚动存储一次,服务日志最多保留30天,审计日志最多保留90天。 日志大小和压缩文件保留个数可以在Manager界面中配置或者修改客户端
数据库和表的元数据信息到目标集群 执行元数据迁移脚本,将源集群中的ClickHouse数据库和表的数据库名、表名、表结构等元数据信息迁移到目标集群。 步骤4:迁移源ClickHouse集群下数据库和表数据到目标集群 执行数据迁移脚本,将源集群中的ClickHouse数据库和表的数据迁移至目标集群。
ume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 操作步骤 根据前提条件,创建一个满足要求的弹性云服务器。 登录集群详情页面,选择“组件管理”。 若集群详
Optimizer:优化器,分为逻辑优化器和物理优化器,分别对HQL生成的执行计划和MapReduce任务进行优化。 Executor:按照任务的依赖关系分别执行Map/Reduce任务。 ThriftServer:提供thrift接口,作为JDBC的服务端,并将Hive和其他应用程序集成起来。
eta、Guardian、Loader、ClickHouse、HetuEngine、Oozie、CDL和IoTDB服务 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。
针对HBase配置存算分离的场景,在MRS 3.1.2及后续版本中,需参考本章节配置组件数据回收站清理策略。 需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收站目录配置生命周期策略。若委托权限较小或参考配置MRS集群用户的OBS的细粒度访问权限配置了MRS用户访问
进入扩容集群页面。 只有运行中的集群才能进行扩容操作。 设置“系统盘”和“数据盘”的类型、“扩容节点数量”、“启动组件”和“执行引导操作”参数。系统呈现集群使用的到期时间和此次扩容节点所需的费用。“启动组件”和“执行引导操作”参数部分版本的集群可能不支持,请以界面实际参数为准。
服务日志默认20MB滚动存储一次,最多保留20个文件,不压缩。 针对MRS 3.x之前版本,Executor日志默认30MB滚动存储一次,最多保留20个文件,不压缩。 日志大小和压缩文件保留个数可以在Manager界面中配置或者修改客户端“客户端安装目录/Flink/flink/conf/”中的log4j-cli.properties、log4j
buffer的总大小=write_buffer_size*max_write_buffer_number)。 是:在Flink WebUI的作业开发界面,调整如下自定义参数的值并保存后执行8。 表1 调整自定义参数 参数名称 默认值 说明 state.backend.rocksdb.writebuffer
HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。 GC_OPTS主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议将Xms和Xmx设置成相同的值,这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSize大小
录时可以不携带--user和--password参数,即使用kinit认证的用户登录。Kerberos集群场景下没有默认用户,必须在Manager上创建该用户名。 如果当前集群未启用Kerberos认证(集群为普通模式),客户端登录时如果需要指定用户名和密码,不能使用FusionInsight
一次,最多保留100个文件,压缩存储。 JDBCServer2x审计日志默认20MB滚动存储一次,最多保留20个文件,压缩存储。 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志
一次,最多保留100个文件,压缩存储。 JDBCServer2x审计日志默认20MB滚动存储一次,最多保留20个文件,压缩存储。 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志