正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
InterruptedException { // 通过Context可以获得配置信息。 delim = context.getConfiguration().get("log.delimiter", ",");
被NodeManager kill。 解决方案: 将ApplicationMaster的内存配置调大,在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数: “yarn.app.mapreduce.am.resource.mb”
确保集群稳定,不存在其他问题。如有任何问题,请先修复。 为“hbase.master.initializationmonitor.timeout”参数配置一个较大的值,默认值为“3600000”毫秒。 重启HBase服务。 父主题: HBase故障排除
enabled 选填 Flink采用的是内存索引,需要将数据的主键缓存到内存中,保证目标表的数据唯一,因此需要配置该值,否则会导致数据重复。默认值为FALSE。Bueckt索引时不配置该参数。 TRUE write.index_bootstrap.tasks 选填 index.bootstrap
表中,单击待修改类型的用户名。 设置“Select Role”配置项为待修改的类型。 单击“Save”。 创建Ranger Role Ranger管理员在设置组件的权限访问策略时,可基于用户、用户组或者Role灵活配置,其中用户与用户组信息从LDAP中自动同步,Role可手动添加。
如果任务失败,选择“重试卸载”,只有当“状态”显示为“可用”时,才能进入下一步操作。 卸载失败或者重试后仍然失败,不能直接再点安装,请联系运维人员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式:
partition by:分区字段 分区键不允许为null,如果字段中有null值,需要做数据转换处理。 表级别的参数配置: index_granularity:稀疏索引粒度配置,默认是8192,一般不需要修改。 建表定义,参考链接: https://clickhouse.tech/do
JDBC方式使用公用资源,不用单独起Spark作业,但是不能指定执行SQL所需要的资源以及配置参数,因此建议用来做建表操作或小数据量的查询操作。 Spark API方式执行的SQL独立起Spark作业,有一定的耗时,但是可以通过配置运行程序参数来指定作业所需要的资源等参数,建议批量导入等 作业使用AP
“SELECT”、“INSERT”和“DELETE” 普通模式 无 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作)
在告警列表中,单击该告警“操作”列下面的,手动清除告警。操作结束。 调整超时阈值。 在MRS Manager界面,单击“系统设置 > 阈值配置 > 服务 > Yarn > 超时的任务”,增大当前阈值规则的允许超时的任务个数,然后查看本告警是否消除。 是,处理完毕。 否,执行4。 收集故障信息。
安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS_3.3.1-LTS.1.1补丁说明
安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS_3.3.1-LTS.1.2补丁说明
Streaming状态操作样例程序 Spark同步HBase数据到CarbonData样例程序 使用Spark执行Hudi样例程序 Hudi的自定义配置项样例程序 父主题: Spark2x开发指南(普通模式)
确保集群稳定,不存在其他问题。如有任何问题,请先修复。 为“hbase.master.initializationmonitor.timeout”参数配置一个较大的值,默认值为“3600000”毫秒。 重启HBase服务。 父主题: HBase故障排除
在FusionInsight Manager首页,选择“运维 > 备份恢复 > 备份管理”,查看任务名称为“default”的备份任务或者其他执行成功的用户自己配置的HBase元数据备份任务是否有执行成功的记录。 是,执行3。 否,执行4。 使用最近一次备份的元数据,对HBase服务的元数据进行恢复操作。
如果任务失败,选择“重试卸载”,只有当“状态”显示为“可用”时,才能进入下一步操作。 卸载失败或者重试后仍然失败,不能直接再点安装,请联系运维人员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式:
根据业务实际需要,在“用户组”,单击“添加”,选择一个或多个用户组添加到列表中。 如果选中的用户组绑定了角色或者在Ranger中配置了权限策略,用户将获得对应的权限。 安装FusionInsight Manager后默认生成的部分用户组包含特殊权限,请根据界面上用户组描述信息选择正确的用户组。
newBuilder().withPath(tablePath) .withSchema(HoodieExampleDataGenerator.TRIP_EXAMPLE_SCHEMA).withParallelism(2, 2) .withDeleteParallelism(2).forTable(tableName)
newBuilder().withPath(tablePath) .withSchema(HoodieExampleDataGenerator.TRIP_EXAMPLE_SCHEMA).withParallelism(2, 2) .withDeleteParallelism(2).forTable(tableName)
newBuilder().withPath(tablePath) .withSchema(HoodieExampleDataGenerator.TRIP_EXAMPLE_SCHEMA).withParallelism(2, 2) .withDeleteParallelism(2).forTable(tableName)