检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
erX3,haclusterX4;也可输入其他已配置的远端集群NameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “源端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。
员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS控制台或FusionInsight Manager界面。
"statusCode":0}]} 如果无法查询出健康状态码或者浏览器一直无响应,可能是由于Oozie进程故障导致服务不可用,请参考13进行处理。 根据查询到的错误码执行相关处理步骤,请参考表1。 表1 Oozie服务健康状态码一览表 状态码 错误描述 错误原因 处理步骤 0 服务正常 无
个Cell的最大值,超过此阈值时,将不允许写入。默认值为10MB。 单个Cell过大会影响读写性能,同时过大也意味着可能存在异常数据,可以根据写入的数据评估数据范围,设置上限,如果无法评估,建议保持默认值。 hbase.rpc.rows.size.threshold.reject
界面显示以实际为准。 等待集群创建完成后,在“现有集群”页面单击已创建的MRS集群名称,在“概览”页签单击“IAM用户同步”后的“同步”,根据界面提示同步当前用户。 参考配置MRS 3.3.0-LTS版本集群配置组件存算分离、下载客户端等操作。 配置MRS 3.3.0-LTS版本集群
dorisSink select * from KafkaSource; 在作业管理界面右边的基础参数中勾选开启CheckPoint,“时间间隔(ms)”根据实际需求填写合适的值,推荐配置的时间间隔取值范围为30000~60000。 单击“语义校验”对输入内容进行语义校验,单击“保存”,单击“提交”提交作业。
RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径,根据实际路径修改,但目录要有写入权限 log4j.additivity.DUAL=false log4j.appender.DUAL.MaxFileSize=${hbase
ClickHouseBalancer服务关闭日志文件路径。 /var/log/coredump/clickhouse-*.core.gz ClickHouse进程异常崩溃后生成的内存转储文件压缩包。 该日志仅适用于MRS 3.3.0及之后版本。 数据迁移日志 /var/log/Bigdata/clickhouse
2及之后版本)。 前提条件 使用Kafka客户端时:已安装客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用KafkaUI时:已创建具有KafkaUI页面访问权限的用户,如需在页面上进行相关操作,例如创建Topic,需同时
配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式))。此处以obs-mrstest文件系统为例,请根据实际情况替换文件系统名。 alluxio fs mount /mnt/obs obs://obs-mrstest/data Mounted
List<DatanodeInfo>> createColocationGroup(String groupId,String file) 根据文件file中的locatorIds信息,创建group。“file”为文件路径。 public Map<String, List<DatanodeInfo>>
同一个服务中所有参数项配置的值均在取值范围内且唯一,否则会导致服务启动失败。 请务必参照配置描述中的建议进行参数配置。 单击“保存配置”,根据界面提示保存参数并重启服务。 MRS 3.x之前版本更新YARN服务队列的配置且不重启服务时,在服务状态页签选择“更多 > 刷新队列”更新队列使配置生效。
员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS控制台或FusionInsight Manager界面。
界面显示以实际为准。 等待集群创建完成后,在“现有集群”页面单击已创建的MRS集群名称,在“概览”页签单击“IAM用户同步”后的“同步”,根据界面提示同步当前用户。 参考配置MRS 3.3.0-LTS版本集群配置组件存算分离、下载客户端等操作。 配置MRS 3.3.0-LTS版本集群
replicas”可以确保多副本写入成功,只要有一个副本保持活跃状态,记录将不会丢失,此参数配置为-1时,会降低生产性能,请权衡后配置。 配置建议 请根据以下业务场景对可靠性和性能要求进行评估,采用合理参数配置。 对于价值数据,这两种场景下建议Kafka数据目录磁盘配置raid1或者raid
}是分片中的副本编号,这几个宏变量直接写即可,建表时不需要替换为常量值。 default:表示创建的表名放到哪个数据库下面,在创建表时需要根据实际情况进行替换。 on cluster:创建的集群 建表会创建到集群中所有节点上,否则需要自己手动一个个节点去创建,一个个节点创建过程比
的租户名称,例如:default。 服务与动作:单击“添加”,在添加服务与动作页面配置以下参数并单击“确定”: 服务:选择“Hive”。 根据业务实际需求开启“提示”或“拦截”按钮。 图1 创建Hive SQL防御规则 登录安装有Hive客户端的节点,执行以下命令,切换到客户端安装目录。
RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径,根据实际路径修改,但目录要有写入权限 log4j.additivity.DUAL=false log4j.appender.DUAL.MaxFileSize=${hbase
ResourceManager Web UI页面 查看MapReduce日志获取应用运行情况 您可以查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测MapReduce应用
return Optional.of(partitionView.leader()); } } } 开启方法: 服务端:根据不同特性更新“replica.selector.class”配置项: 开启“机架内就近消费特性”,配置为“org.apache.kafka