检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ive对接OBS文件系统章节。 前提条件 已安装Hive客户端。 操作示例 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”，则执行以下命令： cd /opt/client 执行以下命令配置环境变量。
Administrator权限）。如果还需对OBS文件系统中的指定路径进行更加细粒度的权限控制，可参考配置MRS集群用户的OBS的细粒度访问权限创建自定义的角色策略。 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”，例如：mrs_ecs_obs。
器。也可以参考切换MRS租户资源调度器切换调度器。 调度器类型可登录Manager，在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。 在“租户资源管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签
创建时设置data block encoding和压缩算法。 方法一：使用hbase shell。 以客户端安装用户，登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerb
创建表时设置data block encoding和压缩算法。 方法一：使用hbase shell。 以客户端安装用户，登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerb
属性设置为false。 如果为文件集配置删除操作，则在删除操作后不能再配置其他规则。 支持使用"-fs"选项，用于指定客户端默认的文件系统地址。 审计日志 冷热数据迁移工具支持以下操作的审计日志。 工具启动状态 行为类型及参数详细信息和状态 工具完成状态 对于启用审计日志工具，在
查找主Master节点，主机名称前带实心五角星的Master节点即为主Master节点。 以root用户登录主Master节点。 执行su - omm切换到omm用户。 执行sh /opt/Bigdata/om-0.0.1/sbin/restart-controller.sh重启Controller。
Client提交作业 安装集群客户端，例如安装目录为“/opt/hadoopclient”。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdata_env
安装成功后，即可访问OBS。例如，在未开启Kerberos认证的MRS集群的HDFS客户端访问OBS： 以客户端安装用户登录安装客户端的节点。 切换到客户端安装目录并配置环境变量： cd 客户端安装目录 source bigdata_env 在HDFS客户端执行以下命令访问OBS： hdfs
-- 关闭Archive操作 Spark离线完成Compaction计划的执行，以及Clean和Archive操作 在调度平台（可以使用华为的DataArts）运行一个定时调度的离线任务来让Spark完成Hudi表的Compaction计划执行以及Clean和Archive操作。
属性设置为false。 如果为文件集配置删除操作，则在删除操作后不能再配置其他规则。 支持使用"-fs"选项，用于指定客户端默认的文件系统地址。 审计日志 冷热数据迁移工具支持以下操作的审计日志。 工具启动状态 行为类型及参数详细信息和状态 工具完成状态 对于启用审计日志工具，在
根据集群版本选择对应的分支，下载并获取MRS相关样例工程。 例如本章节场景对应示例为“hdfs-example-security”样例，获取地址：https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.2.0
执行完本章节操作后，请及时恢复超时退出时间，执行命令TMOUT=超时退出时间。例如：TMOUT=600，表示用户无操作600秒后超时退出。 执行以下命令，切换目录。 cd ${CONTROLLER_HOME}/sbin 执行以下命令启用通信加密： ./enableRPCEncrypt.sh -t
置后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命
相关参数配置不合理。 处理步骤 检查HBase相关配置是否合理。 登录MRS集群详情页面，选择“组件管理 > HBase > 服务配置”，将“基础配置”切换为“全部配置”，搜索“hbase.hstore.compaction.min”，“hbase.hstore.compaction.max”，“hbase
MultiJoin算子仅支持table.exec.state.ttl，不支持表级TTL以及JTL。 Full outer join到MultiJoin状态不兼容，切换时无法通过快照恢复作业。 FlinkSQL支持MultiJoin算子使用方法 配置Flink作业时，可通过在FlinkServer Web
可能原因 磁盘老化。 处理步骤 更换磁盘。 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看该告警的详细信息，查看定位信息中对应的“主机名”字段和“磁盘名”字段的值，获取该告警上报的故障磁盘信息。 更换故障硬盘。 检查告警是否清除。 是，操作结束。
hoodie.datasource.hive_sync.partition_extractor_class 用于提取Hudi分区列值，将其转换成Hive分区列。 org.apache.hudi.hive.SlashEncodedDayPartitionValueExtractor
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一。 test bind avro source绑定的ip地址，此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口，
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一。 test bind avro source绑定的ip地址，此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
