检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root.default”。 在“优先级”中选择
作业管理类 MRS集群支持提交哪些形式的Spark作业？ MRS节点访问OBS报错408如何处理？ 如何让不同的业务程序分别用不同的Yarn队列？ 提交作业失败，报错与OBS相关如何处理？ MRS集群的租户资源最小值改为0后，只能同时运行一个Spark任务吗？ 作业提交参数间用空格隔开导致参数信息不被识别如何处理？
/srv/BigData/data1 /tmp/ 登录MRS管理控制台。 在集群详情页面，选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台，单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台，单击“开机”，将已更换磁盘的节点开机。 初始化Linux数据盘。
生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”，则实际只能保存约500/2=250MB大小的文件。 存储路径 例如：“tenant/spark_test”，系统默认将自动在“/ten
拟私有云、子网需要和迁移目的端集群保持一致，保证CDM集群和MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。 在“连接管理”页签，单击“新建连接”。 参考CDM服务的新建连接页面，分别添加到迁移源端集群和迁移目的端集群的两个HDFS连接。
max_memory_usage_for_all_queries 单台服务器上所有查询的内存使用量，默认没有限制。建议根据机器的总内存，预留一部分空间，防止内存不够导致服务或者机器异常。 0 机器总内存的80% 否 max_memory_usage 单个查询在单台服务器的能使用的最大内存。 10G 50GB
--port ClickHouse的端口号 --database 数据库名 输入用户密码 在ClickHouse实例节点上创建和DWS表结构相同的表。 例如，当前执行以下建表语句，在ClickHouse实例上的默认数据库和用户下创建和3中相同表结构的ReplicatedMergeTree表warehouse_t1。
System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。 HDFS文件系统中目录结构如下表所示。 表1
CLOSE_WAIT现象为HBase机制。 HBase CLOSE_WAIT产生原因：HBase数据以HFile形式存储在HDFS上，这里可以叫StoreFiles，HBase作为HDFS的客户端，HBase在创建StoreFile或启动加载StoreFile时创建了HDFS连接，当创建StoreFile
不能包含;|&><'$特殊字符，可为空。 注意： 用户输入带有敏感信息（如登录密码）的参数时，可通过在参数名前添加“@”的方式为该参数值加密，以防止敏感信息被明文形式持久化。 在MRS管理控制台查看作业信息时，敏感信息会显示为“*”。 例如：username=testuser @password=用户密码
Hive表的级联授权功能，则无需对表所在的HDFS路径进行授权操作。 Ranger策略中的URL策略是Hive表存储在OBS上的场景涉及，URL填写对象在OBS上的完整路径。与URL联合使用的Read，Write权限，其他场景不涉及URL策略。 Ranger策略中global策略仅用于和Temprorary
集群更换磁盘，请联系华为云技术支持处理。 登录MRS Manager。 选择“主机管理”并单击需要更换磁盘的主机的“主机名称”，在“角色”列表中单击RegionServer，选择“更多 > 退服”。 选择“主机管理”并单击需要更换磁盘的主机的“主机名称”，在“角色”列表中单击DataNode，选择“更多
使用MRS Spark SQL访问DWS表 华为云提供MapReduce服务（MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL语言，
查看MRS集群告警 用户可以在MRS上查看、清除告警。一般情况下，告警处理后，系统自动清除该条告警记录。当告警不具备自动清除功能且用户已确认该告警对系统无影响时，可手动清除告警。在MRS界面可查看最近十万条告警（包括未清除的、手动清除的和自动清除的告警）。如果已清除告警超过十万条
配置MRS集群通过IAM委托对接OBS 配置MRS集群通过IAM委托对接OBS 配置MRS集群组件回收站目录清理策略 集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题： 配置MRS集群存算分离
ataNode节点上读取数据。 数据保密性 MRS分布式文件系统在Apache Hadoop版本基础上提供对文件内容的加密存储功能，避免敏感数据明文存储，提升数据安全性。 业务应用只需对指定的敏感数据进行加密，加解密过程业务完全不感知。在文件系统数据加密基础上，Hive服务支持列
功能，集群的运行状态也将无法监控。 注册华为云并实名认证 如果用户已注册华为云，可直接登录管理控制台，访问MRS服务。如果用户没有登录管理控制台的账号，请先注册华为云。注册成功后，该账号可访问华为云的所有服务，包括MRS服务。 打开华为云网站。 单击“注册”，根据提示信息完成注册。
补丁安装后操作 升级客户端 不涉及。 升级HDFS上组件的zip包 不涉及。 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩，操作如下： 登录华为云管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题： MRS_3.3.1-LTS
的资源范围，单击“确定”，创建委托。 在“委托”页面，将鼠标移动到新创建的委托名称上，获取具备访问LakeFormation权限的委托ID。 图2 查看委托ID 创建对接OBS权限的委托 登录华为云管理控制台，选择“统一身份认证服务”。 在左侧导航栏选择“委托”，单击右上角的“创
退订MRS服务后，在ECS中退订弹性云服务器时报异常如何处理？ 问题 退订MRS服务后，在ECS中退订弹性云服务器时报异常如何处理？ 回答 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
