检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader
对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
Hive数据文件权限，即HDFS文件权限。 Hive的数据库、表对应的文件保存在HDFS中。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。系统自动以数据库名称和数据库中表的名称创建子目录。访问数据库或者表，需要在HDFS中拥有对应文件的权限，包含“读”、“写”和“执行”权限。 用
度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight Manager，选择“集群
（HA）功能，防止单节点故障以及多节点同时处理一个任务。 MRS 3.3.1及之后版本Oozie默认开启HA机制，无需执行该章节操作。 对系统影响 操作过程中需要重启Oozie服务。重启过程中，Oozie服务无法提供服务。 前提条件 已安装Oozie、ZooKeeper服务，且服务正常运行。
FE/etc/ENV_VARS”中的“CURRENT_INSTANCE_IP”变量查看。 “priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE的IP，建议任何情况下，都显式的设置该参数，避免后续机器增加新网卡导致IP选择不正确问题。“priorit
参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 分割长度单位 长度单位，可选择“char”字符或“byte”字节。 enum 是 char 输入字段 配置输入字段相关信息：
主备NameNode节点在NFS服务器上创建的共享目录名称（如“/opt/Hadoop/NameNode”）不能相同。 登录FusionInsight Manager系统，选择“集群 > 服务 > HDFS > 配置 > 全部配置”。 在界面右侧的“搜索”框中输入“dfs.namenode.name.dir
此处将权限修改为“1777”，即在权限处增加“1”，表示增加目录的粘性，即只有创建的用户才可以删除此目录。 hdfs dfs -chmod 1777 /user 为了系统文件的安全，建议用户将非临时目录进行安全加固，例如： /user:777 /mr-history:777 /mr-history/tmp:777
ooKeeper来提供高可用（HA）功能，防止单节点故障以及多节点同时处理一个任务。 本章节内容仅适用于MRS 3.1.2及之后版本。 对系统影响 操作过程中需要重启Oozie服务。重启过程中，Oozie服务无法提供服务。 前提条件 已安装Oozie、ZooKeeper服务，且服务正常运行。
包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘（系统盘和数据盘） 计费因子：云硬盘类型、容量。 购买云硬盘成功后，将立即开始计费，计费与其是否被使用无关。 包年/包月、按需计费 云硬盘的大小
主备NameNode节点在NFS服务器上创建的共享目录名称（如“/opt/Hadoop/NameNode”）不能相同。 登录FusionInsight Manager系统，选择“集群 > 服务 > HDFS > 配置 > 全部配置”。 在界面右侧的“搜索”框中输入“dfs.namenode.name.dir
此处将权限修改为“1777”，即在权限处增加“1”，表示增加目录的粘性，即只有创建的用户才可以删除此目录。 hdfs dfs -chmod 1777 /user 为了系统文件的安全，建议用户将非临时目录进行安全加固，例如： /user:777 /mr-history:777 /mr-history/tmp:777
Jar包路径，例如：hdfs://hacluster/tmp/spark/JAR/spark-test.jar 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark > 配置 > 全部配置 >JDBCServer（角色） > 自定义”，在“custom”中添加如下参数，并重启JDBCServer服务。
出于对集群性能的考虑，通信过程默认不加密，对于一些安全要求较高用户可以采用以下方式进行加密。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 执行加密操作时，会自动重启Controller和所有Agent，重启期间会造成FusionInsight Manager暂时中断。
0-LTS.1 待创建的MRS集群版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。 组件选择 ClickHouse集群 基于系统预置的集群模板选择要购买的集群组件。 可用区 可用区1 选择集群工作区域下关联的可用区。 虚拟私有云 vpc-default 选择需要创建
参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 分割长度单位 长度单位，可选择“char”字符或“byte”字节。 enum 是 char 输入字段 配置输入字段相关信息：
度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight Manager，选择“集群
获取的用户需要属于storm组。 Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下，票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。
密码中含有双引号应使用反斜杠\进行转义。可参考Shell的转义字符规则。 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 - job.jobId 需要执行数据备份的作业ID。 作业ID可通过登录Loader webUI在已创建的作业查看。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
