检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装并配置Loader客户端，具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点。
WebUI”后的链接，进入HSConsole界面。 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签。 查看“高级配置”的“是否开启维护实例”是否处于“是”，否则修改为“是”。 修改完成后，将“立即启动”置为“是”，单击“确定”。 父主题：
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
onfig.json配置文件，若此文件不存在，则新建此文件。 vi $BIGDATA_HOME/om-server/OMS/workspace/conf/fms/alarm_filter_config.json 根据实际需要配置或新增参数。 告警ID：待配置告警的ID，例如“12016”。
主备集群都已经安装并启动成功，且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主集群部署为普通模式，不需要配置跨集群互信。 主备集群必须已配置跨集群拷贝。
Admin”，单击“Save”保存配置。 说明： Ranger页面的“Settings”选项只有rangeradmin用户有权限访问。用户绑定Hive管理员角色后，在每个维护操作会话中，还需要执行以下操作： 以客户端安装用户，登录安装Hive客户端的节点。 执行以下命令配置环境变量。 例如，H
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
HDFS等）会话时是否模拟客户端用户。如果将此配置项从“false”修改为“true”，会导致只有列权限的用户访问相应表权限缺失。 true 单击“保存”，保存配置。 单击“实例”，勾选对应的实例，选择“更多 > 重启实例”，使配置生效。 父主题： Hive运维管理
使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。 已安装Spark客户端。 操作步骤 在Doris中创建表并插入数据。 登录安装了MySQL的节点，执行以下命令，连接Doris数据库。 如果集
根据业务情况，准备好客户端，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env
查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
快速配置参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
配置多主实例模式 配置场景 集群中支持同时共存多个ThriftServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager，选择“集群
Yarn内部和Hadoop内部都不需要用户配置加密，用户只需要配置SSL加密传输方式。 配置SSL传输，用户主要在客户端的“flink-conf.yaml”文件中做如下配置： 打开SSL开关和设置SSL加密算法，针对MRS 3.x及之后版本，配置参数如表2所示，请根据实际情况修改对应参数值。
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，移动的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表，这一过程称为分区数据解冻。
Doris > 配置”，在搜索框中搜索“https_port”或“http_port”查看。 创建Flink作业时，username配置项为Doris用户，password配置项为Doris用户密码。 集群已启用Kerberos认证（安全模式）只能配置HTTPS模式。 父主题： 配置Doris支持多源数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
