检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题: 使用Hive
Storm业务用户配置独立的密码策略。 如果不为Storm业务用户配置独立的密码策略,在修改业务用户密码以后,可以删除旧的拓扑并重新提交,使拓扑继续运行。 对系统的影响 为Storm业务用户配置独立的密码策略后,此用户将不受Manager界面上的“密码策略”配置影响。 为Stor
前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source
状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,只是job配置“job.properties”与工作流配置“workflow.xml”不一样。 完成导入并配置Oozie样例工程操作后即可执行通过Java API提交MapReduce作业和查询作业状态。
Loader连接配置说明 本章节适用于MRS 3.x之前版本。 基本介绍 Loader支持以下多种连接,每种连接的配置介绍可根据本章节内容了解。 obs-connector generic-jdbc-connector ftp-connector或sftp-connector h
配置MRS集群作业消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管
default密码策略和已经被用户绑定的密码策略不能被删除。 修改密码策略 登录Manager。 进入密码策略配置页面。 MRS 2.x及之前版本:选择“系统设置”,单击“密码策略配置”。 MRS 3.x及之后版本:选择“系统 > 权限 > 安全策略 > 密码策略”,单击待修改的密码策略所在行的“修改”。
转换过程中,依赖TimelineServer角色会出现配置过期,需要重启配置过期的实例。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 配置”,打开Yarn服务配置页面。 修改配置项“TLS_FLOAT_IP”的值为一个可用的浮动
/var/log/Bigdata/kudu/命令,进入到“/var/log/Bigdata/kudu/”目录,即可查看Kudu日志信息。 父主题: 组件配置类
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名
配置Oozie作业操作HDFS文件 功能描述 HDFS文件操作节点,支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签
配置Oozie作业操作HDFS文件 功能描述 HDFS文件操作节点,支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签
配置LakeFormation数据连接 LakeFormation概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 父主题: 管理MRS集群元数据
${PLUGIN_SUFFIX}" 安装并启动Flume客户端。安装客户端详细操作请参考安装Flume客户端。 已安装Flume客户端 在客户端flume-check.properties文件中配置client.per-check.shell,指向plugin.sh的绝对路径。 例如Flume客户端安装路径为
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
> Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“yarn.http.policy”。 安全模式下配置为“HTTPS_ONLY”。 普通模式下配置为“HTTP_ONLY”。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,进入客户端安装路径。 cd /opt/client
配置MRS集群审计日志转储 Manager的审计日志默认保存在数据库中,如果长期保留可能引起数据目录的磁盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置转储参数及时自动转储,便于管理审计日志信息。 若用户未配置审计
HBase双读操作相关配置项说明 表1 “hbase-dual.xml”文件配置项介绍 配置项名称 配置项说明 默认值 级别 hbase.dualclient.active.cluster.configuration.path 主集群HBase客户端配置目录 无 必选配置 hbase.dualclient
ka服务端配置。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。