-
典型场景:从HDFS/OBS导出数据到SFTP服务器 - MapReduce服务 MRS
输出设置参数 参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /opt/tempfile 文件操作方式
-
简介 - MapReduce服务 MRS
早于结束时间至少30分钟。不同资源计划配置的时间段不可交叉。 资源计划触发扩容或缩容后,存在10分钟的冷却时间,冷却时间内不会再次触发弹性伸缩。 当启用资源计划时,在除配置资源计划配置时间段的其他时间内,集群Task节点数量会被限定在用户配置的默认节点数量范围内。 自动化脚本:
-
使用Loader从HBase导出数据到SFTP服务器 - MapReduce服务 MRS
参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。 /opt/tempfile
-
使用Loader从SFTP服务器导入数据到HBase - MapReduce服务 MRS
SFTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。 /opt/tempfile;/opt 文件分割方式 选择按文件或大小分割源文件,作为数据导入的Ma
-
使用Loader从FTP服务器导入数据到HBase - MapReduce服务 MRS
输入设置参数 参数名 说明 示例 输入路径 FTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。 /opt/tempfile;/opt
-
使用Loader从Hive导出数据到SFTP服务器 - MapReduce服务 MRS
参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。 /opt/tempfile
-
使用Loader从SFTP服务器导入数据到Hive - MapReduce服务 MRS
SFTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。 /opt/tempfile;/opt 文件分割方式 选择按文件或大小分割源文件,作为数据导入的Map
-
配置RDS数据连接操作 - MapReduce服务 MRS
登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数。 表1 数据连接 参数 说明 类型 选择外部源连接的类型。 RDS服务PostgreSQL数据库,MRS支持Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库,支持Hive或Ranger组件的集群支持连接该类型数据库。
-
配置LakeFormation数据连接前准备 - MapReduce服务 MRS
创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。 参数选择如下: 委托名称:例如“lakeformation_test” 委托类型:选择“云服务” 云服务:选择“ECS
-
配置监控指标转储 - MapReduce服务 MRS
C,且Master节点可以访问转储服务器的IP地址和指定端口。转储服务器的FTP服务正常。 操作步骤 在MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,单击“监控指标转储配置”。 表1介绍转储参数。 表1 转储参数 参数名称 参数说明 是否必选 监控指标转储开关
-
配置内存 - MapReduce服务 MRS
efaults.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数:"-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
-
配置Flume加密传输 - MapReduce服务 MRS
配置Flume加密传输 操作场景 该操作指导安装工程师在集群安装完成后,设置Flume服务(Flume角色)的服务端和客户端参数,使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。
-
Presto如何配置其他数据源? - MapReduce服务 MRS
connection-user xxxx 数据库登录用户名 mysql.connection-password xxxx 数据库密码 重启Presto服务。 启用Kerberos认证的集群,执行以下命令连接本集群的Presto Server。 presto_cli.sh --krb5-config-path
-
配置作业消息通知 - MapReduce服务 MRS
配置作业消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 操作步骤 登录管理控制台。 单击“服务列表”选择“管理与监管
-
配置跨Manager集群互信 - MapReduce服务 MRS
采用IPv6地址时,IP地址应写在中括号“[]”中。 部署主备Kerberos服务或者对端系统内有多个集群需要与本端建立互信时,多个KDC地址使用逗号分隔。 端口值可通过查看KrbServer服务的“kdc_ports”参数获取,默认值为“21732”。部署服务的节点IP可通过在KrbServer服务页面选择“实例”
-
配置弹性伸缩规则 - MapReduce服务 MRS
配置弹性伸缩规则 简介 创建集群时配置弹性伸缩 创建集群时,弹性伸缩功能可以通过在高级配置参数中进行配置。 为已有集群新增弹性伸缩策略 集群创建成功后,可以通过节点组维度或资源池维度对集群内的Task节点组配置相关规则。 场景1:单独配置弹性伸缩规则 单独配置弹性伸缩规则场景:需
-
同步集群配置 - MapReduce服务 MRS
同步集群配置 操作场景 当MRS显示全部服务或部分服务的“配置状态”为“过期”或“失败”时,用户可以尝试使用同步配置功能,以恢复配置状态。 若集群中所有服务的配置状态为“失败”时,同步集群的配置数据与后台配置数据。 若集群中某些服务的配置状态为“失败”时,同步指定服务的配置数据与后台配置数据。
-
配置审计日志转储 - MapReduce服务 MRS
IP 指定审计日志转储后存放的SFTP服务器,建议使用基于SSH v2的SFTP服务,否则存在安全风险。 192.168.10.51(举例) SFTP端口 指定审计日志转储后存放的SFTP服务器连接端口。 22(举例) 保存路径 指定SFTP服务器上保存审计日志的路径。 /opt/omm/oms/auditLog(举例)
-
使用Loader从HDFS/OBS导出数据到SFTP服务器 - MapReduce服务 MRS
参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文件名,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。 /opt/tempfile
-
HDFS常用配置参数 - MapReduce服务 MRS
HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.