-
准备HDFS应用开发和运行环境 - MapReduce服务 MRS
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
-
Flink安全认证机制说明 - MapReduce服务 MRS
同源策略: 说明:如果两个URL的协议,主机和端口均相同,则它们同源;如果不同源,默认不能相互访问;除非被访问者在其服务端显示指定访问者的来源。
-
添加Kafka的Ranger访问权限策略 - MapReduce服务 MRS
说明: 此权限主要对集群内部副本主从同步、节点间通信进行控制,在集群创建时已经授权给内置kakfa用户,普通用户授予此权限没有意义。 设置用户对TransactionalId的权限 在首页中单击“KAFKA”区域的组件插件名称,例如“Kafka”。
-
Manager日志清单 - MapReduce服务 MRS
controller_config.log 配置运行日志 controller_nodesetup.log Controller加载任务日志 controller_root.log Controller进程系统日志 controller_trace.log Controller与NodeAgent之间RPC通信日志
-
添加Kafka的Ranger访问权限策略 - MapReduce服务 MRS
说明: 此权限主要对集群内部副本主从同步、节点间通信进行控制,在集群创建时已经授权给内置kakfa用户,普通用户授予此权限没有意义。 设置用户对TransactionalId的权限 在首页中单击“KAFKA”区域的组件插件名称,例如“Kafka”。
-
缩容集群 - MapReduce服务 MRS
缩容集群前需要检查集群安全组是否配置正确,要确保集群入方向安全组规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则。 若HDFS存在损坏的数据块,则缩容集群可能出现失败,请联系华为云支持人员处理。 页面右上角弹出缩容节点提交成功提示框。
-
典型场景:从SFTP服务器导入数据到Hive - MapReduce服务 MRS
log 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。
-
Spark Structured Streaming对接Kafka样例程序开发思路 - MapReduce服务 MRS
指有效展示事件的最大延迟时间,<clickTopic>指点击事件的topic名称,<maxClickDelay>指有效点击事件的最大延迟时间,<triggerInterver>指流处理任务的触发间隔,<checkpointDir>指checkpoint文件存放路径,<kafkaProtocol>指安全访问协议
-
Spark Structured Streaming对接Kafka样例程序开发思路 - MapReduce服务 MRS
<kafkaProtocol>指安全访问协议(如SASL_PLAINTEXT)。 <kafkaService>指kerberos服务名称(如kafka)。 <kafkaDomain>指kerberos域名(如hadoop.<系统域名>)。
-
访问FusionInsight Manager(MRS 3.x及之后版本) - MapReduce服务 MRS
在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群,“协议”需选择为“TCP”,“端口”需分别选择“28443”和“20009”。请参见创建安全组。
-
HDFS应用开发规则 - MapReduce服务 MRS
HDFS提高读取写入性能方式 写入数据流程:HDFS Client收到业务数据后,从NameNode获取到数据块编号、位置信息后,联系DataNode,并将需要写入数据的DataNode建立起流水线,完成后,客户端再通过自有协议写入数据到Datanode1,再有DataNode1复制到
-
准备本地应用开发环境 - MapReduce服务 MRS
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
-
使用Loader从SFTP服务器导入数据到Hive - MapReduce服务 MRS
log 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。
-
访问FusionInsight Manager(MRS 3.x及之后版本) - MapReduce服务 MRS
在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群,“协议”需选择为“TCP”,“端口”需分别选择“28443”和“20009”。请参见创建安全组。
-
使用Loader从HDFS/OBS导出数据到SFTP服务器 - MapReduce服务 MRS
UTF-8 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。
-
使用Loader从SFTP服务器导入数据到HBase - MapReduce服务 MRS
log 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。
-
编译并运行Flink应用 - MapReduce服务 MRS
是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/SASL_SSL四种协议,分别对应MRS Kafka集群的21005/21007/21008/21009端口。
-
准备Hive应用开发和运行环境 - MapReduce服务 MRS
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
-
访问MRS Manager(MRS 2.x及之前版本) - MapReduce服务 MRS
在集群Master节点和Core节点的安全组中添加两条安全组规则使ECS可以访问集群,“协议”需选择为“TCP”,“端口”需分别选择“28443”和“20009”。请参见创建安全组。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
-
典型场景:从SFTP服务器导入数据到HBase - MapReduce服务 MRS
log 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。