检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Storm业务步骤,打出source.jar。 操作步骤 安全模式下,请先进行安全认证。 初始化客户端环境变量。
MRS应用开发安全认证说明 MRS安全认证原理和认证机制 准备MRS应用开发用户 MRS应用开发认证失败常见问题
户类型选择“人机”,用户组根据需求添加“hadoop”、“yarnviewgroup”和“hadooppmanager”,并添加“System_administrator”、“default”和创建的角色,单击“确定”完成Flink作业用户创建(首次创建的用户需使用该用户登录Manager修改密码)。
密码包含的最小字符个数,取值范围为8~32。 字符类型的数目 4 密码字符包含大写字母、小写字母、数字、空格和特殊符号(包含~`!?,.:;-_'(){}[]/<>@#$%^&*+|\=)的最小种类。可选择数值为“4”和“5”。默认值“4”表示可使用大写字母、小写字母、数字、特殊符号,选择“5”表示可使用全部。
准备HBase应用开发环境 准备HBase应用开发和运行环境 导入并配置HBase样例工程 配置HBase应用安全认证 父主题: HBase开发指南(安全模式)
准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 配置HDFS应用安全认证 父主题: HDFS开发指南(安全模式)
定义org.apache.spark.launcher.SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例,您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序
历史监控平均周期约为5分钟。 用户可在MRS管理控制台或者Manager界面中查看集群整体的资源概况。 更多详情请参见查看和定制集群监控指标和管理组件和主机监控。 父主题: 安全
定义org.apache.spark.launcher.SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例,您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序
ger。 使用Hadoop内部的加密传输方式:JobManager和HDFS、TaskManager和HDFS、JobManager与ZooKeeper、TaskManager与ZooKeeper。 Yarn内部和Hadoop内部都不需要用户配置加密,用户只需要配置SSL加密传输方式。
isMachineUser false 使用机机用户认证时,参数值修改为true。 如果配置为true,则user和password参数为机机用户的用户名和密码。 说明: 该参数仅适用于MRS 3.1.5及之后版本。 isSupportMachineUser true 是否支持机机用户认证的功能。
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包,完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 (可选)创建MapReduce样例工程 配置MapReduce应用安全认证 父主题: MapReduce开发指南(安全模式)
L, userKeyTableFile); } 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 父主题: 配置Kafka应用安全认证
L, userKeyTableFile); } 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 父主题: 配置Kafka应用安全认证
FS、TaskManager、Kafka和Zookeeper。 使用YARN内部的认证机制:Yarn Resource Manager与Application Master(简称AM)。 如果用户安装安全集群需要使用kerberos认证和security cookie认证。根据日
前提条件 已执行打包Storm样例工程应用。 调整IntelliJ IDEA客户端机器时间,和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类,使用rem
定义org.apache.spark.launcher.SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例,您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序
提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行生成Storm应用Jar包步骤,生成storm-examples-1.0.jar,并放置到/opt/jartarget/。
Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。