检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
告警”，选择“告警ID”为“19020”的告警，查看“定位信息”中产生该告警的服务实例和主机名。 检查主备集群RegionServer之间的网络连接。 执行ping命令，查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。 是，执行5 否，执行3 联系网络管理员恢复网络。
告警”，选择“告警ID”为“19019”的告警，查看“定位信息”中产生该告警的服务实例和主机名。 检查主备集群RegionServer之间的网络连接。 执行ping命令，查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。 是，执行5 否，执行3 联系网络管理员恢复网络。
spark-sql方式提交作业，可以直接在命令行中指定Keytab和Principal以获取认证，定期更新登录凭证和授权tokens，避免认证过期。 例如： spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab
1作业管理接口，需要使用V2作业管理接口。如果仍需使用V1.1作业管理接口，请在历史API中，获取相关接口。 终端节点 终端节点即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询服务的终端节点。 基本概念 账号 用户注册华为云时的账号，账号对其所拥有的资
TableDescriptorBuilder htd = TableDescriptorBuilder.newBuilder(tableName); //创建表描述符 ColumnFamilyDescriptorBuilder hcd =
不涉及 name String 参数解释： 虚拟机名称。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 ip String 参数解释： 虚拟机IP地址。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 availability_zone_id String
外的更多的计算框架。 基本概念 ResourceManager（RM） RM是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。 ApplicationMaster（AM）
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“43018”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页，选择“集群 > 服务 > Spark2x > 实例”，单击上报告警的JobHist
n类型。 JavaPairRDD<K,scala.Tuple2<V,W>> join(JavaPairRDD<K,W> other) 当有两个KV的dataset(K,V)和(K,W)，返回的是(K,(V,W))的dataset，numTasks为并发的任务数。 JavaPairRDD<K
Nimbus”，进入Nimbus实例页面。 查看“角色”中是否存在且仅存在一个状态为主的Nimbus节点。 是，执行4。 否，执行3.c。 勾选两个Nimbus角色实例，选择“更多 > 重启实例”，查看是否重启成功。 是，执行3.d。 否，执行4。 重新登录MRS集群详情页面，选择“组件管理
acl.found”的值修改为“true”(普通集群不需配置)。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
conf”文件，配置如下： {client}/spark/bin/spark-sql --master yarn-client --principal {principal} --keytab {keytab} --driver-java-options "-Djava.security.auth
ata”。将上述文件上传到此“/home/data”目录下。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。 root
服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。 root
置多个FTP服务器操作数据，单击“添加”可增加多行FTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 FTP服务器的IP FTP服务器的IP地址。 ftpName FTP服务器端口 FTP服务器的端口号。 22 FTP用户名 访问FTP服务器的用户名。 root FTP密码
conf”文件，配置如下： {client}/spark/bin/spark-sql --master yarn-client --principal {principal} --keytab {keytab} --driver-java-options "-Djava.security.auth
String 参数解释： 日志链接地址。当前仅SparkSubmit作业支持该参数。该参数基于集群的EIP访问集群中的YARN WebUI页面，用户如果在VPC界面解绑EIP，MRS服务侧数据会因为未更新导致该参数引用旧EIP导致访问失败，可通过对集群重新进行EIP的绑定来修复该问题。 约束限制：
服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。 root
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
