检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure
user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。
user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。
{zkQuorum}表示ZooKeeper集群信息,格式为IP:port。
user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。
查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期,重新生成证书文件。 以root用户登录告警所在节点主机,并执行su - omm切换用户。 执行以下命令进入Flume服务证书目录。
处理步骤 检查GC时间 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43022”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。
处理步骤 检查Full GC次数 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“43023”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,弹出告警页面,选中“告警ID”为“45588”的告警,在该页面的告警详情里查看“定位信息”中的角色名并确定实例的IP地址。
处理步骤 检查GC时间 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43009”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。
zkCli.sh -server <任一ZooKeeper实例所在节点业务IP>:<clientPort> 执行以下命令删除无用数据。
/* * 任务的提交认为三种方式 * 1、命令行方式提交,这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交,这种需要将应用程序的jar包打包好之后在Eclipse
如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。 场景二:准备Linux环境运行程序所需配置文件。
sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。 root Sftp密码 访问SFTP服务器的密码。
选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”,获取产生该告警的NameService的主、备NameNode节点的业务IP地址。
Hive中还包含拥有者权限“OWNERSHIP”和“Hive管理员权限”。 Hive数据文件权限,即HDFS文件权限。 Hive的数据库、表对应的文件保存在HDFS中。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。
Sparkscript作业偶现作业状态与Yarn上作业状态不一致。 管理面提交MR引擎作业当任务有多个map时管理面任务结束统计时间不正确。 SQL中查询表格大于10张时,查询结果排序与实际的排序不符。
OPTIONS('TIMESTAMPFORMAT'='timestampFormat') SKIP_EMPTY_LINE:数据加载期间,此选项将忽略CSV文件中的空行。
sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。 root Sftp密码 访问SFTP服务器的密码。
表3 参数说明 参数名称 含义 默认值 spark.kerberos.principal 具有Spark操作权限的principal。请联系MRS集群管理员获取对应principal。