检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
答:将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase.enabled”修改为“true”,然后使用spark-submit --master yarn --keytab keytabfile --principal
gcInterval=0x7FFFFFFFFFFFFFE。 解决办法 针对memstore、cache修改配置参数后,重启HBase服务成功。 针对GC_OPTS配置错误,修改参数后重启HBase服务成功。 父主题: 使用HBase
Flink Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时,可使用Flink Jar的方式提交Flink SQL语句,以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句,多个语句之间使用分号分隔。
如果用户在ResourceManager中配置了自定义的调度器,可以通过以下配置项为其配置相应的Web展示页面及其他Web应用。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 表1 配置自定义调度器的WebUI 参数 描述 默认值 hadoop
-Dfastjson.parser.safeMode=true”(注意与前参数有空格),如下所示: 例如原参数值为:“-Xmx4G -Xms4G”,则修改后的参数值为:“-Xmx4G -Xms4G -Dfastjson.parser.safeMode=true”。 单击“保存”,配置保存完成
oozie.client.OozieClient的run方法提交作业,通过getJobInfo获取作业信息。 代码样例 代码示例中请根据实际情况,修改“OOZIE_URL_DEFALUT”为实际的任意Oozie的主机名,例如“https://10-1-131-131:21003/oozie/”。
为什么提交Spark Streaming应用超过token有效期,应用失败 问题 修改kerberos的票据和HDFS token过期时间为5分钟,设置“dfs.namenode.delegation.token.renew-interval”小于60秒,提交Spark Stre
配置场景 在资源不足导致ApplicationMaster启动失败的情况下,调整如下参数值,提高容错性,保证客户端应用的正常运行。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。 表1 参数说明 参数 描述 默认值 yarn.resourcemanager
配置文件“flink-conf.yaml”中配置项格式错误。 security.kerberos.login.principal:pippo 解决办法 修改“flink-conf.yaml”中配置,配置项名称和值之间存在一个空格。 security.kerberos.login.principal:
如果用户在ResourceManager中配置了自定义的调度器,可以通过以下配置项为其配置相应的Web展示页面及其他Web应用。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 表1 配置自定义调度器的WebUI 参数 描述 默认值 hadoop
oozie.client.OozieClient的run方法提交作业,通过getJobInfo获取作业信息。 代码样例 代码示例中请根据实际情况,修改“OOZIE_URL_DEFALUT”为实际的任意Oozie的主机名,例如“https://10-1-131-131:21003/oozie/”。
入数据到Doris。 Doris与Flink组件的关系 使用Flink Doris Connector可以通过Flink操作(读取、插入、修改、删除)Doris中存储的数据。 Doris与Hive组件的关系 Doris支持直接查询Hive数据源。 Doris与Kafka组件的关系
配置Guardian。 在FusionInsight Manager界面,选择“集群 > 服务 > Guardian > 配置 > 全部配置”,搜索并修改以下参数后,单击“保存”。 表2 配置Guardian参数 参数 含义 取值 token.server.access.iam.domain
安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.namenode.delegation
x.x。 Ssh command:提交作业的具体命令。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Ssh-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
面,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark.sql.extensions”,修改JDBCServer的spark.sql.extensions参数值为:org.apache.spark.sql.hive.FISparkSessionExtension
安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.namenode.delegation
为什么提交Spark Streaming应用超过token有效期,应用失败 问题 修改kerberos的票据和HDFS token过期时间为5分钟,设置“dfs.namenode.delegation.token.renew-interval”小于60秒,提交Spark Stre
ZooKeeper常用配置参数 参数入口: 请参考修改集群服务配置参数,进入ZooKeeper“全部配置”页面。在搜索框中输入参数名称。 表1 参数说明 配置参数 说明 默认值 skipACL 是否跳过ZooKeeper节点的权限检查。 no maxClientCnxns Zoo
x.x。 Ssh command:提交作业的具体命令。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Ssh-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。