检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新为“运行中”。 转包周期后集群原有Task节点计费类型保持按需计费,集群在转包周期过程中已配置的弹性伸缩规则不触发新任务,请选择恰当的时间进行该操作。 父主题: 管理MRS集群
n 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,日志中一直打印getApplicationReport异常且应用较长时间不退出 Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while
等待状态。 为避免出现上述场景,使用“core-site.xml”中的“ipc.client.rpc.timeout”配置项设置客户端超时时间。 该参数的参数值为毫秒。默认值为0,表示无超时。客户端超时的取值范围可以为0~2147483647毫秒。 如果Hadoop进程已处于D状态,重启该进程所处的节点。
等待状态。 为避免出现上述场景,使用“core-site.xml”中的“ipc.client.rpc.timeout”配置项设置客户端超时时间。 该参数的参数值为毫秒。默认值为0,表示无超时。客户端超时的取值范围可以为0~2147483647毫秒。 如果Hadoop进程已处于D状态,重启该进程所处的节点。
是否必填 table_name 需要查询的表名,支持database.tablename格式。 是 commit_Time 指定创建或回滚的时间戳。 是 user 创建savepoint的用户。 否 comments 该条savepoint的注释说明。 否 示例 call crea
SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例,您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序,您可以参考如下示例,编写SparkLauncher类。 public static
在普通模式下,Yarn和HBase的权限管理默认是关闭的,即任何用户都有权限,因此普通模式下默认不需要配置Yarn和HBase权限。如果用户修改了Yarn或者HBase的配置来开启权限管理,则修改后也需要配置Yarn和HBase权限。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策
n 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,日志中一直打印getApplicationReport异常且应用较长时间不退出 Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while
把配置项“spark.eventQueue.size”配置为1000W。如果需要控制打印频率(默认为1000毫秒打印1条日志),请根据需要修改配置项“spark.event.listener.logRate”,该配置项的单位为毫秒。 启动应用,可以发现如下的日志信息(消费者速率、
gine应用安全认证中得到的“user.keytab”和“krb5.conf”文件放到“resources”目录下,并根据实际路径和用户名修改“jaas-zk.conf”文件中的配置参数。 图1 将认证文件放置在resources目录下 单击IDEA右侧Maven导入依赖。 图2
把配置项“spark.eventQueue.size”配置为1000W。如果需要控制打印频率(默认为1000毫秒打印1条日志),请根据需要修改配置项“spark.event.listener.logRate”,该配置项的单位为毫秒。 启动应用,可以发现如下的日志信息(消费者速率、
ink-conf.yaml中,所以需要用户根据实际情况手动修改为相对路径。例如: 将security.ssl.keystore: /opt/client/Flink/flink/conf//flink.keystore修改为security.ssl.keystore: ssl/flink
32768 其中“hdfs”和“hbase”表示业务中用到的操作系统用户名称。 只有root用户有权限编辑“limits.conf”文件。 如果修改的配置不生效,请确认“/etc/security/limits.d”目录下是否有针对操作系统用户的其他nofile值。这样的值可能会覆盖“
"description":"Add user"}' 'https://x.x.x.x:28443/web/api/v2/permission/users' 发送PUT方法,修改用户信息。 curl -k -i -b /tmp/jsessionid.txt -X PUT -HContent-type:application/json
SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例,您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序,您可以参考如下示例,编写SparkLauncher类。 public static
conf文件,并将keytab文件和krb5.conf文件放入到样例代码中的conf目录,安全登录方法如下代码所示。 认证信息需要根据实际环境修改。 public static final String PRINCIPAL= "test@HADOOP.COM"; public static
在python-examples/pyCLI_sec.py和python-examples/pyline.py的conf数组中的“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。
32768 其中“hdfs”和“hbase”表示业务中用到的操作系统用户名称。 只有root用户有权限编辑“limits.conf”文件。 如果修改的配置不生效,请确认“/etc/security/limits.d”目录下是否有针对操作系统用户的其他nofile值。这样的值可能会覆盖“
使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认值(2048),否则Carb
使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认值(2048),否则Carb