检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:On
MR任务日志在HDFS上的归档路径 是 MR任务日志丢失 /tmp/hadoop-yarn/staging 固定目录 保存AM运行作业运行日志、作业概要信息和作业配置属性 否 任务运行异常 /tmp/hadoop-yarn/staging/history/done_intermediate 固定目录 所
hiveserverPort:需要替换为Hive服务的端口,可在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.server2.thrift.port”查看,默认值为“10000”。 username:参数值为实际使用的
e/data/default/TestTable”,其中$rootDir是HBase的根目录,该值通过在“hbase-site.xml”中配置hbase.rootdir.perms得到,data目录是HBase的固定目录,$nameSpace是nameSpace名字,$tableName是表名。
如果HiveServer实例被迁移,原始的示例程序会失效。在HiveServer实例迁移之后,用户需要更新示例程序中使用的HiveServer的IP地址。 配置Kerberos主机名和服务名。本例中“krb_host”参数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统
protocol", protocol)”注释掉。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。其默认值为“append”。 public class SecurityKafkaWordCount {
hiveserverPort:需要替换为Hive服务的端口,可在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.server2.thrift.port”查看,默认值为“10000”。 username:参数值为实际使用的
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:On
的Credential文件放到HDFS上。 当“dfs.namenode.delegation.token.renew-interval”配置值小于60秒,Executor进程起来时发现当前时间已经超过Credential文件更新时间,等待1分钟再去HDFS上面获取最新的Cred
在“Producer Message”栏可根据业务需求选择“Day”、“Week”、“Month”不同时段查看此Topic生产数据条数。 修改Topic配置。 在待修改项的“Operation”列单击“Action > Config”,弹出的页面中可修改Topic的“Key”和“Value”值
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:On
集群升级到新版本后,不支持回退到老版本。 普通版集群不支持升级。 版本发布周期/版本生命周期 表1 生命周期常用术语 术语 定义 停止销售(EOM) 指停止云服务版本的部署,现网中不再部署该云服务版本。 停止全面支持(EOFS) 指定云服务版本停止普通软件BUG修复工作,仅执行致命问题修复、安全类问题修复以及升级等操作。
的Credential文件放到HDFS上。 当“dfs.namenode.delegation.token.renew-interval”配置值小于60秒,Executor进程起来时发现当前时间已经超过Credential文件更新时间,等待1分钟再去HDFS上面获取最新的Cred
在“Producer Message”栏可根据业务需求选择“Day”、“Week”、“Month”不同时段查看此Topic生产数据条数。 修改Topic配置。 在待修改项的“Operation”列单击“Action > Config”,弹出的页面中可修改Topic的“Key”和“Value”值
────┴────┘ Upsert支持事务 与其他SQL语法类型一样,upsert语法也支持显式和隐式事务,使用事务前需要进行相应的事务功能开启配置。 注意事项 MergeTree和ReplicatedMergeTree建表要指定primary key或order by字段作为去重唯一键。如果未指定主键,只指定了order
登录KafkaManager的WebUI界面。 在对应集群的“Operations”列单击“Modify”。 图2 更新集群参数 进入集群配置参数页面,修改集群参数。 删除KafkaManager的WebUI界面的集群 登录KafkaManager的WebUI界面。 在对应集群的
7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至MRS集群到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。 父主题: 续费
自动开启DEBUG日志,在环境中由于选择副本失败,导致一直启动Debug日志,不停地修改log4j,修改组件的log4j后进程会自动加载该配置文件,此时就会有新的线程自动产生,长时间后就会触发该告警。 出现这种情况时,将内置机制关闭,禁止自动修改日志级别即可恢复。 解决办法 分别
Full outer join到MultiJoin状态不兼容,切换时无法通过快照恢复作业。 FlinkSQL支持MultiJoin算子使用方法 配置Flink作业时,可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.optimizer.mul
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());