检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
server以及副本之间的关联关系。同一时间集群中只有一个acting master(leader master),如果leader master挂了,一个新的master会通过Raft算法选举出来。所有的master数据都存放在一个tablet中,这个tablet会被复制到所有的candidate master上;tablet
1/{project_id}/cluster_infos/{cluster_id} {endpoint}信息具体请参考终端节点。 {project_id}信息请通过获取项目ID获取。 {cluster_id}信息即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 Body:
k的数量。 图1 Task的Rebalance示意图 CDL与其他组件的关系 CDL组件基于Kafka Connect框架,抓取的数据都是通过kafka的topic做中转,所以首先依赖Kafka组件,其次CDL本身存储了任务的元数据信息和监控信息,这些数据都存储在数据库,因此也依赖DBService组件。
Pool用于处理session连接,HiveServer2-Background-Pool用于处理SQL语句的执行。 当前的健康检查机制是通过新增一个session连接,并在该session所在的线程中执行健康检查命令HEALTHCHECK来判断SparkJDBCServer的健
arch64时值为“1.0.0-hw-aarch64”,os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时,可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依赖hbase-common
arch64时值为“1.0.0-hw-aarch64”,os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时,可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依赖hbase-common
arch64时值为“1.0.0-hw-aarch64”,os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时,可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依赖hbase-common
与Spark1.5的存储方式一致,所以Spark2x可以直接读取Spark1.5创建的表,不存在上述问题。 规避措施: Spark2x可以通过创建外表的方式来创建一张指向Spark1.5表实际数据的表,这样可以实现在Spark2x中读取Spark1.5创建的DataSource表。同时,Spark1
partition_col_value, partition_column = partition_col_value, ...) 描述 从表或分区中移除所有行。用户可以通过partition_spec一次性删除分区表的多个分区,如果不指定就一次清除分区表的所有分区。当表属性“auto.purge”采用默认值“
如果没有identities信息,执行ps -ef|grep ssh-agent找到ssh-agent进程,并kill该进程等待该进程自动重启。 执行ssh-add -l 查看是否已经添加identities信息,如果已经添加,请手动ssh确认互信是否正常。 如果有identities信息,需要确认/home/omm/
常见问题 如何查看当前集群未清除告警? 登录MRS管理控制台。 单击待操作的集群名称,选择“告警管理”页签。 单击“高级搜索”,将“告警状态”设置为“未清除”,单击“搜索”。 界面将显示当前集群未清除的告警。 集群发生告警后如何清除? 集群发生告警后,可以查看对应告警的帮助文档进行处理。帮助文档查看入口如下:
omm-W。登录Oozie管理页面,查看运行情况。 使用oozieuser用户,登录Oozie WebUI页面:https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中,可在页面表格根据jobid查看已提交的工作流信息。 父主题: 使用Oozie客户端提交作业
omm-W。登录Oozie管理页面,查看运行情况。 使用oozieuser用户,登录Oozie WebUI页面:https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中,可在页面表格根据jobid查看已提交的工作流信息。 父主题: 使用Oozie客户端提交作业
在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Loader堆内存使用率超过阈值”,检查该告警的“定位信息”。查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Loader >
针对以上问题,HDFS高可用性方案通过自动或手动(可配置)的方式,在一个集群中为NameNode启动一个热替换的NameNode备份。当一台机器故障时,可以迅速地自动进行NameNode主备切换。或者当主NameNode节点需要进行维护时,通过MRS集群管理员控制,可以手动进行N
缩容功能。 进行计算实例扩容时,需要当前队列有足够的资源进行扩容,否则扩容无法达到预期,并影响后续缩容操作。 手动扩缩容可以设置超时时间,通过在Manager界面,选择“HetuEngine > 配置 > 全部配置”,搜索“application.customized.properties”,增加“yarn
下系统表的select权限:dba_objects、dba_extents。 导入流程 用户通过Loader界面进行数据导入作业,导入流程如图1所示。 图1 导入流程示意 用户也可以通过shell脚本来更新与运行Loader作业,该方式需要对已安装的Loader客户端进行配置。 父主题:
bManager和TaskManager的算子内的日志输出,输出的日志会打印到对应的yarn contain中,可以在Yarn WebUI查看对应日志。 MRS 3.1.0及之后版本的Flink 1.12.0版本开始默认的日志框架是log4j2,配置的方式跟之前log4j的方式有
使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认值(2048),否则Ca
) # 注册表 df.registerTempTable("FemaleInfoTable") # 执行SQL查询并显示结果 FemaleTimeInfo = sqlCtx.sql("SELECT * FROM " +