检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上层组件是通过dbservice.floatip连接的DBService。 在DBServer所在节点执行命令netstat -anp | grep 20051,发现DBService的Gauss进程在启动时并未绑定floatip,只监测了127.0.0.1的本地IP。 解决办法 重新启动DBService服务。
ll_queries 单台服务器上所有查询的内存使用量,默认没有限制。建议根据机器的总内存,预留一部分空间,防止内存不够导致服务或者机器异常。 0 机器总内存的80% 否 max_memory_usage 单个查询在单台服务器的能使用的最大内存。 10G 50GB 否(新版本可通过多租户方式配置)
Flink与其他组件的关系 Flink与Yarn的关系 Flink支持基于Yarn管理的集群模式,在该模式下,Flink作为Yarn上的一个应用,提交到Yarn上执行。 Flink基于Yarn的集群部署如图1所示。 图1 Flink基于Yarn的集群部署 Flink Yarn C
精确一次语义:Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性,为某些特定的存储支持了事务型输出的功能,即使在发生故障的情况下,也能够保证精确一次的输出。 丰富的时间语义 时间是流处理应用的重要组成部分,对于实时流处理应用来说,基于时间语义的窗口聚合、检
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时,部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题,建议时区选择“Asia/Shanghai”,如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页
如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager。然后选择“集群 > 待操作的集群名称 > 服务 > HDFS > 配置 > 全部配置”。
图1展示了使用IoTDB套件的全部组件形成的整体应用架构,IoTDB特指其中的时间序列数据库组件。 图1 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导
apJoin,执行MapJoin时会生成localtask任务,localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候,启动多个localtask,如果机器内存不够,就会导致启动localtask失败。 解决办法 进入Hive服务配置页面: MRS 3
同一个集群的自定义自动化脚本名称不允许相同。 只能由英文字母、数字、空格以及“_”和“-”组成,不能以空格开头,且长度为[1-64]个字符。 默认取值: 不涉及 uri 是 String 参数解释: 自定义自动化脚本的路径。设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径:直
定义Column的数量和类型。HBase中表的列非常稀疏,不同行的列的个数和类型都可以不同。此外,每个CF都有独立的生存周期(TTL)。可以只对行上锁,对行的操作始终是原始的。 Column 与传统的数据库类似,HBase的表中也有列的概念,列用于表示相同类型的数据。 RegionServer数据存储
产生Yarn队列资源不足告警时正在运行的资源队列如何查看? 问: 产生“ALM-18022 Yarn队列资源不足”告警时,正在运行的资源队列可以在哪查看? 答: Yarn资源队列可以登录Manager界面,选择“集群 > 服务 > Yarn > ResourceManager(主)”,登录Yarn的原生页面进行查看。
MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统,具有高容错和高吞吐量的特性,可以部署在价格低廉的硬件上,存储应用程序的数据,适合有超大数据集的应用程序。 MapReduce是一种编程模型,用于大数据集(大于1TB)的并行运算。在Ma
查看已安装的MRS集群客户端 FusionInsight Manager支持统一管理集群的客户端安装信息,用户下载并安装客户端后,界面可自动记录已安装(注册)客户端的信息,方便查询管理。 同时系统支持手动添加、修改未自动注册的客户端信息(如历史版本已安装的客户端)。 本章节仅适用于MRS
Flink支持不同的重启策略,以在发生故障时控制作业是否重启以及如何重启。若不指定重启策略,集群会使用默认的重启策略。用户也可以在提交作业时指定一个重启策略,可参考创建FlinkServer作业在作业开发界面配置(MRS 3.1.0及以后版本)。 重启策略也可以通过Flink的配置文件“
4:只显示最后的4个字符,其他用x代替。 Partial mask: show first 4:只显示开始的4个字符,其他用x代替。 Hash:用值的哈希值替换原值,采用的是hive的内置mask_hash函数,只对string、char、varchar类型的字段生效,其他类型的字段会返回NULL值。
如何让不同的业务程序分别用不同的Yarn队列? 问: 如何让不同的业务程序分别用不同的Yarn队列? 答: 在Manager页面上创建一个新的租户,然后将不同的集群业务用户绑定至不同的租户。 操作步骤 登录FusionInsight Manager,单击“租户资源”。 在左侧租户
问题2:可能原因如下: Spark的JobHistory服务异常。 日志太大,NodeManager在做日志汇聚的时候出现超时。 HDFS存放日志目录权限异常(默认/tmp/logs/用户名/logs)。 日志已被清理(spark的JobHistory默认存放7天的eventLog,配置项为spark
滤掉分区路径不存在的分区,来避免读取时报错。 配置描述 可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.sql.hive.verifyPartitionPath
r已集成的各服务权限管理插件,用户可通过对应插件设置更细粒度的权限,具体主要操作页面功能描述参见表1。 表1 Ranger界面操作入口功能描述 入口 功能描述 Access Manager 查看当前Ranger已集成的各服务权限管理插件,用户可通过对应插件设置更细粒度的权限,具体操作请参考添加Ranger权限策略。
~Z”分为四个Region。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testMultiSplit方法中。 public void testMultiSplit() { LOG.info("Entering