检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入“${BIGDATA_HOME}/om-server/om/sbin/”目录,然后执行./status-oms.sh命令检查备OMS数据库资源状态是否正常,查看回显中,“ResName”为“gaussDB”的一行,是否显示如下信息: 例如: 10_10_10_231 gaussDB
服务 > Yarn > 实例 > ResourceManager(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“ResourceManager内存使用详情”。查看直接内存使用情况。 图1 定制ResourceManager内存使用详情 查看
对于已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 HDFS与Yarn的资源请求在Ranger中的策略条件未能覆盖的情况下,组件ACL规则仍将生效。 在“用户”,单击“添加”选择指定的用户并添加。 单击“确定”完成用户组创建。
= 120个桶。如果采用月分区,分区桶的个数= 3GB * 30 /2GB = 45个桶 ,这样写入的数据桶数减少到了45个桶。在有限的计算资源下,写入的桶数越少,性能越高。 父主题: Hudi数据表设计规范
解决ClickHouse集群IAM用户同步失败问题 解决集群内Flume客户端无法使用委托访问OBS问题 解决YARN开源原生界面作业占用队列资源百分比不显示问题 解决YARN开源原生界面查看作业日志时显示不全的问题 解决Hive作业在HDFS上临时文件残留问题 解决开源Sqoop 1
出现此告警时,说明当前Loader实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上调出“Loader堆内存资源状况”监控图表,观察该监控图表中“Loader使用的堆内存大小”的变化趋势,根据当前堆内存使用的大小,调整“-Xmx”的值为当前堆内存使用量的两倍(或根据实际情况进行调整)。
待操作集群的名称 > 服务 > HDFS > 实例 > DataNode(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“DataNode内存使用详情”。查看直接内存使用情况。 查看DataNode使用的直接内存是否已达到DataNode设定的最大直接内存的90%(默认阈值)。
> 服务 > Yarn > 实例 > NodeManager(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“NodeManager内存使用率”。查看堆内存使用情况。 图1 定制NodeManager内存使用率 查看NodeManager
vaExample”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”;如无特殊需求,使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。 工程导入完成后,修改样例工程的“conf”目录下的“clickhouse-example.p
ample”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”,如无特殊需求,相关配置使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成样例工程导入。 工程导入完成后,修改样例工程的“conf”目录下的“clickhouse-example
写入文件,提升该算子并行度提升性能。 写算子索引检测算子调整参数:write.bucket_assign.tasks 非状态计算提升性能的资源优化 Flink计算操作分为如下两类: 无状态计算操作:该部分算子不需要保存计算状态,例如:filter、union all、lookup
FlinkSQL作业定义,根据用户输入的Sql,校验、解析、优化、转换成Flink作业并提交运行。 Flink作业可视化管理 支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。 流作业和批作业的状态监控。 Flink作业运维能力增强,包括原生监控页面跳转。 性能&可靠性
DBCServer在启动的时候,会启动一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器,等待JDBC客户端的连接和提交查询。所以,在配置JDB
二级索引表名长度(单位:字符) 120 表中所有二级索引表的表名+列名的累积长度*(单位:字符) 3800** * Hive允许的上限值或可用资源的上限值。 ** 二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERD
默认情况下,BroadCastJoin只允许被广播的表计算5分钟,超过5分钟该任务会出现超时异常,而这个时候被广播的表的broadcast任务依然在执行,造成资源浪费。 这种情况下,有两种方式处理: 调整“spark.sql.broadcastTimeout”的数值,加大超时的时间限制。 降低“spark
250 ACTIVE=10.0.0.250 审计日志 <UserName><yyyy-MM-dd HH:mm:ss,SSS><审计操作描述><资源参数><url><是否允许><审计操作><ip地址> {"username": "admin", "eventTime": "2014-11-06
CarbonData具有以下独有的特点: 伴随索引的数据存储:由于在查询中设置了过滤器,可以显著加快查询性能,减少I/O扫描次数和CPU资源占用。CarbonData索引由多个级别的索引组成,处理框架可以利用这个索引来减少需要安排和处理的任务,也可以通过在任务扫描中以更精细的单
Manager运行后,所有Job恢复。 当某一TaskManager失败后,这个TaskManager上的所有作业都将停止,然后等待有可用资源后重启。 当某个Job的Task失败后,整个Job也会重启。 有关Job的配置重启策略,具体内容请参见https://ci.apache.
FlinkSQL作业定义,根据用户输入的Sql,校验、解析、优化、转换成Flink作业并提交运行。 Flink作业可视化管理 支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。 流作业和批作业的状态监控。 Flink作业运维能力增强,包括原生监控页面跳转。 性能&可靠性
待操作集群的名称 > 服务 > Yarn > 实例 > NodeManager(对应上报告警实例主机名)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“NodeManager内存使用率”。查看非堆内存使用情况。 图1 定制NodeManager内存使用率 查看NodeManage