检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ster处理高优先级请求的能力,减少HMaster过载。 表4 大批量Region上下线过载相关参数调优 实例名称 参数名称 参数描述 调整策略 HMaster hbase.regionserver.metahandler.count HMaster处理高优先级请求的Handler数量。
Manager管理员用户名,密码以及OMS浮动IP地址。 OMS浮动IP地址获取方式:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,
processor.priority.<sinkName> - 优先级值。<sinkName> 必须是sinks中有定义的。优先级值高Sink会更早被激活。值越大,优先级越高。注:多个sinks的话,优先级的值不要相同,如果优先级相同的话,只会有一个生效。 processor.maxpenalty
2023年4月28日 更新内容 服务模块 主要变更点 ClickHouse 升级到22.3.2.2版本。 ClickHouse支持多租户,通过CPU优先级和内存限额分配资源。 Flink 升级到1.15.0版本。 FlinkServer支持审计日志。 Hadoop 升级到3.3.1版本。 HetuEngine
BZip2Codec hive.exec.compress.output参数必须设置为true,才能使下边的参数选项生效。 如需在session级设置,只需要在执行命令前增加如下设置即可: set hive.exec.compress.output=true; set mapreduce
滚动重启前请分析集群。ZooKeeper客户端连接数规格是否满足“maxCnxns”、“maxClientCnxns”参数配置要求,否则适当调整参数值使满足系统要求。可以通过各quorumpeer实例“ZooKeeper服务客户端资源连接状况”监控值分析,当规格不满足要求时,增大如上服务端参数配置值即可。
连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 -table <table-name> MySQL中用于存放导出数据的表名称。 -export-dir
按照订单的购买周期结算。 后付费 按照MRS集群实际使用时长计费。 - 计费周期 按订单的购买周期计费,最短时长为1个月,最长时长为1年。 秒级计费,按小时结算。 - 适用计费项 MRS服务管理费用、IaaS基础设施资源费用(弹性云服务器,云硬盘)。 MRS服务管理费用、IaaS基础设施资源费用(弹性云服务器,云硬盘)。
HBase数据读写操作的应用开发示例。 通过调用HBase接口可实现创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能,相关业务场景介绍请参见HBase样例程序开发思路。 hbase-examples/hbase-rest-example HBase
HBase数据读写操作的应用开发示例。 通过调用HBase接口可实现创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能,相关业务场景介绍请参见HBase样例程序开发思路。 hbase-examples/hbase-rest-example HBase
图1 Spark表管理层次 当Session退出时,用户操作相关的临时表将自动删除。建议用户不要手动删除临时表。 删除临时表时,其优先级与查询相同,从高到低为Spark临时表、Hive临时表、Hive持久化表。如果想直接删除Hive表,不删除Spark临时表,您可以直接使用drop
图1 Spark表管理层次 当Session退出时,用户操作相关的临时表将自动删除。建议用户不要手动删除临时表。 删除临时表时,其优先级与查询相同,从高到低为Spark临时表、Hive临时表、Hive持久化表。如果想直接删除Hive表,不删除Spark临时表,您可以直接使用drop
单击“添加用户策略”添加用户策略。 “用户名”:表示用户的名称。 “权重”:在发生资源抢占时,权重越大则会优先抢占资源。(MRS 3.5.0之前版本) “优先级”:在发生资源抢占时,优先级越高则会优先抢占资源,但不确保所有的Container都会被启动。(MRS 3.5.0及之后版本) “最多核数”:表示用户最多可以使用的虚拟核数。
动刷新任务,默认值为0.2,最小值为0.05。 refresh_priority:物化视图提交自动刷新任务的优先级。默认值为3,最大值为3,1表示最高优先级。高优先级的任务会有更大机会先被执行。 示例 在mv catalog和数据存储的catalog(示例中使用的数据存储的cat
iled to CREATE_FILE"异常。 这种现象仅会在大面积shuffle文件损坏时发生,出现异常后task会重试,重试耗时在毫秒级,影响较小,可以忽略不计。 父主题: Spark Core
数据删除功能的执行性能还依赖merge和mutation(alter table update/delete)任务的多少。queue队列中的mutation任务优先级最低(同一个表上的mutation任务是串行执行的),能并行执行多少个delete任务直接受merge任务执行情况的影响。 表中part个数
iled to CREATE_FILE"异常。 这种现象仅会在大面积shuffle文件损坏时发生,出现异常后task会重试,重试耗时在毫秒级,影响较小,可以忽略不计。 父主题: Spark Core
gc.childopts、topology.worker.childopts和worker.gc.childopts(服务端参数)有优先级,优先级大小为:topology.worker.gc.childopts > worker.gc.childopts > topology.worker
发现29101端口连接对端端口为21005,而21005为Kafka服务端端口。 说明业务层作为客户端连接Kafka获取消息,业务端口分配通过OS的随机端口分配范围来确定。 通过cat /proc/sys/net/ipv4/ip_local_port_range命令查看随机端口范围。
HBase计划性迁移后存量复制导致全量数据重复迁移。 Cache key had block type null日志打印过多,可能影响性能。 ALM-19012告警HBase系统表目录或文件丢失告警误报。 健康检查脚本执行异常导致上报HBase服务不可用误告警。 解决Yarn问题: RM长时间运行后发现大量Cont