检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
true spark.sql.adaptive.skewJoin.skewedPartitionFactor 此配置为一个倍数因子,用于判定分区是否为数据倾斜分区。单个分区被判定为数据倾斜分区的条件为:当一个分区的数据大小超过除此分区外其他所有分区大小的中值与该配置的乘积,并且大小超过spark
查询总共扫描的行数。 return_rows bigint 查询结果返回的行数。 stmt_id int 自增ID。 is_query tinyint 是否为查询语句。 1:表示是查询语句。 0:表示不是查询语句。 frontend_ip varchar(200) 执行查询的FE的IP地址。 cpu_time_ms
TezUI进程的GC日志 prestartDetail.log TezUI启动前的工作日志 check-serviceDetail.log TezUI服务启动是否成功的检查日志 postinstallDetail.log TezUI安装后的工作日志 startDetail.log TezUI进程启动日志
public void setState(long count) { this.count = count; } // 获取用户自定义状态 public long geState() { return this.count; } }
信息。当Active ResourceManager产生故障时,Standby ResourceManager会从Statestore目录获取Application相关信息,恢复数据。 Yarn和Tez的关系 Hive on Tez作业信息需要Yarn提供TimeLine Ser
c、QAS当前的运行日志和审计日志的配置。 HetuEngine计算实例运行日志相关参数: log.clean.task.enabled:是否开启计算实例日志自动定时清理。 log.clean.task.expire-time.day:计算实例日志归档在HDFS的过期时间,默认值:30天。
Flume支持定制脚本,支持在传输前或者传输后执行指定的脚本,用于执行准备工作。 本章节适用于MRS 3.x及之后版本。 未安装Flume客户端 获取软件包。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面,在右上角选择“更多
P。扩容前,新增加的IP需要配置为受信任的IP。 前提条件 根据安装规划,收集集群内全部节点的管理平面IP、业务平面IP和所有浮动IP。 获取集群内节点的root用户和密码。 配置受信任IP地址访问LDAP 配置OMS LDAP信任的IP地址 登录FusionInsight Manager。
query(String topic, int recordId) throws Exception; /** * 查询某个Topic是否存在 * @param topic */ Boolean isExist(String topic) throws Exception;
同步配置”。同步完成后重启Mapreduce服务。 作业日志参数: 表1 参数说明 参数 描述 默认值 mapreduce.jobhistory.cleaner.enable 是否开启作业日志文件清理功能。 true mapreduce.jobhistory.cleaner.interval-ms 作业日志文件清理启
IOException("input conf is invalid."); } // 2.检查文件是否存在 File userKeytabFile = new File(userKeytabPath); if
主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查DBService主备实例状态是否正常。如果不正常,不能执行恢复操作。 恢复CDL业务数据时需要先停止Kafka服务,待恢复完成后,再启动Kafka服务。 恢复CDL业务数据
同步配置”。同步完成后重启Mapreduce服务。 作业日志参数: 表1 参数说明 参数 描述 默认值 mapreduce.jobhistory.cleaner.enable 是否开启作业日志文件清理功能。 true mapreduce.jobhistory.cleaner.interval-ms 作业日志文件清理启
ZooKeeper系统日志,记录ZooKeeper系统运行时候所产生的大部分日志。 check-serviceDetail.log ZooKeeper服务启动是否成功的检查日志。 zookeeper-<SSH_USER>-<DATA>-<PID>-gc.log ZooKeeper垃圾回收日志。 instanceHealthDetail
i支持跨分区进行数据更新,但Global索引性能较差一般不建议使用。 建议 事实表采用日期分区表,维度表采用非分区或者大颗粒度的日期分区 是否采用分区表要根据表的总数据量、增量和使用方式来决定。从表的使用属性看事实表和维度表具有的特点: 事实表:数据总量大,增量大,数据读取多以日期做切分,读取一定时间段的数据。
conf 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。
query(String topic, int recordId) throws Exception; /** * 查询某个Topic是否存在 * @param topic */ Boolean isExist(String topic) throws Exception;
ZooKeeper系统日志,记录ZooKeeper系统运行时候所产生的大部分日志。 check-serviceDetail.log ZooKeeper服务启动是否成功的检查日志。 zookeeper-<SSH_USER>-<DATA>-<PID>-gc.log ZooKeeper垃圾回收日志。 instanceHealthDetail
无法克隆 克隆的作业只能并行执行,不保证执行顺序 包周期集群不允许克隆集群作业 普通集群支持克隆作业,安全集群不支持克隆作业 集群相关配置是否支持克隆情况参见表1。 表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用区、企业项目、虚拟
ACTIVE=10.0.0.250 审计日志 <UserName><yyyy-MM-dd HH:mm:ss,SSS><审计操作描述><资源参数><url><是否允许><审计操作><ip地址> {"username": "admin", "eventTime": "2014-11-06 10:28:34"