检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'{replica}') PARTITION BY toYYYYMM(d)ORDER BY a; 配置“ClickHouse输出”算子,如下图: 作业执行成功后,查看testck4表中数据: 父主题: 输出算子
缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表 日志类型 日志文件名 描述 运行日志 tezui.out TezUI运行环境信息日志 tezui.log TezUI进程的运行日志 tezui-omm-<日期>-gc.log.<编号> TezUI进程的GC日志 prestartDetail
查看所有DataNode实例的状态是否为“良好”。 是,执行11。 否,执行3。 重启DataNode实例,查看能否成功启动。 重启期间服务业务可能受损或中断,建议选择业务低峰期操作。 是,执行4。 否,执行5。 选择“运维 > 告警 > 告警”,查看该告警是否恢复。 是,处理完毕。 否,执行5。 删除被破坏的文件。
户登录该主机,执行4。 告警附加信息中显示“HA server Certificate”, 查看“定位信息”获取告警所在节点主机名,使用PuTTY工具以omm用户登录该主机,执行5 检查系统中合法证书文件的有效期。 查看当前系统时间是否在CA证书的有效期内。 执行命令openssl
在FusionInsight Manager页面告警列表中,单击此告警所在行的,查看该告警的主机名。在“主机”页面,根据对应的主机名,查看主机IP。 登录ClickHouse服务异常的实例主机节点,进入当前ClickHouse实例配置目录,执行如下命令: cd ${BIGDATA_HOME}/Fus
Source是否是avro类型。 是,执行8。 否,执行11。 以root用户登录故障节点所在主机,执行ping Flume Source配置的IP地址命令查看对端主机是否可以ping通,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行11。 否,执行9。 联系网络管理员恢复网络。
录该主机,执行4。 告警附加信息中显示“HA server Certificate”, 查看“定位信息”获取告警所在节点主机名,使用PuTTY工具以omm用户登录该主机,执行5 检查系统中合法证书文件的有效期。 查看当前CA证书剩余有效期是否小于证书的告警阈值。 执行命令openssl
md命令行执行如下命令,并修改样例代码中conf目录下的presto.properties文件的配置。 jdk1.8.0_242以上版本需要删除krb5.conf中[libdefaults]的renew_lifetime = 0m。 未开启Kerberos认证集群无须执行此步骤。
ALM-45593 IoTDBServer Flush执行时长超过阈值 告警解释 当检测到数据Flush功能时长超出阈值时产生该告警。当Flush时长低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 45593 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,从Kafka读取数据并换行打印 DataStream<String>
描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight
请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证,执行kinit hdfs命令,按提示输入密码(向MRS集群管理员获取密码)。如果集群采用非安全版本,需使用omm用户登录并执行命令,请确保omm用户具有客户端执行权限。
ster将进行用户region的分配。所以当在集群异常的场景下,WAL分割可能需要很长时间,这取决于多个因素,例如太多的WALs,较慢的I/O,region servers不稳定等。 为确保HMaster能够成功完成所有region server WAL分割,请执行以下步骤: 确
程比较耗时。且由于耗时,读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表,使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据,Avro格式文件(也可叫做log文件)用于存储增量数据。 优点:由于写入数据先写delta
程比较耗时。且由于耗时,读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表,使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据,Avro格式文件(也可叫做log文件)用于存储增量数据。 优点:由于写入数据先写delta
Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理。 支持安全协议Kerberos,MRS使用LDAP作为账户管理系统,并通过Kerberos对账户信息进行安全认证。 提供单点登录,统一了MRS系统用户和组件用户的管理及认证。 对登录Manager的用户进行审计。 父主题: 产品功能
和可执行权限。 对比当前主机上该文件的真实权限和5中获取到的文件应有权限,对该文件进行正确的权限和用户,用户组信息的修改。 等待一个小时,进入下一次检查,查看告警是否恢复。 是,操作结束。 否,执行8。 如果集群安装目录所在磁盘分区已满,部分程序安装目录会由于sed命令执行失败,
如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示输入密码(向MRS集群管理员获取密码)。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是,执行10。 否,执行9。 在hbase shell中执行命令打开负载均衡功能,并执行命令查看确认成功打开。
如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示输入密码(向MRS集群管理员获取密码)。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是,执行10。 否,执行9。 在hbase shell中执行命令打开负载均衡功能,并执行命令查看确认成功打开。
合理配置大数据集群的调度器后,还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项: 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整,具体操作请参考修改集群服务配置参数。 可用内存 除了分配给操