检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
getState = count } 带checkpoint的数据源 source算子的代码,该段代码每发送10000条数据休息1秒钟,制作快照时将到目前为止已经发送的数据的条数保存在UDFState中;从快照中状态恢复时,读取UDFState中的数据条数并重新赋值给count变量。 下面代码
访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错 加载空的part文件时,app无法显示在JobHistory的页面上 Spark2x导出带有相同字段名的表,结果导出失败
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 TaskName 任务名称。 对系统的影响 周期备份任务失败,可能会导致长时间没有可用的备份包,在系统出现异常时,无法恢复。 可能原因 该告警产生原因依赖于该任务的详细情况,直接获取日志和任务详情来处理该告警。
kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了HDFS的客户端。 代码认证: 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRINCIPAL_NAME变量为实际使用的值。 private static final String PRNCIPAL_NAME
getState = count } 带checkpoint的数据源 source算子的代码,该段代码每发送10000条数据休息1秒钟,制作快照时将到目前为止已经发送的数据的条数保存在UDFState中;从快照中状态恢复时,读取UDFState中的数据条数并重新赋值给count变量。 1 2
上述打包命令中的{maven_setting_path}为本地Maven的settings.xml文件路径。 打包成功之后,在工程根目录的“target”子目录下获取打好的jar包,例如“MRTest-XXX.jar”,jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX
kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了HDFS的客户端。 代码认证: 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRINCIPAL_NAME变量为实际使用的值。 private static final String PRNCIPAL_NAME
如下图可以看出,第三行hostname为controller-192-168-1-3节点和第四行hostname为eth0节点为同一RegionServer上报的信息,登录相应节点,查看/etc/hosts文件,发现,对应同一ip,配置两个hostname。如下: 解决办法 登录RegionServe
Xmx最大内存数/4GB * 1500000 ClickHouse在ZooKeeper上的顶层目录的节点数量配额。 数量配额的单位是个,最小值是-1(无限制),不能等于0。 注意: 设置的数量配额值,如果小于当前ZooKeeper目录的实际值,保存配置可成功,但是配置值不会生效,并且界面会上报告警。 clickhouse
Xmx最大内存数/4GB * 1500000 ClickHouse在ZooKeeper上的顶层目录的节点数量配额。 数量配额的单位是个,最小值是-1(无限制),不能等于0。 注意: 设置的数量配额值,如果小于当前ZooKeeper目录的实际值,保存配置可成功,但是配置值不会生效,并且界面会上报告警。 clickhouse
告警级别 是否自动清除 45276 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当存在单个RangerAdmin状态异常时,不影响Ranger原生UI访问;当两
返回作业管理页面,可以查看到已创建的作业名称、类型、状态、作业种类和描述等信息。 作业创建完成后,可在对应作业的“操作”列对作业进行启动、开发、停止、编辑、删除、查看作业详情和Checkpoint故障恢复等操作。 若要使用其他用户在节点上读取已提交的作业相关文件,需确保该用户与提交作业的用户具有相同的用户组
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 附加信息 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 详细信息 慢盘隔离描述信息。 对系统的影响 处于隔离状态的磁盘或者节点不能及时恢复,可能会对大数据组件运行产生影响,进而影响用户业务使用。
告警级别 是否自动清除 45431 紧急 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 部分ClickHouseServer实例不可用。 可能原因 安装或扩容过程中,实例数或分配方式不能满足拓扑要求。
topic.replication.factor和transaction.state.log.replication.factor的值为2。 保存配置,并重启配置过期的服务或者实例。 父主题: 使用Kafka
SparkSQL天然与Hive集成,无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景,通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项;该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中,为后续的跨引擎操作数据以及数据管理提供便利。
原因分析 HDFS在写的时候有设置块大小,默认128M,某些组件或者业务程序写入的文件可能不是128M,如8M。 <name>dfs.blocksize</name> <value>134217728</value> 图1 某些组件或者业务程序写入的文件大小 distcp 从
> 下载”。 在“服务”中勾选待操作集群的“DBService”。 设置日志收集的主机,可选项,默认所有主机。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
'info:modify_time','2021-03-03 15:20:39' 上述数据的modify_time列可设置为样例程序启动后30分钟内的时间值(此处的30分钟为样例程序默认的同步间隔时间,可修改)。 put 'hbase_table','9','info:modify_time'
是否自动清除 12040 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 节点的操作系统熵值不足,可能导致该节点上加解密等命令执行慢,进而引起各实例业务处理性能下降,甚至业务进程无法正常执行。