检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xxx代表业务IP地址。 hosts = ["xxx.xxx.xxx.xxx", "xxx.xxx.xxx.xxx"] 如果HiveServer实例被迁移,原始的示例程序会失效。在HiveServer实例迁移之后,用户需要更新示例程序中使用的HiveServer的IP地址。 配置Kerbe
xxx代表业务IP地址。 hosts = ["xxx.xxx.xxx.xxx", "xxx.xxx.xxx.xxx"] 如果HiveServer实例被迁移,原始的示例程序会失效。在HiveServer实例迁移之后,用户需要更新示例程序中使用的HiveServer的IP地址。 配置Kerbe
看到没有权限的表和库 问题现象 普通集群(未开启Kerberos认证)中,Hive启用Ranger鉴权后,集群用户在Hue页面能查看到没有被授权的数据表和数据库内容。 本章节仅适用于MRS 3.2.1及之后版本。 原因分析 Hive启用Ranger鉴权后,默认的Hive策略中有2
jars Jar包路径,例如:hdfs://hacluster/tmp/spark/JAR/spark-test.jar 验证jar包已经被加载,执行结果无“ClassNotFoundException”报错,则表示正常。 父主题: Spark Core企业级能力增强
而可能导致服务整体异常。 可能原因 主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态和Z状态。或进程可能被挂起进入T状态。 处理步骤 查看进程是否处于D、Z、T状态 登录FusionInsight Manager页面,选择“运维 > 告警 > 告
上所有Partition的当前副本下线,多个节点同时出现数据目录状态异常,可能会导致部分Partition不可用。 可能原因 数据目录权限被篡改。 数据目录所在磁盘故障。 处理步骤 检查故障的数据目录权限。 根据告警提示的主机信息,登录到该节点上。 查看告警详细信息中所提示的数据
lickhouse/sbin/clickhouse-create-meta.sh true 执行以下命令,查看日志信息,确认元数据是否已经被同步。 vim /var/log/Bigdata/clickhouse/clickhouseServer/start.log 若同步完成,执行9。
中相比,Direct API简单地给出每个batch区间需要读取的偏移量位置。然后,每个batch的Job被运行,而对应偏移量的数据在Kafka中已准备好。这些偏移量信息也被可靠地存储在checkpoint文件中,应用失败重启时可以直接读取偏移量信息。 图1 Direct Kafka接口数据传输
HBase应用开发常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 keytab文件
> 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在表“资源使用(按二级Znode)”中,查看告警对应Znode是否被写入较多数据。 是,执行3。 否,执行4。 图1 资源使用(按二级Znode) 登录ZooKeeper客户端,删除告警对应Znode下的无用数据。
datetime=2021-09-24 └── hour=6 ├── part-0.parquet 分区文件的滚动策略。 分区目录中的数据被拆分为part文件,每个分区将至少包含一个part文件,用于接收sink的子任务的数据写入。 如下参数介绍分区文件如何进行滚动。 表1 分区文件的滚动策略
HBase应用开发常用概念 过滤器 过滤器用于帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户,可通过Java
该任务指导您在日常运维中,查看某个Loader作业的历史执行状态以及每次执行时长,同时提供该作业两种操作: 脏数据:查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志:查看作业在MapReduce执行的日志信息。 本章节适用于MRS
_HOME}/conf”下顺序读取alluxio-site.properties , 当alluxio-site.properties文件被读取到则跳过剩余路径的查找,所以请根据实际环境情况存放alluxio-site.properties文件。 在Linux环境下执行运行样例程序。
据。 true:表示丢弃缓存的数据(需要在DataNode中配置)。 当同一份数据,重复读取的次数较少时,建议设置为true,使得缓存能够被其他操作使用。 false:重复读取的次数较多时,设置为false能够提升重复读取的速度。 说明: 在提升写性能操作中,该参数为可选参数,请根据实际需要进行修改。
该任务指导您在日常运维中,查看某个Loader作业的历史执行状态以及每次执行时长,同时提供该作业两种操作: 脏数据:查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志:查看作业在MapReduce执行的日志信息。 本章节适用于MRS
lickhouse/sbin/clickhouse-create-meta.sh true 执行以下命令,查看日志信息,确认元数据是否已经被同步。 vim /var/log/Bigdata/clickhouse/clickhouseServer/start.log 若同步完成,执行9。
节点IP及端口。 对系统的影响 当有脱离集群管控的DataNode时,可能造成数据丢失。 可能原因 强制删除主机后,该主机又上电恢复,进程被重新启动。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看该告警的详细信息,在附加信息中查看发生该告警的主机IP。
bin,进入Flink脚本目录。 执行命令sh proceed_ha_ssl_cert.sh,重新生成HA证书,等待1分钟,观察此告警是否被清除。 是,执行8。 否,执行9。 查看系统在定时检查时是否会再次产生此告警。 是,执行9。 否,处理完毕。 收集故障信息。 在FusionInsight
据。 true:表示丢弃缓存的数据(需要在DataNode中配置)。 当同一份数据,重复读取的次数较少时,建议设置为true,使得缓存能够被其他操作使用。 false:重复读取的次数较多时,设置为false能够提升重复读取的速度。 说明: 在提升写性能操作中,该参数为可选参数,请根据实际需要进行修改。