检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动失败。 处理步骤 登录报错的RegionServer节点,执行以下命令查看节点剩余内存: free -g 执行top命令查看节点内存使用情况。 根据top提示结束内存占用多的进程(内存占用多并且非MRS自身组件的进程),并重新启动HBase服务。 集群的Core节点除了MRS
写Hudi表task并行度,默认值为4。 4 index.bootstrap.enabled 选填 Flink采用的是内存索引,需要将数据的主键缓存到内存中,保证目标表的数据唯一,因此需要配置该值,否则会导致数据重复。默认值为FALSE。Bueckt索引时不配置该参数。 TRUE write
原因分析 集群在周期性的备份中,由于备份产生了软连接,将/srv/BigData/LocalBackup连接到了/opt/Bigdata/LocalBackup,会使用到根目录磁盘空间,因为根目录磁盘空间不足,导致无法写入备份文件,导致集群周期备份失败。 处理步骤 分别登录主、备Master节点。
“表输出”算子,用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入:需要输出的字段 输出:关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔
产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB持续发生is-write-stopped,主要反应的是Flink作业的CheckPoint的性能,对FlinkServer本身没有影响。
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统可能无法正常写入数据,导致部分数据丢失。
b文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。 MRS 3.x及之后版本请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
通过https协议连接安全集群,服务端的证书没有被认证,导致连接失败。 可以用集群内节点上java jdk目录下的cacerts(例如:/opt/Bigdata/jdk1.8.0_232/jre/lib/security/cacerts)替换当前节点java jdk目录下的cacerts来解决。
tar”为例进行描述。 上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client” user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目录,例如“/op
“表输出”算子,用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入:需要输出的字段 输出:关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 挂载目录名 产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。 对系统的影响 业务失败:如果运行的作业需要修改这个只读的设备分区上的数据,可能会导致作业运行失败。
x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS
左上角第一个图标。 进入配置空间监控子页面,单击“添加”。 在名称空格中填写监控的表名称(或其他用户自定义的别名),在路径中填写需要监控表的路径。单击“确定”。该监控的横坐标为时间,纵坐标为监控目录的大小。 父主题: Hive常见问题
timestamp”之后commit的次数。 增量查询:提交次数,如设置为3时,代表增量查询从指定的起始时间之后commit 3次的数据,设为-1时,增量查询从指定的起始时间之后提交的所有数据。 非增量查询:不设置。 Hudi表查询操作如下: 以Hive客户端安装用户登录安装客户端的节点。 执行以下
spark.examples.KafkaADCount。 /** * 运行Structured Streaming任务,统计广告的有效展示和有效点击数据,结果写入kafka中 */ object KafkaADCount { def main(args: Array[String]):
ax.request.size ”值和本次写入数据大小,若写入数据大小超过此配置项“max.request.size ”的缺省值,则抛出上述异常。 解决办法 在初始化Kafka生产者实例时,设置此配置项“max.request.size ”的值。 例如,参考本例,可以将此配置项设置为“5252880”:
resourceGroupAlarm”修改每个资源组的阈值。 收集故障信息。 根据故障信息中的HostName登录到集群节点,在presto客户端根据附加信息中的Reource Group查询排队数。 根据故障信息中的HostName登录到集群节点,查看/var/log/Bigdata
参数 说明 连接数据库 --connect 连接关系型数据库的url --connection-manager 指定连接管理类 --driver jdbc 连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名 --verbose
选择“系统管理 > 用户管理”。 在使用的用户所在行的单击“修改”。 为用户添加supergroup组。 单击“确定”完成修改操作。 FusionInsight Manager界面操作: 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在使用的用户所在行单击“修改”。
Driver是否支持对接dbcp2? 答: Hive driver不支持对接dbcp2数据库连接池。 dbcp2数据库连接池调用isValid方法检查连接是否可用,而Hive对于这个方法的实现就是直接报错。 父主题: 周边生态对接类