检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
x及之后版本,当HBase集群开启Replication功能时,为了保护主备集群的HBase数据一致性,对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时,首先检查发出该请求的用户的权限,只有HBase管理用户才有修改权限;其次检查发出该请求的IP的有效性,备集群只
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
MRS集群切换VPC后集群状态异常不可用 问题现象 客户MRS集群,在ECS侧将所有节点的VPC切换后集群状态异常。 所有服务不可用,其中Hive beeline报错如下: 原因分析 MRS不支持切换VPC,切换VPC后,节点的内网IP变化,但是配置文件和数据库还是原有的IP,导
processReport(BlockManager.java:1854) 每一个被删除的Block会产生一条日志信息,一个文件可能会存在一个或多个Block。当删除的文件数过多时,NameNode会花大量的时间打印日志,然后导致NameNode启动慢。 当出现这种现象时,您可以通过如下方式提升NameNode的启动速度。
Client连接到Flume Server的某个端口,Client端连续3分钟未与Server端连接时,系统产生此告警。 当Flume Server收到Flume Client连接消息,告警恢复。 告警属性 告警ID 告警级别 可自动清除 24003 严重 是 告警参数 参数名称 参数含义
ALM-12006 节点故障(2.x及以前版本) 告警解释 Controller按30秒周期检测NodeAgent状态。当Controller连续三次未接收到某个NodeAgent的状态报告时,产生该告警。 当Controller可以正常接收时,告警恢复。 告警属性 告警ID 告警级别 可自动清除
的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据集群异常,当检测到用户的虚拟机出现以上状态的时候,发送通知给对应用户。 创建主题 主题是消息发布或客户端订阅通知的特定事件
典型场景:从HBase导出数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权
使用Loader从HBase导出数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户
Kafka等)。Maxwell可部署在MySQL机器上,也可独立部署在其他与MySQL网络可通的机器上。 Maxwell运行在Linux服务器上,常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等,且需要Java 1.8+支持。 同步数据具体内容如下。
/opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,修改kadmin/admin密码。此操作对所有服务器生效。如果密码丢失将不可找回,请妥善保管。 kpasswd kadmin/admin 输入用户密码后(默认密码为Admin@123),设置新密码。新密码的默认复杂度要求:
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
topic中的角色称为Producer。 Consumer 从Kafka Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 父主题: Kafka开发指南(普通模式)
processReport(BlockManager.java:1854) 每一个被删除的Block会产生一条日志信息,一个文件可能会存在一个或多个Block。当删除的文件数过多时,NameNode会花大量的时间打印日志,然后导致NameNode启动慢。 当出现这种现象时,您可以通过如下方式提升NameNode的启动速度。
Client连接到Flume Server的某个端口,Client端连续3分钟未与Server端连接时,系统产生此告警。 当Flume Server收到Flume Client连接消息,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24003 重要 是 告警参数 参数名称 参数含义
在SFTP服务器的“/opt/houjt/test03”路径中,创建多个以“table1”为前缀,“.txt”为后缀,中间为yyyyMMdd的日期格式的文件。 图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请参见典型场景:从SFTP服务器导入数据到HDFS/OBS。
端运行Loader作业。 操作步骤 在SFTP服务器的“/opt/houjt/test03”路径中,创建多个以“table1”为前缀,“.txt”为后缀,中间为yyyyMMdd的日期格式的文件。 图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请
可能导致上层服务无法连接DBService的数据库,影响正常业务。 可能原因 数据库连接数使用过多。 数据库连接数最大值设置不合理。 告警阈值配置或者平滑次数配置不合理。 处理步骤 检查数据连接数是否使用过多 在FusionInsight Manager主页,单击左侧服务列表的DBServi
统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器 ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务,如图2所示。 “持续时间”选择“永久”并单击“完成”。 图2 创建委托