检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-43028 JDBCServer Session过载 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 JDBCServer进程进行请求转发的时候,当触发Session资源不足流控后,会产生该告警。此时说明发送到JDBCServer进程的请求过多,超出JDBCServer进程目前的承受范围。
starting:启动中 terminating:删除中 terminated:已删除 failed:失败 接口约束 无 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id} 表1 路径参数 参数
创建一个包含有IoTDB组件的MRS集群,详情请参见购买自定义集群。 本文以自定义购买的MRS 3.2.0-LTS.1版本的集群为例,集群已开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。 例如客户端安装目录为“/opt/client”。
使用Loader从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
配置Maxwell 启动Maxwell 验证Maxwell 停止Maxwell Maxwell生成的数据格式及常见字段含义 配置MySQL 开启binlog,在MySQL中打开my.cnf文件,在[mysqld] 区块检查是否配置server_id,log-bin与binlog_f
以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户: cd 客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证的集群请跳过该操作) 将数据导入到HDFS中。 hdfs dfs -mkdir <inputdir> hdfs dfs
购买一个包含有Hadoop组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.2.0-LTS.1版本的集群为例,组件包含Hadoop组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 准备应用开发配置文件 集群创建成功后,登录FusionInsight
创建并购买一个包含有Flume、HDFS组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 集群购买成功后,登录集群的FusionInsight Manager界面,下载集群客户端并解压。 由于Flume客
创建并购买一个包含有Kafka组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,组件包含Hadoop、Kafka组件,集群未开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。 例如客户端安装在主
配置Maxwell 启动Maxwell 验证Maxwell 停止Maxwell Maxwell生成的数据格式及常见字段含义 配置MySQL 开启binlog,在MySQL中打开my.cnf文件,在[mysqld] 区块检查是否配置server_id,log-bin与binlog_f
e和NameNode数据是否自动备份。 检查健康检查结果 在Manager执行健康检查,下载健康检查报告确认当前集群是否存在异常状态。建议启用自动健康检查,并及时导出最新的集群健康检查结果,根据检查结果修复不健康项目。 检查网络通讯 检查集群网络工作状态,节点之间的网络通讯是否存在延时。
以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户: cd 客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证的集群请跳过该操作) 将数据导入到HDFS中。 hdfs dfs -mkdir <inputdir> hdfs dfs
将Oracle数据库中的数据导入HDFS时各连接器的区别 问题 使用Loader将Oracle数据库中的数据导入到HDFS中时,可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种,要怎么选?有什么区别?
ALM-18020 Yarn任务执行超时 告警解释 系统每15分钟周期性检测提交到Yarn上的Mapreduce和Spark应用任务(JDBC常驻任务除外),当检测到任务执行时间超过用户指定的超时时间时,产生该告警,但任务仍继续正常执行。其中,Mapreduce的客户端超时参数为“mapreduce
Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 如果要备份到HDFS,需要安装HDFS,Yarn服务。
如果索引数据与表数据不一致,该工具可用于重新构建索引数据。 如果暂时禁用索引并且在此期间,向禁用的索引列执行新的put操作,直接将索引从禁用状态启用可能会导致索引数据与用户数据不一致。因此,必须注意在再次使用之前重新构建所有索引数据。 对于大量现有的索引数据,可以使用TableIndexer工具将索引数据从表中完全删除。
ZKFC:如果一个ZKFC实例故障,NameNode将不会持续且自动地故障转移,这将导致客户端无法读取或写入任何数据到HDFS。因此,需要在其他可用的ZKFC上启用自动故障转移,以便恢复整个HDFS集群的正常工作。 可能原因 实例进程异常。 磁盘空间不足。 如果同一时间段,存在大量的进程故障告警,则可
如果索引数据与表数据不一致,该工具可用于重新构建索引数据。 如果暂时禁用索引并且在此期间向禁用的索引列执行新的put操作,直接将索引从禁用状态启用可能会导致索引数据与表数据不一致。因此,必须在再次使用之前重新构建所有索引数据。 对于大量现有的索引数据,可以使用TableIndexer工具将索引数据从表中完全删除。
将Oracle数据库中的数据导入HDFS时各连接器的区别 问题 使用Loader将Oracle数据库中的数据导入到HDFS中时,可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种,要怎么选?有什么区别?
用户在Flink提交作业或者运行作业时,应具有如下权限: 如果启用Ranger鉴权,当前用户必须属于hadoop组或者已在Ranger中为该用户添加“/flink”的读写权限。 如果停用Ranger鉴权,当前用户必须属于hadoop组。 安全集群(开启Kerberos认证)根据flink.keystore和flink