检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“确定”，完成Kafka作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在PgSQL数据库中对表进行插入数据操作，然后参考
否，执行3。 检查磁盘IO利用率是否达到上限。 在FusionInsight Manager页面，选择“运维 > 告警 > 告警”，在告警列表中展开此告警的详细信息，在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“磁盘IO利用率”的实时数据5分钟左右，若磁盘IO利用
Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43011”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页，选择“集群 > 服务 > Spark2x > 实例”，单击告警上报的JDBCServ
该告警产生原因依赖于该任务的详细情况，直接获取日志和任务详情来处理该告警。 处理步骤 查看磁盘空间是否不足 在MRS Manager界面，单击“告警管理”。 在告警列表中单击该告警的，从“定位信息”处获得“任务名”。 选择“系统设置 > 备份管理”。 根据“任务名”查找对应备份任务，选择“操作”栏下的“更多
操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
iveExample样例工程的“\src\main\resources”路径。 修改样例工程中的如下参数，请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 src\main\resources\application.properties submit_user
Manager首页，选择“运维 > 告警 > 告警”，单击告警“ZooKeeper可用连接数不足”所在行的下拉菜单，在定位信息中确认告警上报的主机名所在的节点IP地址。 获取ZooKeeper进程pid。以root用户登录到告警上报的节点，用户密码为安装前用户自定义，请咨询系统管理员，执行命令：pgrep
服务总体内存使用大小 查看静态资源（3.x及之后版本） 在FusionInsight Manager界面，选择“集群 > 静态服务池”。 在“配置组列表”，单击一个配置组，例如“default”。 查看系统资源调整基数。 “系统资源调整基数”表示集群中每个节点可以被集群服务使用的最大资源。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端长时间无响应。 回答 对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapR
执行以下命令配置互信： ssh-copy-id -i ~/.ssh/id_rsa.pub 运行SSH任务的用户@运行SSH任务的节点的IP地址 执行该命令后需要输入运行SSH任务的用户的密码。 Shell所在节点（外部节点）的账户需要有权限执行Shell脚本并对于所有Shell脚本里涉及到的所有目录文件有足够权限。
22260 -td ./ -tf yyyy-MM-dd\ HH:mm:ss -s sql.txt IoTDBServer实例节点的业务IP地址可登录FusionInsight Manager后选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过“集群 > 服务
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端长时间无响应。 回答 对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapR
进入Spark客户端目录，调用bin/spark-submit脚本运行代码。 其中，在运行样例程序时需要指定<zkQuorum>，<zkQuorum>指ZooKeeper的IP地址。 bin/spark-submit --class com.huawei.bigdata.spark.examples.SparkHbasetoHbase
FusionInsight_Cluster_1_Services_ClientConfig scp HDFS/config/* root@客户端节点IP地址:/opt/client/conf 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site
已安装MRS客户端的节点，且已安装 jdk环境。 Sqoop1.4.7适配步骤 下载开源sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz包（下载地址http://archive.apache.org/dist/sqoop/1.4.7/）。 将下载的sqoop-1.4.7.bin__hadoop-2
Deactived 如果当前登录的Master1节点是备管理节点，且需要登录到主管理节点时，请执行以下命令： ssh Master2节点IP地址 在Manager查看主备管理节点 当前操作仅适用于MRS 3.x及之后版本。 登录Manager页面，具体操作请参考访问MRS集群Manager。
FusionInsight_Cluster_1_Services_ClientConfig scp HDFS/config/* root@客户端节点IP地址:/opt/Bigdata/client/conf 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site
//增加Kerberos认证所需的plugin到列表中，安全模式必选 setSecurityConf(conf,AuthenticationType.KEYTAB); Config conf = new Config(); //将客户端配置的plugin列表写入config指定项中，安全模式必配
否，执行3。 检查每个写操作平均所需时间是否达到上限。 在FusionInsight Manager页面，选择“运维 > 告警 > 告警”，在告警列表中展开此告警的详细信息，在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“每个写操作平均所需时间”的实时数据5分钟左右，若磁盘
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
