检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。
zookeeper {zkQuorum}/kafka --partitions {partitionNum} --replication-factor {replicationNum} --topic {Topic} 表1 参数说明 参数名 说明 {zkQuorum} ZooKeeper集群信息
new UserSource()) .keyBy(0) .map(new MapFunction<Tuple2<Integer,String>, byte[]>() { //将发送信息转化成字节数组
具体信息请参考OpenTSDB应用开发常见问题。 父主题: 开发OpenTSDB应用
您可以查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测MapReduce应用
同时,NameNode备节点发现该信息后进行抢占希望升主,所以它重新在ZooKeeper上建立了active的节点/hadoop-ha/hacluster/ActiveStandbyElectorLock。
在历史记录界面单击“日志”,可查看作业的日志信息。 父主题: 数据迁移
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 -table <table-name> MySQL中用于存放导出数据的表名称。 -export-dir <dir> 需要导出的Sqoop表所在的HDFS路径。
步骤2:将本地数据导入到HDFS中 在本地准备一个学生信息文件“info.txt”,例如内容如下: 字段信息依次为:学号、姓名、生日、性别、住址 20200101245,张xx,20150324,男,City1 20200101246,李xx,20150202,男,City2 20200101247
这些偏移量信息也被可靠地存储在checkpoint文件中,应用失败重启时可以直接读取偏移量信息。 图4 Direct Kafka接口数据传输 需要注意的是,Spark Streaming可以在失败后重新从Kafka中读取并处理数据段。
Start run net.opentsdb.tools.UidManager, args: metrics sys.cpu.user metrics sys.cpu.user: [0, 0, 6] 若想获取更多信息,可通过执行命令tsdb uid。
检查主备节点磁盘空间 分别登录OMS主备节点,查看磁盘使用信息。 执行 df -h / ,查看/目录的可用空间是否大于30G。 否,清理磁盘空间。 是,检查结束。
{zkQuorum}表示ZooKeeper集群信息,格式为IP:port。
本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm组件已经安装,且正常运行。 下载Storm客户端,将Storm样例工程导入到Eclipse开发环境,参见导入并配置Storm样例工程。
{zkQuorum}表示ZooKeeper集群信息,格式为IP:port。
org.apache.spark.examples.SparkPi --master yarn-client --proxy-user test1 /opt/client/Spark/spark/examples/jars/spark-examples_*.jar 查看yarn中运行的application信息
界面默认初始账号密码admin/123456 登录后可以查看Kafka集群监控页面、Topic监控页面、Consumer监控页面,例如: 图3 Kafka集群监控 图4 Topic监控 图5 Consumer监控 Kafka Eagle对接常见问题 问题现象: 无法获取Kafka CPU与内存监控信息日志提示
{zkQuorum}表示ZooKeeper集群信息,格式为IP:port。
安全模式下,登录IoTDBServer所在节点的用户名和密码由FusionInsight Manager统一控制,参考准备集群认证用户信息,确保该用户具有操作IoTDB服务的角色权限。 需在本地环境变量中设置环境变量认证用户名和认证用户密码,建议密文存放,使用时解密,确保安全。
说明: 若输入带有敏感信息(如登录密码)的参数可能在作业详情展示和日志打印中存在暴露的风险,请谨慎操作。