检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接器,允许Hadoop或Flink进行数据处理。 对于分析的结果,可以写回成TsFile文件。 IoTDB和TsFile还提供了相应的客户端工具,满足用户以SQL形式、脚本形式和图形形式写入和查看数据的各种需求。 IoTDB服务包括IoTDBServer(DataNode)和Co
服务参数配置如果使用旧的存储目录,需要更新为新目录。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时,保持活动的Broker实例数必须大于创建主题时指定的备份数。 操作步骤 更改Kafka角色的存储目录
/flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 堆栈信息日志(MRS 3.2.0及以后版本) threadDump-<DATE>
/flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 日志级别 Flume提供了如表2所示的日志级别。
install kafka-python pip3 install gssapi 安装成功后,执行以下命令配置环境变量。 source 客户端安装目录/bigdata_env 执行以下命令认证当前用户。 kinit Kafka用户 kinit命令使用的用户为登录Manager的用户
该主机名对应的IP不唯一。 该主机名对应的IP在ifconfig命令下的回显列表中不存在。 该文件中存在一个IP对应多个主机名的情况。 该文件中不存在hadoop本端域名映射关系,例如: xxx hadoop.example.com。(仅适用于MRS 3.2.0-LTS.1.10版本) /etc/ssh/
Source是否是avro类型。 是,执行8。 否,执行11。 以root用户登录故障节点所在主机,执行ping Flume Source配置的IP地址命令查看对端主机是否可以ping通,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行11。 否,执行9。 联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。
“/opt/client/conf”。 “hbase-site.xml”从HBase客户端获取,“hiveclient.properties”和“hive-site.xml”从Hive客户端获取。 在Linux环境中添加样例工程运行所需的classpath,例如 export Y
对于单独配置数据保存时间的Topic,修改Kafka服务配置页面上配置的数据保存时间不生效。 如果需要对某个Topic单独配置的话,可以使用Kafka客户端命令行,来单独配置该Topic。 例如:kafka-topics.sh --zookeeper “ZooKeeper地址:2181/kafka”
资源使用(按二级Znode) ZooKeeper服务二级znode资源状况。 可选择“按Znode数量”或“按容量”观察 连接数(按客户端IP) ZooKeeper客户端连接资源状况。 父主题: 查看MRS集群监控指标
serviceDiscoveryMode=hsbroker 说明: XXX:驱动名,请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSBroker_IP:HSBroker_Port是HSBroker的URL,多个URL以逗号隔开。例如:“192
jssc.start(); jssc.awaitTermination(); } /** * 在executor端写入数据 * @param iterator 消息 * @param zkClientPort * @param zkQuorum
run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) 使用客户端hdfs命令查看,如下文件不存在。 hdfs://hacluster/kylin/kylin_metadata/coprocessor/kylin-coprocessor-1
登录MRS集群详情页面,选择“告警管理”。 在告警列表中单击该告警,从“告警详情”的“定位信息”处获得“HostName”。 登录主集群HBase客户端所在节点。执行以下命令切换用户: sudo su - root su - omm 执行status 'replication', 'source'命令查看故障节点的容灾同步状态。
KafkaTopic监控”,搜索发生告警的Topic,查看副本数量。 如果副本数量值大于3,则考虑减少该Topic的复制因子(减少为3)。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划: kafka-reassign-partitions.sh --zookeeper
2x的Ranger用户类型调整为Admin用户类型。 保存配置,重启Spark服务。 登录Spark客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Spark/component_env 安全模式执行以下命令,普通模式无需执行:
个manager系统中获取到的用于Kerberos安全认证的keytab文件和principal文件,以及多个Manager系统各自的客户端配置文件,可实现一次认证登录后访问调用多集群的HBase服务。 以下代码在hbase-example样例工程的“com.huawei.bigdata
apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法: 进入Spark客户端目录。 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令
AD_NUM”参数值调整消费者线程数量。 如果要使用多线程消费Kafka集群数据的话,请确保消费的主题分区数大于1。 需要将Kafka客户端配置文件“client.properties”和“log4j.properties”文件放置在程序运行的配置文件目录下。 在IoTDBSes
延敏感型业务,可能会导致大量的业务读写请求超时。 可能原因 RegionServer GC时间过长。 HDFS RPC响应时间过长。 客户端请求不合理(大请求、高并发)。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看“告警ID