正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark支持同时访问两个集群中的HBase,前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。 分别将cluster1和cluster2集群Spark2
Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。 Flink技术栈如图1所示。 图1 Flink技术栈 Flink在当前版本中重点构建如下特性: DataStream Checkpoint 窗口 Job Pipeline 配置表 其他特性继承开
SL协议端口,默认为21009: bin/kafka-console-producer.sh --broker-list <Kafka集群IP:21009> --topic <Topic名称> --producer.config config/producer.properties
dfs -ls hdfs://192.168.6.159:9820/tmp 其中,192.168.6.159是集群A中主NameNode的IP地址,9820是客户端与NameNode通信的默认端口。 执行以下命令,在集群A中的目录“/tmp”创建一个文件。 hdfs dfs -touchz
以omm用户登录oozie实例所在节点,执行以下命令配置互信: ssh-copy-id -i ~/.ssh/id_rsa.pub 运行SSH任务的用户@运行SSH任务的节点的IP地址 执行该命令后需要输入运行SSH任务的用户的密码。 Shell所在节点(外部节点)的账户需要有权限执行Shell脚本并对于所有Shell脚本里涉及到的所有目录文件有足够权限。
Source是否是avro类型。 是,执行8。 否,执行11。 以root用户登录故障节点所在主机,执行ping Flume Source配置的IP地址命令查看对端主机是否可以ping通,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行11。 否,执行9。 联系网络管理员恢复网络。
服务 > HetuEngine > 实例”。 单击“HSBroker”行的“主机名称”,记录“基本信息”下的“管理IP”的地址。 以omm用户通过25获取的IP地址登录HSBroker所在的主机。 执行ping命令,查看HSBroker所在主机与ZooKeeper、HDFS、Ya
2 --zookeeper {ip:port}/kafka ./kafka-topics.sh --create --topic output --partitions 2 --replication-factor 2 --zookeeper {ip:port}/kafka “-
--host ClickHouse的实例IP --user 登录名 --password '密码' --port ClickHouse的端口号 --multiline 安全模式: clickhouse client --host ClickHouse的实例IP --user 登录名 --password
R_PRINCIPAL = "zookeeper/" + getUserRealm(); System.setProperty(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL); } .
API接口的执行方式是通过HTTP请求进行。 HTTP请求的格式为:http://<JobManager_IP>:<JobManager_Port><Path>, 其中JobManager_IP是指JobManager进程所在服务器节点的IP地址,JobManager_Port是指JobManager进程的监测端口
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看“告警ID”为“50212”的“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 服务 > Doris > 实例”,单击告警上报的FE,进入实例“图表”页面。 左侧图表分类选择“JVM”,查看FE进
镜像站下载,剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载,详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 准备Python开发环境 表2 Python开发环境 准备项 说明
fair-scheduler.xml {impalad实例ip}:/opt/Bigdata/FusionInsight_Impala_***/***_Impalad/etc/ scp llama-site.xml {impalad实例ip}:/opt/Bigdata/FusionInsi
W。登录Oozie管理页面,查看运行情况。 使用oozieuser用户,登录Oozie WebUI页面:https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中,可在页面表格根据jobid查看已提交的工作流信息。 父主题: 使用Oozie客户端提交作业
W。登录Oozie管理页面,查看运行情况。 使用oozieuser用户,登录Oozie WebUI页面:https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中,可在页面表格根据jobid查看已提交的工作流信息。 父主题: 使用Oozie客户端提交作业
服务”,选择“HDFS”,单击进入HDFS服务状态页面。 由于webhdfs是http访问的,需要主NameNode的IP和http端口。 单击“实例”,找到“NameNode(hacluster,主)”的主机名(host)和对应的IP。 单击“配置”,在搜索框搜索“namenode.http.port”(9870)。
使用java的JDBC来连接数据库。 可通过如下两种方式安装: pip安装: 在客户端节点执行pip install JayDeBeApi。 运行脚本安装。 通过官方网站下载JayDeBeApi项目文件,下载地址:https://pypi.org/project/JayDeBeApi/。
镜像站下载,剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载,详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 准备Python开发环境 表2 Python开发环境 准备项 说明
Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP或IP段,并且IP填写支持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168