检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
onServer进行数据操作类通信。 RegionServer RegionServer负责提供表数据读写等服务,是HBase的数据处理和计算单元。 RegionServer一般与HDFS集群的DataNode部署在一起,实现数据的存储功能。 ZooKeeper集群 ZooKee
并统一打出完整的业务jar包,请参见打包Storm业务。 将开发好的yaml文件及相关的properties文件复制至storm客户端所在主机的任意目录下,如“/opt”。 执行命令提交拓扑。 storm jar /opt/jartarget/source.jar org.apache
配置HDFS详细参数。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中,确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 在本实践中,需要确保本地环境与MRS集群所在网络平面互通,通常可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置W
集群的主OMS节点,复制安装包到指定节点。 客户端软件包默认下载至集群的主OMS节点(可通过FusionInsight Manager的“主机”界面查看带有标识的节点),如需要在集群内其他节点上安装,执行以下命令将软件包传输至其他节点,否则本步骤可忽略。 cd /tmp/FusionInsight-Client/
-examples-1.0.jar。 将打好的jar包,以及开发好的yaml文件及相关的properties文件拷贝至storm客户端所在主机的任意目录下,如“/opt”。 执行命令提交拓扑。 storm jar /opt/jartarget/storm-examples-1.0
26.1:/opt/flume-client/fusionInsight-flume-1.9.0/conf/ 复制过程中需要输入客户端所在主机(如10.196.26.1)user用户的密码。 以user用户登录解压Flume客户端的节点。执行以下命令进入客户端目录“opt/flu
类型 描述 sink.partition-commit.trigger process-time String process-time:基于计算节点的系统时间,它既不需要分区时间提取,也不需要生成watermark。即“当前系统时间”超过“分区创建时的系统时间”加上“延迟”时间,就提交分区。
据压缩到更少的partition中去。因为filter之后,RDD的每个partition中都会有很多数据被过滤掉,此时如果照常进行后续的计算,其实每个task处理的partition中的数据量并不是很多,有一点资源浪费,而且此时处理的task越多,可能速度反而越慢。因此用coa
Kafka权限参数 参数名称 描述 Policy Type Access。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP或IP段,并且IP填写支持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168
Kafka权限参数 参数名称 描述 Policy Type Access。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP或IP段,并且IP填写支持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168
FinishTime: 作业的创建时间、开始调度时间和结束时间。 Timeout 作业超时时间,单位是秒,该时间从CreateTime开始计算。 ErrorMsg 如果作业出现错误,ErrorMsg会显示错误原因。 取消导出任务 提交作业后,可以通过CANCEL_EXPORT命令取消导出作业。取消命令如下:
当前只支持keytab认证方式。 从FusionInsight Manager下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下。 在“flink-conf.yaml”上配置: keytab路径。 security.kerberos.login.keytab:
使用Grafana对接IoTDB。 访问Grafana,创建IoTDB数据源。 在浏览器中访问Grafana,地址为“http://Grafana所在主机的IP地址:Port”,默认的登录用户名和密码都是admin。 其中,Port为Grafana的运行端口,默认为3000。 在左侧导航栏中选择“Home
usionInsight Manager,选择“集群 > 服务 > ZooKeeper > 实例”,可查看所有quorumpeer实例所在主机业务IP地址。 ZooKeeper客户端端口号: 登录FusionInsight Manager,选择“集群 > 服务 > ZooKeep
url:可配置多个ClickHouseBalancer实例IP以避免ClickHouseBalancer实例单点故障。 写入ClickHouse时会过滤Flink计算过程中产生的DELETE消息。 攒批写参数:Flink会将数据先放入内存,到达触发条件时再flush到数据库表中。相关配置如下。 sink
的结构必须一致。 若'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 若备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 若主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集群
解决Manager跨越0点查询时,监控指标显示异常的问题。 解决Manager页面内核空间占用CPU百分比数值错误问题。 解决Manager页面主机线管监控页面切换到分布图后在切换时间段查看图标,图标的默认区间取值错误的问题。 解决主OMS的Gaussdb的进程占用内存较大的问题。 解
导入任务指定的过滤条件。Stream Load支持对原始数据指定where语句进行过滤,被过滤的数据将不会被导入,也不会参与filter ratio的计算,但会被计入num_rows_unselected。 Partitions 待导入表的Partition信息,如果待导入数据不属于指定的P
clickhouse client命令行参数说明 参数名 参数说明 --host 服务端节点名称,可以选择使用ClickHouse实例所在节点主机名或者IP地址。 登录集群FusionInsight Manager界面,然后单击“集群 > 服务 > ClickHouse > 实例”,
1 spark.shuffle.service.enabled NodeManager中一个长期运行的辅助服务,用于提升Shuffle计算性能。 fasle spark.sql.adaptive.enabled 是否开启自适应执行框架。 false spark.executor