检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其中配置示例如下: 如果报没有权限读写本地目录的错误,需要指定“spark.sql.streaming.checkpointLocation”参数,且用户必须具有该参数指定的目录的读、写权限。 运行Python样例代码: 运行Python样例代码时需要将打包后的Java项目的jar包添加到st
扩容或缩容的节点数。 约束限制: 扩容时的最大节点数为(500 - 集群Core/Task节点数)。例如,当前集群Core节点数为3,此处扩容的节点数必须小于等于497。 Core和Task节点总数最大值为500,如果用户需要的Core/Task节点数大于500,可以联系技术支持人员或者调用后台接口修改数据库。
95%请求的最大时延 INFO 99thPercentileLatency(ms) 99%请求的最大时延 INFO 99.9PercentileLatency(ms) 99.9%请求的最大时延 INFO 99.99PercentileLatency(ms) 99.99%请求的最大时延
其中“myType”的取值范围为{topics_limit, users, clients},对应的“myName”的取值范围为{topic的名称,组件业务用户,客户端ID}。 其中“producer_byte_rate”和“consumer_byte_rate”分别为生产限流的速度和消费限流的速度,其单位均为字节/秒。
MRS 3.x之前的版本需要去官网下载第三方的phoenix包,然后进行如下配置,MRS 3.x版本已支持Phoenix,可直接在已安装HBase客户端的节点使用Phoenix,开启了Kerberos认证的集群相关操作请参见Phoenix命令行,未开启Kerberos认证的集群相关操作请参见Phoenix命令行:
95%请求的最大时延 INFO 99thPercentileLatency(ms) 99%请求的最大时延 INFO 99.9PercentileLatency(ms) 99.9%请求的最大时延 INFO 99.99PercentileLatency(ms) 99.99%请求的最大时延
假定Hive的person表存储用户当天消费的金额信息,HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100,表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。
ZooKeeper”,在“配置”页签查看“clientPort”的值。 服务端topic权限配置。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 安全认证。 安全认证的方式有三种:Kerberos认证、SSL加密认证和
禁用跨AZ特性。 基于此策略新建的Topic的各个Partition的Leader会在集群节点上随机分配,但会确保同一Partition的不同Replica会分配在不同的机架上,所以当使用此策略时,需保证各个机架内的节点个数一致,否则会导致节点少的机架上的机器负载远高于集群平均水平。
* from KafkaSource; Kafka端口号: 集群的“认证模式”为“安全模式”时为“sasl.port”的值,默认为“21007”。 集群的“认证模式”为“普通模式”时为“port”的值,默认为“9092”。如果配置端口号为9092,则需要配置“allow.everyone
MetaStore的总GC时间 MetaStore的总GC时间。 12000ms HiveServer的总GC时间 HiveServer的总GC时间。 12000ms 容量 Hive已经使用的HDFS空间占可使用空间的百分比 Hive已经使用的HDFS空间占可使用空间的百分比。 85
ZooKeeper”,在“配置”页签查看“clientPort”的值。 服务端topic权限配置。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 安全认证。 安全认证的方式有三种:Kerberos认证、SSL加密认证和
要重启的服务,进入服务页面。在“服务状态”页签单击“更多”,选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面,选择“集群 > 服务 > 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。
选择“SDKs”,单击加号选择“JDK”。 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 完成JDK选择后,单击“Apply”。 选择“Project”,在“SDK”的下拉菜单中选择在“SDKs”中添加的JDK,在“language
选择“SDKs”,单击加号选择“JDK”。 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 完成JDK选择后,单击“Apply”。 选择“Project”,在“SDK”的下拉菜单中选择在“SDKs”中添加的JDK,在“language
传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 字符截取的起点位置或终点位置,大于输入字段的长度时,当前行成为脏数据。 EL操作转换 传入数据为NULL值,不做转换处理。 输入一个或多个字段的值,输出计算结果。 输入类型和算子不兼容时,当前行为脏数据。
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询的节点列表信息。 错误码 请参见错误码。 父主题: 集群管理接口
参数解释: 节点的实例规格,例如:{ECS_FLAVOR_NAME}.linux.bigdata,{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格
0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 字符截取的起点位置或终点位置,大于输入字段的长度时,当前行成为脏数据。 EL操作转换 传入数据为NULL值,不做转换处理。 输入一个或多个字段的值,输出计算结果。 输入类型和算子不兼容时,当前行为脏数据。