检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cluster_type 否 Integer 参数解释: 集群类型。暂不支持通过接口方式创建混合集群。 约束限制: 不涉及 取值范围: 0:分析集群。 1:流式集群。 默认取值: 0 log_collection 否 Integer 参数解释: 集群创建失败时,是否收集失败日志。默
应用等待原因 如果应用程序尚未启动,则提供作业等待原因信息。 Superior Scheduler和YARN开源调度器做了对比分析,如表2所示: 表2 对比分析 领域 YARN开源调度器 Superior Scheduler 多租户调度 在同构集群上,只能选择容量调度器(Capacity
客户端Consumer侧采用非安全访问,服务端配置禁止访问。 客户端Consumer侧采用非安全访问,Kafka Topic设置ACL。 原因分析 Consumer向Kafka消费数据失败,可能原因客户端Consumer侧问题或者Kafka侧问题。 查看Kafka服务状态: MRS Manager界面操作:登录MRS
Flink的安全都为开源社区提供和自身研发。有些是需要用户自行配置的安全特性,如认证、SSL传输加密等,这些特性可能对性能和使用方便性造成一定影响。 Flink作为大数据计算和分析平台,对客户输入的数据是否包含敏感信息无法感知,因此需要客户保证输入数据是脱敏的。 客户可以根据应用环境,权衡配置安全与否。 任何与安全有关的问题,请联系运维人员。
客户端安装完成后,在客户端内创建“lib”目录,用于放置相关jar包。 将安装客户端过程中解压的目录中Kafka相关jar包复制到“lib”目录。 例如客户端软件包的下载路径为主管理节点的“/tmp/FusionInsight-Client”目录,执行以下命令: mkdir /opt/client/lib
Flink的安全都为开源社区提供和自身研发。有些是需要用户自行配置的安全特性,如认证、SSL传输加密等,这些特性可能对性能和使用方便性造成一定影响。 Flink作为大数据计算和分析平台,对客户输入的数据是否包含敏感信息无法感知,因此需要客户保证输入数据是脱敏的。 客户可以根据应用环境,权衡配置安全与否。 任何与安全有关的问题,请联系运维人员。
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd
xception异常,导致无法消费。 Consumer发生网络导致的ClosedChannelException异常,导致无法消费。 原因分析 Storm、Spark、Flume或者自定义Consumer代码可以都称为Consumer。 查看Kafka服务状态: MRS Manager界面操作:登录MRS
可以指定每个节点的并行度,Storm则会在集群里面分配相应的Task来同时计算,以增强系统的处理能力。 图2 Topology Storm有众多适用场景:实时分析、持续计算、分布式ETL等。Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高 保证无数据丢失 容错性好 易于构建和操控 多语言
checkpointing.mode: EXACTLY_ONCE 通过查看监控信息定位Back Pressure点 Flink提供了很多的监控指标,根据这些指标可以分析任务过程中的性能状况及瓶颈。 【示例】配置采样的样本数和时间间隔: # 有效的反压结果被废弃并重新进行采样的时间,单位ms web.backpressure
对外提供任何网络服务,重置密码插件CloudResetPwdUpdateAgent使用了Apache Log4j2组件,经华为云安全实验室分析验证,ECS重置密码插件无可利用条件,无安全风险。 如果用户需要升级该插件中的Log4j2版本,可通过下面的步骤升级插件: 将“MRS_Log4j_Patch
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的业务IP地址。 用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。 创建Resource。 使用配置委托方式创建Resource 登录FusionInsight
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 执行以下命令创建数据库: create database if not exists example_db;
Calcite来进行查询的解析,校验以及优化,可以与DataStream和DataSet API无缝集成,并支持用户自定义的标量函数,聚合函数以及表值函数。简化数据分析、ETL等应用的定义。下面代码示例展示了如何使用Flink SQL语句定义一个会话点击量的计数应用。 SELECT userId, COUNT(*)
run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) 原因分析 HDFS客户端开始写Block。 例如:HDFS客户端是在2015-05-27 18:50:24,232开始写/20150527/10/
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 创建Catalog。 Hive表数据存储在HDFS中,执行以下命令创建Catalog: 集群已启用Kerberos认证(安全模式):
界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE或DBalancer实例的业务IP地址。 用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。 执行以下命令创建数据库和数据写入的目标表usertable2: create database
例如上传至“/opt/hadoopclient”。 在jar包所在目录下创建“conf”目录,将准备集群配置文件中获取的集群客户端配置文件软件包内“Flink/config”内的配置文件上传至“conf”目录。 将应用程序待处理的源数据文件上传至NodeManager实例所在节点。
解决MemartsCC文件名超过256时,缓存文件写入失败问题 解决MemartsCC缓存从OBS读失败场景,缓存日志不打印requestID问题 解决MemartsCC开源软件高危问题 解决MemartsCC安全认证长时间未返回问题 补丁兼容关系 MRS 3.1.2-LTS.2.9补丁包中包含所有MRS 3.1.2-LTS
worker中开启profiling。通过sc.show_profiles()展示分析结果。或者在driver退出前展示分析结果。可以通过sc.dump_profiles(path) 将结果转储到磁盘中。如果一些分析结果已经手动展示,那么在Driver退出前,它们将不会再自动展示。 默认使用pyspark