正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。ja
告警属性 告警ID 告警级别 是否可自动清除 50211 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
park SQL不会对它做日期格式的检查,就是把它当做普通的字符串进行匹配。以上面的例子为例,如果数据格式为"yyyy-mm-dd",那么字符串'2016-6-30'就是不正确的数据格式。 父主题: SQL和DataFrame
table t1(col1 int); 执行insert into t1(col1) values(X);命令向t1中分别插入如下数据,X表示待插入数据的值。 +----------+--+ | t1.col1 | +----------+--+
Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题: Spark应用调优
规避措施: Spark2x可以通过创建外表的方式来创建一张指向Spark1.5表实际数据的表,这样可以实现在Spark2x中读取Spark1.5创建的DataSource表。同时,Spark1.5更新过数据后,Spark2x中访问也能感知到变化 ,反过来一样。这样即可实现Spark2x对Spark1
创建属于“Presto”和“Hive”组的用户,同时为该用户绑定1中创建的角色,然后下载用户认证文件,参见创建用户,下载用户认证文件。 将下载的user.keytab文件和krb5.conf上传到MRS客户端所在节点。 步骤2-3仅启用Kerberos认证的集群执行,普通集群请直接从步骤4开始执行。
2.0.1.1补丁包的全部内容。 安装补丁的影响 安装MRS 2.0.1.2补丁期间会重启MRS Manager和Presto服务,重启服务期间会引起服务暂时不可用。 父主题: MRS集群补丁说明
partitions, replicas) Partition的副本数不要超过节点个数 Kafka中Topic的Partition的副本是为了提升数据的可靠性而存在的,同一个Partition的副本会分布在不同的节点,因此副本数不允许超过节点个数。 Consumer客户端的配置参数“fetch
Flink应用性能调优建议 Savepoints相关问题解决方案 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 如何处理blob.storage.directory配置/home目录时,启动yarn-session失败的问题?
规避措施: Spark2x可以通过创建外表的方式来创建一张指向Spark1.5表实际数据的表,这样可以实现在Spark2x中读取Spark1.5创建的DataSource表。同时,Spark1.5更新过数据后,Spark2x中访问也能感知到变化 ,反过来一样。这样即可实现Spark2x对Spark1
用户可以在Manager界面配置Hive的SQL防御规则,根据业务调整对应SQL防御规则的参数。 前提条件 已安装包含Hive服务的集群客户端,例如安装目录为“/opt/hadoopclient”。 集群中Hive服务运行状态正常。 对于开启了Kerberos认证的集群,已创建具有Hive操作权限的用户。 使用约束
我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。 场景二:单独使用资源计划 当数据量以天为周期有规律的变化,并且希望在数据量变化前提前完成集群的扩缩容,可以使用MRS的资源计划配置在规定时间内按计划调整Task节点数量。 例如:某项实时处理业务数据量在周一、周二和
为192.168.1.18。 在遇到诸如下述类问题时,需要查看审计日志: 如客户端发起请求,但是未得到响应。由于不确定任务是卡在客户端还是服务端,可以通过审计日志查看。如果审计日志根本没有相关信息,那么说明任务终止在客户端;如果审计日志有相关信息打印,那么就需要去运行日志里进一步定位原因。
reducer.class Reducer类名 mapred.input.dir MapReduce处理数据的输入目录 mapred.output.dir MapReduce处理后结果数据输出目录 mapred.map.tasks MapReduce map任务个数 “${变量名}”表示:该值来自“job
getFilteredSegments("select * from table where age='12'", sparkSession) 传入数据库名和表名,获取会被合并的segment列表,得到的segment列表可以当做getMergedLoadName函数的参数传入: /**
colAndType)*) 参数描述 表1 ADD COLUMNS参数描述 参数 描述 tableIdentifier 表名。 colAndType 带数据类型且用逗号分隔的列的名称。列名称包含字母,数字和下划线(_)。 示例 alter table h0_1 add columns(ext0
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 路径名 异常的文件路径或者名称。 对系统的影响 导致文件所属服务功能不正常。 okerberos、oldap关键文件配置异常,会导致认证失败,可能会导致作业运行失败。
务无感知的分析加速效果。HetuEngine管理员通过付出少量的计算资源和存储空间,可实现对高频SQL业务的智能加速。同时,该能力可以降低数据平台的整体负载(CPU、内存、IO等),有助于提升系统稳定性。 智能物化视图包括以下几个功能: 自动推荐物化视图 自动创建物化视图 自动刷新物化视图
问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.1.0.1补丁期间会重启MRS Manager和Hive服务,重启服务期间会引起服务暂时不可用。 MRS