正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例,则在该session中找不到该function,而且hive默认将“hive.exec.drop.ignorenonexistent”设置为“true”,即当function不存在时,删除function操作不会报错,这样就表现出了用户没有drop function的权限,执
order01 INCLUDING PROPERTIES; 创建表orders_like02,它将包含表order02定义的列,并将表的存储格式设置为‘TEXTFILE’ CREATE TABLE orders_like02 like order02 STORED AS TEXTFILE;
根据吞吐量粗略计算,假设生产者可以达到的吞吐量为P,消费者可以达到的吞吐量为C,预期Kafka吞吐量为T,那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中,分区越多吞吐量越高,但是分区过多也存在潜在影响,例如文件句柄增加、不可用性增加(如:
根据吞吐量粗略计算,假设生产者可以达到的吞吐量为P,消费者可以达到的吞吐量为C,预期Kafka吞吐量为T,那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中,分区越多吞吐量越高,但是分区过多也存在潜在影响,例如文件句柄增加、不可用性增加(如:
Flink支持ignoreDelete特性。 Yarn NodeManager支持优雅退服。 Kafka支持数据加密。 Spark支持子查询字段不带聚合函数语法(设置spark.sql.legacy.correlated.scalar.query.enabled参数值为true)。 Spark支持视图表
Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)修复指导 本章节指导用户修复log4j2的CVE-2021-44228漏洞。目前有两种方式可以采用如下两种方式修复: 现有集群节点安装补丁 扩容节点安装补丁 前提条件 从OBS路径中下载的补丁工具“MRS_Log4j_Patch
Spark故障排除 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错 加载空的part文件时,app无法显示在JobHistory的页面上
int resultValue = hiveValue + Integer.valueOf(hbaseValue); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
int resultValue = hiveValue + Integer.valueOf(hbaseValue); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
int resultValue = hiveValue + Integer.valueOf(hbaseValue); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
批量资源开通自动续费:选择需要开通自动续费的MRS集群,单击列表左上角的“开通自动续费”。 图2 多个资源开通自动续费 选择续费时长,并根据需要设置自动续费次数,单击“开通”。 在“续费管理”页面开通的自动续费,自动续费周期以实际选择的续费时长以及自动续费次数为准。例如:您选择了续费时
restart-strategy.fixed-delay.delay: 10 s failure-rate策略 在作业失败后会直接重启,但超过设置的失败率后,作业会被认定为失败。在两个连续的重启尝试之间,重启策略会等待一个固定的时间。 以配置10分钟内若重启失败了3次则认为该作业失败
osts”文件中所列出的集群各主机在网络上互通。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的“/etc/hosts”文件中设置主机名和IP地址(业务平面)映射。主机名和IP地址请保持一一对应。 配置HBase上层应用所在主机的时间与备集群的时间保持一致,时间差要小于5分钟。
Hudi当前只有int、bigint、float、double、decimal、string、date、timestamp、boolean、binary类型支持设置默认值。 Hudi表必须指定primaryKey与preCombineField。 在指定路径下创建表时,如果路径下已存在Hudi表,则建表时不需要指定列。
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业,提交作业之前,首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业,提交作业之前,首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。
访问FlinkServer WebUI界面 操作场景 MRS集群安装Flink组件后,用户可以通过Flink的WebUI,在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。 对系统的影响 第一次访问Manager和Flink
应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark.RDD(Resilient Distributed Dataset):用于在
egate、Unique、Duplicate。 Aggregate模型 导入数据时,对于Key列相同的行会聚合成一行,而Value列会按照设置的AggregationType进行聚合。 AggregationType目前有以下四种聚合方式: SUM:求和,多行的Value进行累加。
应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark.RDD(Resilient Distributed Dataset):用于在