检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
${BIGDATA_ROOT_HOME}/om-server_*/apache-tomcat-*/conf/security/tomcat.crt SSLCertificateChainFile "${BIGDATA_ROOT_HOME}/om-server_*/Apache-httpd-2
hoodie.datasource.hive_sync.partition_extractor_class 用于提取hudi分区列值,将其转换成hive分区列。 org.apache.hudi.hive.SlashEncodedDayPartitionValueExtractor hoodie
执行以下命令查看用户证书的生效时间与失效时间,查看目前时间是否在有效期内。 openssl x509 -noout -text -in ms_sChat.crt 是,执行9。 否,执行5。 执行以下命令进入Flume脚本目录。 cd ${BIGDATA_HOME}/FusionInsight_Po
执行以下命令查看HA用户证书的生效时间与失效时间,查看目前时间是否在有效期内。 openssl x509 -noout -text -in flume_sChat.crt 是,执行9。 否,执行5。 执行以下命令进入Flume脚本目录。 cd ${BIGDATA_HOME}/FusionInsight_Po
Hive支持使用Spark作为执行引擎,当执行引擎切换为Spark后,客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划,并将执行计划转换成RDD语义下的DAG,最后将DAG作为Spark的任务提交到Spark集群上进行计算,并合理利用Spark分布式内存计算能力,提高了Hive查询效率。
726-432e-88ae-dd39bfec40a9 说明: 使用MRS客户端预制“generate_keystore.sh”脚本获取SSL证书有效期为5年。 如果要关闭默认的SSL认证方式,需在“flink-conf.yaml”文件中配置“security.ssl.enable
运行Flink任务报错“java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED”如何处理? 问: Flink任务运行失败,报错如下: Caused by: java.lang.NoSuchFieldError: SECUR
空值转换 概述 “空值转换”算子,用于将空值替换成指定值。 输入与输出 输入:空值字段 输出:原字段,但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。
空值转换 概述 “空值转换”算子,用于将空值替换成指定值。 输入与输出 输入:空值字段 输出:原字段,但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。
信息。 数据表管理,定义Sql访问的数据表信息,用于生成DDL语句。 FlinkSQL作业定义,根据用户输入的Sql,校验、解析、优化、转换成Flink作业并提交运行。 Flink作业可视化管理 支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。
信息。 数据表管理,定义Sql访问的数据表信息,用于生成DDL语句。 FlinkSQL作业定义,根据用户输入的Sql,校验、解析、优化、转换成Flink作业并提交运行。 Flink作业可视化管理 支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。
使用ClickHouse客户端 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 前提条件 已安装客户端,例如安装目录为“/opt/client”。以下操作的客户端目
文件等输出到外部系统,这是Flink的核心概念。 Data Transformation 数据处理单元,会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类: 一对一的转换:如Map。 一对0、1或多个的转换:如FlatMap。 一对0或1的转换,如Filter。
文件等输出到外部系统,这是Flink的核心概念。 Data Transformation 数据处理单元,会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类: 一对一的转换:如Map。 一对0、1或多个的转换:如FlatMap。 一对0或1的转换,如Filter。
MapReduce/Yarn集群 提供分布式计算服务:Hive的大部分数据操作依赖MapReduce,HiveServer的主要功能是将HQL语句转换成MapReduce任务,从而完成对海量数据的处理。 HCatalog建立在Hive Metastore之上,具有Hive的DDL能力。从另
数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 海量结构化数据分析汇总。 将复
MRS 1.9.3 Ranger证书如何更新? 本指导以MRS 1.9.3版本为例,其他版本请替换成具体集群版本号。参考本指导完成证书更新后,请手动清除证书文件失效或证书文件即将过期告警。 Ranger证书更新后,证书有效期为10年。 Ranger证书过期后,Ranger WEB
文件等输出到外部系统,这是Flink的核心概念。 Data Transformation 数据处理单元,会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类: 一对一的转换:如Map。 一对0、1或多个的转换:如FlatMap。 一对0或1的转换,如Filter。
文件等输出到外部系统,这是Flink的核心概念。 Data Transformation 数据处理单元,会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类: 一对一的转换:如Map。 一对0、1或多个的转换:如FlatMap。 一对0或1的转换,如Filter。
表1 补丁基本信息 补丁号 MRS 3.1.0.0.16 发布时间 2024-11-25 解决的问题 提交Spark SQL作业,中文冒号被转换成英文冒号。 Spark SQL外表动态分区执行insert overwrite报错。 Spark JDBC产生空指针报错。 Spark J