检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
机架名称由字母、数字及下划线“_”组成,且总长度不超过200个字符。 例如“/default/rack0”。 如果待修改机架中所包含的主机中有DataNode实例,请确保所有DataNode实例所在主机的机架名称的层级一致。否则,会导致配置下发失败。
只能由中文、字母、数字、下划线、中划线组成,且不能以下划线或中划线开头和结尾,最多不能超过100个字符。 企业项目 所属的企业项目。 如果在全局页面设置为“ALL”,此处请从下拉列表中选择企业项目。 如果在全局页面已选择企业项目,则此处灰化不可选。
表1 HetuEngine UDF说明 名称 说明 AddTwo 对输入的数字加2后返回 创建Maven项目,“groupId”配置“com.test.udf”,“artifactId”配置“udf-test”。这个两个值可根据实际情况自定义。
在Manager页面右上方查看图形的右侧数字,确保该数字显示为“0”表示集群的运行任务数为0。 单击“主机 ”,若集群类型为分析集群,则勾选9记录的“NameNode”的业务IP所对应的主机前的复选框。若集群类型为流式集群,则不区分主备节点,分别选择主机升级即可。
配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,针对MRS 3.x及之后版本,配置参数如表2所示,请根据实际情况修改对应参数值。
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
ALTER TABLE employees_info_extended ADD COLUMNS (tel_phone STRING, email STRING); 建表时配置Hive数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec
配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,配置参数如表2所示,请根据实际情况修改对应参数值。
thirdparty-kafkalink DB Name 待连接的数据库名称,名称只能由英文字母、数字、下划线和中划线组成,且必须以英文字母开头。 opengaussdb Schema 待检测数据库的Schema名称。
名称 指定当前租户的名称,长度为3~50个字符,可包含数字、字母或下划线(_)。 根据业务需求规划子租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户类型 指定租户是否是一个叶子租户: 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。
tokenbf_v1会自动按照非字符的、数字的字符串分割token。
try函数一般结合COALESCE使用,COALESCE可以将异常的空值转为0或者空,以下情况会被try捕获: 分母为0 错误的cast操作或者函数入参 数字超过了定义长度 不推荐使用,应该明确以上异常,做数据预处理 示例: 假设有以下表,字段origin_zip中包含了一些无效数据
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁,实际上shuffle这一部分是如何实现的呢,下面就以Spark为例讲解shuffle在Spark中的实现。
高效率数据压缩:CarbonData使用轻量级压缩和重量级压缩的组合压缩算法压缩数据,可以减少60%~80%数据存储空间,大大节省硬件存储成本。 关于CarbonData的架构和详细原理介绍,请参见:https://carbondata.apache.org/。
下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁,实际上shuffle这一部分是如何实现的呢,下面就以Spark为例讲解shuffle在Spark中的实现。
下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁,实际上shuffle这一部分是如何实现的呢,下面就以Spark为例讲一下shuffle在Spark中的实现。
配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,配置参数如表2所示,请根据实际情况修改对应参数值。
与Hive不同,Impala不基于MapReduce算法,它实现了一个基于守护进程的分布式架构,它负责在同一台机器上运行的查询执行的所有方面。因此,它减少了使用MapReduce的延迟,这使Impala比Hive快。
单击“Brokers”、“Topics”、“Consumer Group”下方的数字,可自动跳转至对应页面,查看并操作对应信息。 在“Cluster Action”栏,可创建Topic与分区迁移,具体操作请参考增加Kafka Topic分区。