检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ThriftServer系统访问HBase的用户,拥有HBase所有NameSpace和表的读、写、执行、创建和管理的权限。<hostname>表示集群中安装ThriftServer节点的主机名。 hive/hadoop.<系统域名> 系统随机生成 Hive系统启动过程用于内部组件之间认证的用户,用户权限:
参数说明 参数 说明 默认值 spark.thriftserver.proxy.enabled 是否使用多租户模式。 false表示使用多实例模式 true表示使用多租户模式 true spark.scheduler.allocation.file 公平调度文件路径。 多主实例配置为
algorithm 设置客户端访问HDFS的通道和HDFS数据传输通道的加密算法。只有在“dfs.encrypt.data.transfer”配置项设置为“true”,此参数才会生效。 说明: 缺省值为“3des”,表示采用3DES算法进行加密。此处的值还可以设置为“rc4”,避免出现安全隐患,不推荐设置为该值。
server上,多个副本中有一个是leader tablet;所有的副本都可以读,但是写操作只有leader tablet可以,写操作利用一致性算法(Raft)。 Tablet server Tablet server是数据存储节点,存放tablet并且响应client请求,一个tablet
call)通道,HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密,认证、完整性和隐私性功能都全部开启,设置为“integrity”表示不加密,只开启认证和完整性功能,设置为“authentication”表示不加密,仅要求认证报文,不要求完整性和隐私性。 说明: pri
varbinary 计算二进制块的SHA 1哈希值。 sha2(string, integer) → string 安全散列算法2, 是一种密码散列函数算法标准,其输出长度可以取224位,256位, 384位、512位,分别对应SHA-224、SHA-256、SHA-384、SHA512
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC,RCFile,TextFi
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC、RCFile、TextFi
表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。 true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。 true
INT”、“VARCHAR”。当类型为“VARCHAR”时,运算符为“+”时,表示在字符串后追加串,不支持“-”,当为其它类型时,“+”、“-”分别表示值的加和减。针对支持的所有类型,运算符“=”都表示直接赋新值。 输入与输出 输入:字段 输出:输入字段 参数说明 表1 算子参数说明
INT”、“VARCHAR”。当类型为“VARCHAR”时,运算符为“+”时,表示在字符串后追加串,不支持“-”,当为其他类型时,“+”、“-”分别表示值的加和减。针对支持的所有类型,运算符“=”都表示直接赋新值。 输入与输出 输入:字段 输出:输入字段 参数说明 表1 算子参数说明
“组件端口”参数选择“开源”时,组件端口默认值请参考“开源默认端口”列。 “组件端口”参数选择“定制”时,组件端口默认值请参考“定制默认端口”列。 如果仅有“默认端口”列,表示组件的开源端口与定制端口默认值一致。 如果集群不为LTS版本类型,则没有“组件端口”参数,默认使用开源端口,请参考“开源默认端口”列或“默认端口”列。
t是最经典的Hadoop作业,它用来统计海量文本的单词数量。 操作步骤 准备wordcount程序。 开源的Hadoop的样例程序包含多个例子,其中包含wordcount。可以从https://dist.apache.org/repos/dist/release/hadoop/c
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个操
t是最经典的Hadoop作业,它用来统计海量文本的单词数量。 操作步骤 准备wordcount程序。 开源的Hadoop的样例程序包含多个例子,其中包含wordcount。可以从https://dist.apache.org/repos/dist/release/hadoop/c
表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。 true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。 true
任务处理时使用的MapReduce队列名 nameNode HDFS NameNode集群地址 “${变量名}”表示:该值来自“job.properties”所定义。 例如:${nameNode}表示的就是“hdfs://hacluster”。(可参见配置Oozie作业运行参数) 样例代码 <coordinator-app
任务处理时使用的Mapreduce队列名 nameNode HDFS NameNode地址 “${变量名}”表示:该值来自“job.properties”所定义。 例如:${nameNode}表示的就是“hdfs://hacluster”。(可参见job.properties) 样例代码 <coordinator-app
任务处理时使用的Mapreduce队列名 nameNode HDFS NameNode地址 “${变量名}”表示:该值来自job.properties所定义。 例如:${nameNode}表示的就是“hdfs://hacluster”。(可参见job.properties) 样例代码 <coordinator-app
数据类型转换失败,当前行成为脏数据。 Hive输出 如果指定了一个或多个列为分区列,则在“到”页面上,会显示“分割程序”属性,该属性表示使用多少个处理器去对分区数据进行处理。 如果没有指定任何列为分区列,则表示不需要对输入数据进行分区处理,“分割程序”属性默认隐藏。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。