检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证,用户密码请咨询集群管理员。 kinithdfs kinit一次票据时效24小时。24小时后再次运行样例,需要重新kinit命令。
bitwise_and_agg(x) 描述:用补码表示输入字段x的按位与,返回类型为bigint。 select bitwise_and_agg(x) from (values (31),(32)) as t(x);-- 0 bitwise_or_agg(x) 描述:用补码表示输入字段x的按位或,返回类型为bigint。
(在rules标签内) <age>or<atime> 定义在<fileset>中定义的文件的age/accesstime。策略将匹配该age。age可以用[num]y[num]m[num]w[num]d[num]h的格式表示。其中num表示数字。 其中字母的意思如下: * y--年(一年是365天)。
kafka_version 否 Maxwell使用的kafka producer版本号,不能在config.properties中配置,需要在启动命令时用-- kafka_version xxx参数传入 - kafka_partition_hash 否 划分kafka topic partit
指定:手动指定类名。 类名 类名。 “Main Class”选择“指定”时存在该参数。 类参数 类参数,为Main-Class的参数(参数间用空格分隔)。 并行度 并行数量。 并行数为作业每个算子的并行数,适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销,其上限是
MAP(ARRAY['a'],ARRAY[2.0]));-- 1.0 累计分布函数 beta_cdf(a, b, v) → double 用给定的a,b参数计算贝塔分布的累计分布函数:P(N <v; a,b)。参数a,b必须为正实数,而值v必须为实数。值v必须位于间隔[0,1]上。
FlumeServer的业务IP或主机名 -n Flume “-d”:Flume客户端安装路径。 “-f”(可选):两个MonitorServer角色的业务IP或主机名,中间用逗号分隔,如果不设置则Flume客户端将不向MonitorServer发送告警信息,同时在FusionInsight Manager界面上看不到该客户端的相关信息。
HBase数据源中表rowkey 对应的列名。 hbase_table_name String 否 空 指定需要关联的HBase数据源上的表空间和表名,用:连接。默认表空间为default。如果创建一张HBase数据源中不存在的新表,hbase_table_name不需要指定。 external
一直被存储在昂贵的高速磁盘上,而随着数据的访问热度下降以及时间的老化,这些数据应该被迁移到价格低廉的存储介质上。 以详单查询场景作为典型的用例场景,进行说明:当最新详单数据刚刚被导入HDFS上时,会被上层业务人员频繁查询,所以为了提高查询性能,可以将这些详单数据最先导入到SSD磁
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 parameters 否 String 参数解释: 自定义自动化脚本参数。多个参数间用空格隔开。可以传入以下系统预定义参数: ${mrs_scale_node_num}:扩缩容节点数 ${mrs_scale_type}:扩缩容
大部分的Source都带有Interceptor参数。用户可以依据需要配置。 Flume支持一个Source配置多个拦截器,各拦截器名称用空格分开。 指定拦截器的顺序就是它们被调用的顺序。 使用拦截器在Header中插入的内容,都可以在Sink中读取并使用。 表5 Flume内建支持的拦截器类型
label-2,label-3”,表示3个副本分别放到含有label-1、label-2、label-3的DataNode中,不同的副本策略用逗号分隔。 如果label-1,希望放2个副本,可以这样设置表达式:“label-1[replica=2],label-2,label-3”
Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量。 cd /opt/client source bigdata_env 在该目录下用hdfs用户进行命令行认证。 kinit hdfs kinit一次票据时效24小时。24小时后再次运行样例,需要重新执行kinit命令。 进
当前路径下不存在“huawei”目录。 执行图3中的命令创建以“huawei”为名的目录。其中,用1中查找到的主机名或IP和端口分别替代命令中的<HOST>和<PORT>,在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都可以,要注意HTTP和HTTPS的端口不同。
勾选“我已经阅读上述信息,并了解具体影响。”并单击“确定”。 单击“组件管理”观察各个组件是否存在异常,若存在异常等待5~10分钟后再次观察组件,依然存在异常则联系华为云技术支持处理。 单击“告警管理”观察是否存在异常告警,若存在请清除告警后再进行其他操作。 父主题: MRS集群容量调整
current.source.checkpoint=topic名,分区名:offset // 指定每个源表的关联表(hudi表),如果有多个用逗号隔开 hoodie.deltastreamer.source.associated.tables=hdfs://hacluster/..
label-2,label-3”,表示3个副本分别放到含有label-1、label-2、label-3的DataNode中,不同的副本策略用逗号分隔。 如果label-1,希望放2个副本,可以这样设置表达式:“label-1[replica=2],label-2,label-3”
字符串函数 select col13 from tb_a; select length(col13) from tb_a; 否 所有的字符串函数用原表数据建立物化视图不加过滤条件的查询做物化视图不会改写 select length(col13) from tb_a; select length(col13)
安装时是否缺省启用:是 安全加固后是否启用:是 hive.server2.webui.port 10002 - Hive的Web UI端口。 该端口用Web请求与Hive UI服务器进行HTTPS/HTTP通信。 Hue常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 开源默认端口
荐使用“subnet_id”。 取值范围: 不涉及 默认取值: 不涉及 components 是 String 参数解释: 组件名称列表,用逗号分隔。支持的组件请参见获取MRS集群信息页面的“MRS服务支持的组件”内容。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及