检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
“字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
“字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
修改HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testModifyTable方法中
修改HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中
否 否 验证输入字段 是否检验输入字段与值的类型匹配情况,值为“NO”,不检查;值为“YES”,检查。如果不匹配则跳过该行。 enum 是 YES 输入字段 配置输入字段的相关信息: 位置:目标字段对应的位置,从1开始编号。 字段名:配置字段名。 字段所在的标签:字段的标签。 关键
修改Kudu表 功能简介 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。 代码样例 如下是写数据的代码片段: // Alter the table, adding a column with a
修改Kudu表 功能简介 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。 代码样例 如下是写数据的代码片段: // Alter the table, adding a column with a
修改CarbonData表 SET和UNSET 当使用set命令时,所有新set的属性将会覆盖已存在的旧的属性。 SORT SCOPE SET SORT SCOPE命令示例: ALTER TABLE tablename SET TBLPROPERTIES('SORT_SCOPE'='no_sort')
parquet格式不支持hive3,用Hcatalog方式写入。 处理步骤 采用Hcatalog的方式,参数指定对应的Hive库和表,需要修改SQL语句指定到具体字段(需要修改脚本)。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 原来的脚本:
“字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
否 否 验证输入字段 检验输入字段与值的类型匹配情况,值为“NO”,不检查;值为“YES”,检查。若不匹配则跳过该行。 enum 是 YES 输入字段 配置输入字段的相关信息: 位置:目标字段对应的位置,从1开始编号。 字段名:配置字段名。 字段所在的标签:字段的标签。 关键字:
long to date 输入字段名 配置输入的待转换字段名称,需填写上一个转换步骤生成的字段名。 string 是 无 输出字段名 配置输出字段的字段名。 string 是 无 字段单位 配置长整型数值字段的单位,根据“转换类型”长整型数据可以是输入字段或生成字段,可选值为“second”和“milisecond”。
long to date 输入字段名 配置输入的待转换字段名称,需填写上一个转换步骤生成的字段名。 string 是 无 输出字段名 配置输出字段的字段名。 string 是 无 字段单位 配置长整型数值字段的单位,根据“转换类型”长整型数据可以是输入字段或生成字段,可选值为“second”和“milisecond”。
HBase常用参数配置 该章节操作仅适用于MRS 3.x之前版本集群。 当MRS服务中默认的参数配置不足以满足用户需要时,用户可以自定义修改参数配置来适应自身需求。 登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“
ClickHouse输出 概述 “ClickHouse输出”算子,用于配置已生成的字段输出到ClickHouse表的列。 输入与输出 输入:需要输出的字段。 输出:ClickHouse表。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库。
“随机值转换”算子,用于配置新增值为随机数的字段。 输入与输出 输入:无 输出:随机值字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置生成随机值的字段名。 string 是 无 长度 配置字段长度。 map 是 无 类型 配置字段的类型,可选值为“VARCH
修改HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中
修改HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中。
修改HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中。