检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“更新域”算子,当满足某些条件时,更新字段的值。 目前支持的类型有“BIGINT”、“DECIMAL”、“DOUBLE”、“FLOAT”、“INTEGER”、“SMALLINT”、“VARCHAR”。当类型为“VARCHAR”时,运算符为“+”时,表示在字符串后追加串,不支持“-”,当为其他类型时,“+”、“-”分别
连接GBase数据源的GBase用户名。 - 密码 连接GBase数据源的GBase用户密码。 - (可选)自定义配置。 单击“增加”可以增加自定义配置参数。配置GBase数据源自定义参数,参考表2。 表2 GBase数据源自定义配置参数 参数 描述 取值样例 GBase.auto-reconnect 是否自动重连。
开发Hive用户自定义函数 当Hive的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。 按实现方式,UDF分为有如下分类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。
当连接器不支持此数据类型时,是否将其转换为VARCHAR,从而避免失败。 CONVERT_TO_VARCHAR:将不支持的类型转为VARCHAR类型,并且只支持对它们的读操作。除了数据类型映射表格中有的类型,其余类型均不支持。 IGNORE(默认值):不支持的类型将不在查询结果中显示。
DistCP作业导入导出数据常见问题 问:DistCP类型作业导入导出数据时,是否会对比数据的一致性? 答:DistCP类型作业导入导出数据时不会对比数据的一致性,只是对数据进行复制,不会修改数据。 问:DistCP类型作业在导出时,遇到OBS里已经存在的文件是如何处理的? 答:DistCP类型作业在导出时,遇到OBS里已经存在的文件时会覆盖原始文件。
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
算子输入、输出参数设置 输入类型 输出类型 表输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,在“存储类型”中选择“HDFS”,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 文件类型 文件导入后保存的类型: “TEXT_
的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组(Long,String,String,Integer)。 数据经统计后,统计结果打印到终端输出。 打印输出的结果为Long类型的数据。 开发思路 source算子每隔1秒
的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组(Long,String,String,Integer)。 数据经统计后,统计结果打印到终端输出。 打印输出的结果为Long类型的数据。 开发思路 source算子每隔1秒
制台手动为MRS添加新的组件或者已删除的组件。 仅MRS 3.1.2及之后的普通版本和MRS 3.1.2-LTS.3及之后LTS版本的自定义类型集群支持添加和删除组件。 添加删除MRS集群组件前提条件 需要在IAM 用户所属的用户组中,设置用户组的权限。 由于在集群上添加服务和删
SQL等)作业类型无法克隆 克隆的作业只能并行执行,不保证执行顺序 包周期集群不允许克隆集群作业 普通集群支持克隆作业,安全集群不支持克隆作业 集群相关配置是否支持克隆情况参见表1。 表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用
User 数据源用户,如gaussuser1(表2中配置的数据源用户)。 (可选)自定义配置。 单击“增加”可以增加自定义配置参数。配置GaussDB数据源自定义参数,参考表4。 表4 GaussDB数据源自定义配置参数 名称 描述 取值样例 use-connection-pool 是否使用JDBC连接池
构化的数据,具有固定列和数据类型。CarbonData中的数据存储在表实体文件中。 支持的数据类型 CarbonData表支持以下数据类型: Int String BigInt Decimal Double TimeStamp 表1对所支持的数据类型和对应的范围进行了详细说明。 表1
执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; MySQL与HetuEngine数据类型映射 MySQL数据类型到HetuEngine数据类型映射 MySQL类型 HetuEngine类型 BIT BOOLEAN BOOLEAN TINYINT TINYINT TINYINT
级租户。 父租户与子租户:用来表述租户间上下层级关系的称呼。 非叶子租户资源:创建租户时,选择的租户类型,该类型可以创建子租户。 叶子租户资源:创建租户时,选择的租户类型,该类型不可以创建子租户。 多租户平台: 租户是MRS大数据平台的核心概念,使传统的以用户为核心的大数据平台向
委托名称:例如“lakeformation_test” 委托类型:选择“云服务” 云服务:选择“ECS BMS” 持续时间:根据实际情况自定义 在选择策略界面右上角单击“新建策略”,配置如下信息,单击“下一步”。 策略名称:自定义 策略配置方式:选择JSON视图 策略内容:配置如下信息
的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组(Long,String,String,Integer)。 数据经统计后,统计结果打印到终端输出。 打印输出的结果为Long类型的数据。 开发思路 source算子每隔1秒
的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组(Long,String,String,Integer)。 数据经统计后,统计结果打印到终端输出。 打印输出的结果为Long类型的数据。 开发思路 source算子每隔1秒
的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组(Long,String,String,Integer)。 数据经统计后,统计结果打印到终端输出。 打印输出的结果为Long类型的数据。 开发思路 source算子每隔1秒