检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
resource_type 否 String 资源类型。 vm:ecf集群 container:容器化集群(k8s) cu_spec 否 Integer 队列的规格大小。对于包周期队列,表示包周期部分的CU值;对于按需队列,表示用户购买队列时的初始值。 cu_scale_out_limit 否 Integer
fields:适用于所有数据类型 fields-scores:适用于sorted set数据类型 array:适用于list、set、sorted set数据类型 array-scores:适用于sorted set数据类型 map:适用于hash、sorted set数据类型 schema-
function_name 格式 无。 说明 函数名称,仅支持字符串类型。 父主题: 标示符
数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.hbase。 如果选择Spark版本为3.1.1时,无需选择Module模块, 需在 'Spark参数(--conf)'
hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回STRING类型的日期值。 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。
参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算。 返回值说明 返回STRING类型。 str非STRING、BIGINT、DOU
表1 参数说明 参数 是否必选 参数类型 说明 colname 是 STRING类型 代表需要排序的列名。 列中元素只能为整数类型。 p 是 DOUBLE类型 p的范围为0-1。参数p的格式包括浮点数格式。 返回值说明 返回DOUBLE或ARRAY类型。 列名不存在时,返回报错。 p为NULL或在[0
fields:适用于所有数据类型 fields-scores:适用于sorted set数据类型 array:适用于list、set、sorted set数据类型 array-scores:适用于sorted set数据类型 map:适用于hash、sorted set数据类型 schema-
yyyy代表年份。 MM代表月份。 返回值说明 返回DATE类型的日期值,格式为yyyy-mm-dd。 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。
Hudi表索引设计规范 规则 禁止修改表索引类型。 Hudi表的索引会决定数据存储方式,随意修改索引类型会导致表中已有的存量数据与新增数据之间出现数据重复和数据准确性问题。常见的索引类型如下: 布隆索引:Spark引擎独有索引,采用bloomfiter机制,将布隆索引内容写入到Parquet文件的footer中。
number 格式 无。 说明 LIMIT限制输出的行数,只支持INT类型。 父主题: 标示符
如果Flink作业对接的是kafka专享版,则可通过云监控服务(CES)进行查看。具体可选择“云服务监控 > 分布式消息服务 > kafka专享版” ,单击“kafka实例名称 > 消费组” ,选择具体的消费组名称,查看消费组的指标信息。 图1 消费组 反压状态 反压状态是通过周期性对taskManager线
flink_version 否 String Flink版本。当用户设置“feature”为“basic”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用的DLI基础Flink镜像的版本。 operator_config 否 String 各算子并
参数 是否必选 参数类型 说明 input 是 STRING类型。 要输入的字符串。 endcoding 否 STRING类型。 指定编码格式,支持GBK或UTF-8等标准编码格式,不输入默认为UTF-8。 返回值说明 返回STRING类型的值。 STRING类型UTF-8编码的字符串。
pi pi函数用于返回π的值。 命令格式 pi() 返回值说明 返回DOUBLE类型的值。 示例代码 返回3.141592653589793。 select pi(); 父主题: 数学函数
name_test", "age+1").show() col 获取指定字段。不同于select,col每次只能获取一个字段,返回类型为Column类型,示例如下: 1 val idCol = jdbcDF.col("id") drop 删除指定字段。传入要删除的字段,返回不包含
表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE或STRING 需要处理的日期。 格式: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回INT类型的值。 周一作为一周的第一天,返回值为0。其他日期依次递增,周日返回6。
参数说明 参数 是否必选 参数类型 说明 str 是 STRING 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算。 n 是 BIGINT 重复的数字n。 返回值说明 返回STRING类型。 str非STRING、
目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表。 如果用户CTAS建表指定的文件格式为AVRO类型,而且直接使用数字作为查询语句(SELECT)的输入,如“CREATE TABLE tb_avro STORED
企业级多租户 基于表的权限管理,可以精细化到列权限。 基于文件的权限管理。 高性能 性能 基于软硬件一体化的深度垂直优化。 大数据开源版本性能。 跨源分析 支持多种数据格式,云上多种数据源、ECS自建数据库以及线下数据库,数据无需搬迁,即可实现对云上多个数据源进行分析,构建企