检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将string2格式的时间字符串string1转为时间戳,单位为秒 string2默认格式为'yyyy-MM-dd HH:mm:ss' TO_DATE(string1[, string2]) DATE 将string2格式的日期字符串,转换为DATE类型 string2默认格式为 'yyyy-MM-dd'
将string2格式的时间字符串string1转为时间戳,单位为秒 string2默认格式为'yyyy-MM-dd HH:mm:ss' TO_DATE(string1[, string2]) DATE 将string2格式的日期字符串,转换为DATE类型 string2默认格式为 'yyyy-MM-dd'
数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考:数据湖探索API。 DLI自定义的Spark3.1.1镜像,需要把第三方依赖jar放到哪个路径下呢? DLI自定义的Spark3.1.1镜像,建议将第三方依赖jar存放/opt/spark/jars目录。 父主题: Spark作业开发类
datasourcev1表和DLI datasourcev2表? DLI datasource v1表(以下简称V1表):DLI的Datasource表格式,建表/插入/truncate命令使用DLI自定义的command,表的数据路径为$tablepath/UUID/数据文件。 图1 DLI
功能介绍 该API用于创建DLI用户委托。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2/{project_id}/agency 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id
功能介绍 该API用于获取DLI用户委托信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v2/{project_id}/agency 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id
详细安装操作指导请参考安装Superset 以Docker安装Superset为例: 安装Docker,确保当前主机系统上安装了Docker。 拉取Superset Docker镜像: docker pull apache/superset 启动Superset容器: docker run -p 8088:8088
套餐包 DLI提供优惠的资源套餐包,购买套餐包后,资源按照套餐包类型计费。 套餐包是用户预先购买的资源使用量配额,超出当前套餐包的额度,将自动转为按需收费。 套餐包类型及适用场景 表1 套餐包类型及适用场景 类型 说明 适用场景 重置规则 扫描数据量套餐包 按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。
DROP COLUMN不支持rctext、rcbinary、rcfile 格式存储的表。由于connector对不同文件格式的列访问模式不同,drop column后可能会出现查询失败的情况,例如: 对于orc格式存储的非分区表 ,drop column后如果查询失败,需要设置Session属性:
中的error文件或者out文件中,方便用户查看,主要用于代码调试,查看输出结果。 前提条件 无。 注意事项 Print结果表支持以下四种格式内容输出: 打印内容 条件1 条件2 标识符:任务 ID> 输出数据 需要提供前缀打印标识符,即创建Print表时在with参数中指定print-identifier。
或者taskmanager的文件中,方便用户查看,主要用于代码调试,查看输出结果。 前提条件 无。 注意事项 Print结果表支持以下四种格式内容输出: 打印内容 条件1 条件2 标识符:任务 ID> 输出数据 需要提供前缀打印标识符,即创建Print表时在with参数中指定print-identifier。
DATE函数将"yyyy-MM-dd"日期格式的字符串解析为DATE类型的日期。 语法说明 DATE DATE string 入参说明 参数名 数据类型 参数说明 string STRING SQL日期格式的字符串。 注意该字符串的格式必须为"yyyy-MM-dd"格式,否则语义校验会报错。 示例
'abc,b,ab,c,def'); -- 3 format_number(number x, int d) →string 描述:将数字x格式化为'#,###,###.##',保留d位小数,以字符串的形式返回结果。 select format_number(541211.212,2);
3]'); -- 3 get_json_object(string json,string json_path); 按照json_path格式抓取json中的信息 SELECT get_json_object('{"id": 1, "value":"xxx"}', '$.value');
T-digest是存储近似百分位信息的数据草图。HetuEngine中用tdigest表示这种数据结构。T-digest可以合并,在存储时可以强转为VARBINARY,检索时再由VARBINARY转换为T-digest 函数 merge(tdigest)→tdigest 描述:将所有输
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
String 固定位filesystem。 path 是 无 String OBS路径。 format 是 无 String 文件格式。 支持csv、parquet格式。 sink.rolling-policy.file-size 否 128MB MemorySize 单个part文件最大大小,超过该数值会滚动产生新文件。
Parquet是面向分析型业务的列式存储格式,这种格式可以加快查询速度,查询Parquet格式数据时,只检查所需要的列并对它们的值执行计算,也就是说,只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项,因此可以显著减少磁盘上的存储。使用DLI可轻松将CSV格式数据转换为Parquet格式数据。
String 固定位filesystem。 path 是 无 String OBS路径。 format 是 无 String 文件格式。 支持csv、parquet格式。 sink.rolling-policy.file-size 否 128MB MemorySize 单个part文件最大大小,超过该数值会滚动产生新文件。
字符串函数 数据湖探索(DLI)提供了丰富的字符串函数,用于处理和转换字符串数据。这些函数包括拼接、大小写转换、截取子串、替换、正则匹配、编码解码、格式转换等。此外,还支持字符串长度计算、位置查找、填充、反转等功能,以及从JSON字符串中提取值的JSON_VAL函数。这些功能广泛应用于数据