检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
second(string date) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明
命令格式 year(string date) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE或STRING 需要处理的日期。 格式: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明
month(string date) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 date取值为STRING类型格式时,至少要包含yyyy-mm-dd且不含多余的字符串。 格式为: yyyy-mm-dd yyyy-mm-dd
读取的数据量,避免因过高的压缩比,导致解压后单个任务处理的数据量过大。 但调整这个参数可能会影响到作业的执行效率和资源消耗,因此在做调整时需要根据实际的数据量和压缩率来选择适合的参数值。 父主题: DLI数据库和表类
(value1 [, value2]*) 返回从值列表 (value1, value2, …) 创建的行。隐式行构造函数支持任意表达式作为字段,但至少需要两个字段。 显式行构造函数可以处理任意数量的字段,但目前还不能很好地支持所有类型的字段表达式。 ARRAY ‘[’ value1 [, value2
month(string date) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 date取值为STRING类型格式时,至少要包含yyyy-mm-dd且不含多余的字符串。 格式为: yyyy-mm-dd yyyy-mm-dd
tables/databases. Valid names only contain alphabet characters, numbers and _. 解决方案 需要将SQL中表名的“#”字符改成“$”即可。DLI中使用EL表达式的格式为:${expr}。 修改前: t_user_message_inp
unixtime) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 unixtime 是 BIGINT UNIX格式的时间戳。代表需要转换的时间戳 此处参数应填正常UNIX格式时间戳前十位。 返回值说明 返回STRING类型的日期值,格式为yyyy-mm-dd hh:mi:ss。
错,执行失败,RESTRICT是默认逻辑。 CASCADE表示即使该database不为空(有表存在),DROP也会级联删除下面的所有表,需要谨慎使用该功能。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。
错,执行失败,RESTRICT是默认逻辑。 CASCADE表示即使该database不为空(有表存在),DROP也会级联删除下面的所有表,需要谨慎使用该功能。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。
线(_)组成。不能是纯数字,且不能以下划线开头。匹配规则为:^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。如果特殊字符需要使用单引号('')包围起来。 注意事项 若所查看的表不存在,将会出错。 示例 查看student表的所有列的列名与列数据类型。 1 DESCRIBE
unixtime) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 unixtime 是 BIGINT UNIX格式的时间戳。代表需要转换的时间戳 此处参数应填正常UNIX格式时间戳前十位。 返回值说明 返回STRING类型的日期值,格式为yyyy-mm-dd hh:mi:ss。
multiLevelDirEnable:本例设置为true,表示查询该表时会迭代读取表路径中的所有文件和子目录文件,若不需要此项配置可以设置为false或不设置(默认为false); compression:当创建的OBS表需要压缩时,可以使用compression关键字来配置压缩格式,本例中就使用了zstd压缩格式。
multiLevelDirEnable:本例设置为true,表示查询该表时会迭代读取表路径中的所有文件和子目录文件,若不需要此项配置可以设置为false或不设置(默认为false); compression:当创建的OBS表需要压缩时,可以使用compression关键字来配置压缩格式,本例中就使用了zstd压缩格式。
线(_)组成。不能是纯数字,且不能以下划线开头。匹配规则为:^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。如果特殊字符需要使用单引号('')包围起来。 注意事项 若所查看的表不存在,将会出错。 示例 查看student表的所有列的列名与列数据类型。 1 DESCRIBE
业运行失败。 解决措施 排查执行的SQL中是否有使用“/*+ BROADCAST(u) */”强制做broadcastjoin。如果有,则需要去掉该标识。 设置spark.sql.autoBroadcastJoinThreshold=-1,具体操作如下: 登录DLI管理控制台,单击“作业管理
lastday(string date) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明
yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 timezone 是 STRING 代表需要转换的目标时区。 返回值说明 返回BIGINT类型值。 timestamp非DATE或STRING类型时,返回报错,错误信息:data type
库下的表。如果不填写,后续创建数据集时,刷新表,页面上会显示所有数据库下的表。创建数据集请参考永洪BI创建数据集。 其他选项不需要填写,也无需勾选“需要登录”选项。 图3 添加数据源配置 表1 数据库连接参数 参数 描述 URL URL的格式如下。 jdbc:dli://<endPoint>/<projectId>
队列网络连通 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源,本节操作介绍队列与外部数据源之间的网络连通方法,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。 配置DLI 队列与公网网络连通 介绍