检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
password = "", db_url = "", table_name = "" ); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,rds表示输出到关系型数据库中。 username 是 数据库连接用户名。 password
NULLIF(5, 0)返回5 COALESCE(value1, value2 [, value3 ]* ) 返回从左到右第一个不为null的参数的值 例如:COALESCE(NULL, 5)返回5 IF(condition, true_value, false_value) 若co
缩容定时任务”。 在“弹性扩缩容定时任务”页面,单击右上角的“创建定时任务”。 在“创建定时任务”页面,设置参数。单击“确定”。 图1 创建定时任务 表1 参数说明 参数名称 描述 任务名称 输入定时任务的名称。 只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。
COALESCE表达式 语法格式 1 COALESCE(value, value [, value ]* ) 语法说明 返回从左到右第一个不为NULL的参数的值。 注意事项 所有value的类型都必须一致。 示例 返回5。 1 insert into temp SELECT COALESCE(NULL
COALESCE表达式 语法格式 1 COALESCE(value, value [, value ]* ) 语法说明 返回从左到右第一个不为NULL的参数的值。 注意事项 所有value的类型都必须一致。 示例 返回5。 1 insert into temp SELECT COALESCE(NULL
配置DLI作业桶 使用DLI服务前需配置DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前,请先购买OBS桶或并行文件系统。 大数据场景推
查询Spark作业日志 操作场景 DLI作业桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶,并获取Spark作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。
查询SQL作业日志 操作场景 DLI作业桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶,并获取SQL作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。
LOG(A, B) 所有数字类型 当只有一个参数,返回B的自然对数(基数e)。 当有两个参数,返回B以A为基数的对数。 B必须大于0,且A必须大于1。 EXP(A) 所有数字类型 返回e的a次方。 CEIL(A) CEILING(A) 所有数字类型 将参数向上舍入为最接近的整数。例如ceil(21
LOG(A, B) 所有数字类型 当只有一个参数,返回B的自然对数(基数e)。 当有两个参数,返回B以A为基数的对数。 B必须大于0,且A必须大于1。 EXP(A) 所有数字类型 返回e的a次方。 CEIL(A) CEILING(A) 所有数字类型 将参数向上舍入为最接近的整数。例如ceil(21
String schemaPattern,String tableNamePattern, String types[]) 该方法不采纳Catalog参数,schemaPattern对应DLI服务的database的概念。 ResultSet getTableTypes() ResultSet
Spark作业访问MySQL数据库的方案 通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案: 方案1:在DLI中创建队列,队列计费模式为包年/包月队列或按需专属,创建增强型跨源连接,再通过跨源表读取MySQL数据库中的数据,该方案需要用户自行编写java代码或scala代码。
行作业所需的计算资源。 在DLI管理控制台,单击“作业管理 > Flink作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。 配置Flink版本,选择最新的Flink版本,推荐使用Flink 1.15。 Flink 1.15版本语法请参考Flink OpenSource
行作业所需的计算资源。 在DLI管理控制台,单击“作业管理 > Flink作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。 配置Flink版本,选择最新的Flink版本,推荐使用Flink 1.12。 公告发布日期:2023年7月6日 父主题: 产品公告
message_subject = "", message_column = "" ) 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,smn表示输出到消息通知服务中。 region 是 SMN所在区域。 topic_urn 否
LOG(A, B) 所有数字类型 当只有一个参数,返回B的自然对数(基数e)。 当有两个参数,返回B以A为基数的对数。 B必须大于0,且A必须大于1。 EXP(A) 所有数字类型 返回e的a次方。 CEIL(A) CEILING(A) 所有数字类型 将参数向上舍入为最接近的整数。例如ceil(21
value_type= "", key_column= ""(,hash_key_column="")?); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,dcs_redis表示输出到分布式缓存服务的Redis存储系统中。 cluster_address
message_subject = "", message_column = "" ) 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,smn表示输出到消息通知服务中。 region 是 SMN所在区域。 topic_urn 否
password = "", db_url = "", field_names = "" ); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,dds表示输出到文档数据库服务中。 username 是 数据库连接用户名。 password
行作业所需的计算资源。 单击“作业管理 > Spark作业”,新建Spark作业。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。 配置Spark版本,选择最新的Spark引擎版本,推荐使用Spark 2.4.5。 公告发布日期:2023年7月6日 父主题: