检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看Spark内置依赖包的版本? DLI内置依赖包是平台默认提供的依赖包,用户打包Spark或Flink jar作业jar包时,不需要额外上传这些依赖包,以免与平台内置依赖包冲突。 查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载? 资源包仅提供托管服务,不提供下载功能。
在不同的时间或者周期内设置不同的队列大小,以满足自己的业务需求,节约成本。 商用 定时扩容/缩容 2020年6月 序号 功能名称 功能描述 阶段 相关文档 1 计算队列支持跨AZ双活 DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性。 商用 队列管理概述 2 支持Spark作业开发者模式
of strings 该模块包含的资源包名列表。 details 否 Array of body 分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async
生成compaction计划(op指定为“schedule”),或者执行已经生成的compaction计划(op指定为“run”) 是 table 需要查询表的表名,支持database.tablename格式 table,path须选填其中之一 path 需要查询表的路径 table,path须选填其中之一 timestamp
式是Oracle推荐的,对于集群来说,每个节点的SID可能不一致,但ServiceName是一致的,包含所有节点。 driver Oracle驱动类名: oracle.jdbc.driver.OracleDriver dbtable 指定在Oracle关联的表名,或者"用户名.表名",例如:public
NULLIF(5, 0)返回5 COALESCE(value1, value2 [, value3 ]* ) 返回从左到右第一个不为null的参数的值 例如:COALESCE(NULL, 5)返回5 IF(condition, true_value, false_value) 若co
NULLIF(5, 0)返回5 COALESCE(value1, value2 [, value3 ]* ) 返回从左到右第一个不为null的参数的值 例如:COALESCE(NULL, 5)返回5 IF(condition, true_value, false_value) 若co
登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager.out文件查看结果日志。
当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名称。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名称。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic
集合函数 函数说明 CARDINALITY(array) 返回数组中元素的数量。 array '[' INT ']' 返回数组中 INT 位置的元素。索引从 1 开始。 ELEMENT(array) 返回数组的唯一元素(其基数应为 1);如果数组为空,则返回 NULL。如果数组有多个元素,则抛出异常。
start_minute 否 Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期,可以选择周一到周日的某一天、某几天、或者不选择。如果不选择,则会在当前时间后的start_hour:start_minute时间点执行扩缩容计划。例如:
表生命周期管理 创建表时指定表的生命周期 修改表生命周期的时间 禁止或恢复表的生命周期 父主题: 表相关
是否成功。 message String 系统提示信息,执行成功时,信息可能为空。执行失败时,用于显示执行失败的原因。 请求示例 更新SQL模板的信息,包括模板的SQL语句、模板名称、模板的描述信息和分组信息。 { "sql": "select * from t1", "sql_name":
Hudi Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
最多支持20个标签。 每个资源中的键不能重复,同一个键中值不能重复。 无tag过滤条件时返回全量数据。 matches 否 Array of objects 搜索字段。 请参考matches。 表3 tags 参数 是否必选 参数类型 描述 key 是 String 键。 标签的键的最大长度为12
成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 修改弹性资源池的描述信息、最大CU、最小CU。修改后的最小CU为78,修改后的最大CU为990。 { "description" : "test_update", "min_cu"
怎样将OBS表映射为DLI的分区表? Flink SQL作业Kafka分区数增加或减少,怎样不停止Flink作业实现动态感知? 在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据
选成了DLI的“通用队列”,应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台,选择“队列管理”,在队列管理界面查看是否有“SQL队列”类型的队列。 是,执行3。 否,执行2购买“SQL队列”类型的队列。 选择“资源管理 > 弹性资源池”,选择已购买的弹性资源池,单
of strings 该模块包含的资源包名列表。 details 否 Array of body 分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async
Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 constraint_name 约束名称。 所需权限 SQL权限 表2 DROP CONSTRAINT所需权限列表 权限描述 表的ALTER权限