检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Objects 返回的响应消息组。具体请参考表4。 表4 数组元素参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 删除ID为12和232的作业。 {
怎样将OBS表映射为DLI的分区表? 场景概述 用户使用Flink SQL作业时,需要创建OBS分区表,用于后续进行批处理。 操作步骤 该示例将car_info数据,以day字段为分区字段,parquet为编码格式,转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。
SQL作业存在join小表操作时,会触发自动广播所有executor,使得join快速完成。但同时该操作会增加executor的内存消耗,如果executor内存不够时,导致作业运行失败。 解决措施 排查执行的SQL中是否有使用“/*+ BROADCAST(u) */”强制做broadcastjoin。如果有,则需要去掉该标识。
返回输入表达式的数据类型的字符串表示形式。默认情况下返回的字符串是一个摘要字符串,可能会为了可读性而省略某些细节。 如果 force_serializable 设置为 TRUE,则字符串表示可以保留在目录中的完整数据类型。请注意, 特别是匿名的内联数据类型没有可序列化的字符串表示。在这种情况下返回 NULL。
写数据至多个Sink表 EXECUTE STATEMENT SET BEGIN ... END; 是写数据至多个Sink表的必填语句,用于定义在同一个作业中执行多个插入数据的操作。 写数据至多个Sink表时,EXECUTE STATEMENT SET BEGIN ... END;是必填项。
Objects 返回的响应消息组。具体请参考表4。 表4 数组元素参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 停止运行ID为128和137的作业。
operation 是 String 事件的操作类型。 timestamp 是 Integer 事件产生的时间戳。 topic 是 String 消息发送的Topic。 name 是 String 资源名称。 attributes 否 String 资源的属性。 响应消息 表4 响应参数说明
Spark作业相关 完整样例代码和依赖包说明请参考:Python SDK概述。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
table_properties; 描述 “ALTER VIEW view_name AS select_statement;”用于改变已存在的视图的定义,语法效果与CREATE OR REPLACE VIEW类似。 “ALTER VIEW view_name SET TBLPROPERTIES
DOUBLE或DECIMAL类型 计算number的余切函数,输入为弧度值。 degress degrees(DOUBLE a) DOUBLE 返回弧度所对应的角度。 e e() DOUBLE 返回e的值。 exp exp(DOUBLE a) DOUBLE 返回e的a次方。 factorial factorial(INT
作业ID可以通过创建作业接口或者查询作业接口获取。 resume_savepoint 否 Boolean 是否将作业从最近创建的保存点恢复。 当“resume_savepoint”为“true”时,表示作业从最近创建的保存点恢复。 当“resume_savepoint”为“false”时,表示不恢复正常启动。 默认为“false”。
式是Oracle推荐的,对于集群来说,每个节点的SID可能不一致,但ServiceName是一致的,包含所有节点。 driver Oracle驱动类名: oracle.jdbc.driver.OracleDriver dbtable 指定在Oracle关联的表名,或者"用户名.表名",例如:public
expr 是 待计算返回结果的表达式。 ignore_nulls 否 BOOLEAN类型,表示是否忽略NULL值。默认值为False。 当参数的值为True时,返回窗口中第一条非NULL的值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause
字符。 修改组下的资源包拥有者,则该参数为必选参数。 “group_name”和“resource_name”可以单独使用,也可以组合使用。 修改组的拥有者:使用“group_name”。 修改资源包拥有者:使用“resource_name”。 修改组下的资源包的拥有者:同时使用
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口,您可以使用该接口并选择相应的队列来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):
Connector允许接收所有输入记录,常用于高性能测试和UDF 输出,其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector'
GROUPING SETS 的每个子列表可以是空的,多列或表达式,它们的解释方式和直接使用 GROUP BY 子句是一样的。一个空的 Grouping Sets 表示所有行都聚合在一个分组下,即使没有数据,也会输出结果。 对于 Grouping Sets 中的空子列表,结果数据中的分组或表达式列会用NULL代替。例如,上例中的
str1 是 STRING 待向右补位的字符串。 length 是 INT 向右补位位数。 str2 是 STRING 用于补位的字符串。 返回值说明 返回STRING类型。 如果length小于str1的位数,则返回str1从左开始截取length位的字符串。 如果length为0,则返回空串。
边缘Flink作业状态上报(废弃) 功能介绍 该API用于处理边缘Flink作业状态上报信息。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/job-report
-- 1 | {col2=2, col3=test} --创建一个名为web的schema: CREATE SCHEMA web; --在hive 数据源下创建一个名为sales的schema: CREATE SCHEMA hive.sales; --创建一个名为traffic,如果不存在的话: