检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该API用于处理IEF Flink作业action回调信息。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/messages 参数说明 表1 URI参数说明 参数名称
请求示例 创建一个SQL类型的作业模板，模板内容为“test sql” { "type": "SQL", "name": "test", "description": "", "body": "test aql", "group": ""
于ID或小于ID的限定条数的作业，默认查询全部状态的作业，也可以设定运行中或其他状态条件。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs 参数说明 表1 URI参数说明 参数名称
"udf_jar_url": "test/flink_test-1.0-SNAPSHOT-jar-with-dependencies.jar", "dirty_data_strategy": "0", "entrypoint": "test/flink_test-1
(cast_int_to_string int, cast_String_to_int string, case_string_to_timestamp string, case_timestamp_to_date timestamp(3)) WITH ( 'connector
days"=100); DataSource语法新建test_datasource_lifecycle_obs表，生命周期为100天，过期时默认删除数据且数据备份至目录'obs://dli-test/'。 1 2 3 4 CREATE TABLE test_datasource_lifecycle_obs(name
'obs://obs-csv-parquet/test.csv' ) 在DLI的SQL编辑窗口，执行以下语句可以查询表test_csv_hw中的数据。 图4 查询表test_csv_hw 在DLI的SQL编辑窗口中创建OBS表test_parquet_hw。 create table `test_parquet_hw`
IEF系统事件上报（废弃） 功能介绍 该API用于处理IEF系统事件上报。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/system-events 参数说明 表1 URI参数说明
level=logging.INFO) #import local file test_file_name = "D://test-data_1.txt" out_file_name = "D://test-data_result_1" sc = SparkContext("local"
获取账号ID 在调用接口的时候，部分URL中需要填入账号ID（domain-id），所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下： 登录管理控制台。 鼠标指向界面右上角的登录用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。 图1 获取账号ID
示例“myGroup/test.jar,myGroup/test1.jar”。 dependency_files 否 Array of Strings 用户已上传到DLI资源管理系统的资源包名，用户自定义作业的依赖文件。 示例："myGroup/test.cvs,myGroup/test1.csv"。
该API用于处理边缘Flink作业状态上报信息。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/job-report 参数说明 表1 URI参数说明 参数名称
提交SQL作业（废弃） 功能介绍 该API用于通过执行SQL语句的方式向队列提交作业。 当前接口已废弃，不推荐使用。 作业包含以下类型：DDL、DCL、IMPORT、EXPORT、QUERY和INSERT。其中，IMPORT和EXPORT分别与导入数据（废弃）和与导出数据（废弃）的功能一致，区别仅在于实现方式不同。
用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 （推荐）DLI SDK V3：是根据定义API的YAML文件统一自动生成，其接口参数与服务的API一致。 具体操作请参考SDK
该API用于获取作业执行进度信息，如果作业正在执行，可以获取到子作业的信息，如果作业刚开始或者已经结束，则无法获取到子作业信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1/{project_id}/jobs/{job_id}/progress 参数说明 表1 URI 参数
场景描述 本章节指导用户通过API提交SQL作业创建数据库和表，并查询数据。 涉及接口 创建弹性资源池 创建队列 提交SQL作业（推荐） 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式：POST /v3/{project_id}/elastic-resource-pools
运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更，如果用户代码里直接继承了该Logging，且编译时使用的是低版本的Spark，那么应用程序在Spark 2.3的环境中运行将会报java.lang
图4 添加队列test_b的扩缩容策略 添加完成后，可以在队列管理的界面看到队列test_b的扩缩容策略配置。 图5 队列test_b扩缩容策略配置 单击结果图形化按钮，可以看到队列test_b和test_a所有时间段的优先级和CU设置。 图6 test_b和test_a所有时间段的优先级和CU设置
准备数据： CREATE TABLE test0(id int, name string); CREATE TABLE test_like_properties LIKE test0 LOCATION 'obs://bucket1/test/test_like_properties';
修改后的生命周期时间，只能为正整数，单位为天。 示例 示例1：修改表的生命周期，开启test_lifecycle_exists表生命周期，并将生命周期设为50天。 alter table test_lifecycle_exists SET TBLPROPERTIES("dli.lifecycle
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
