检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 说明 create_time Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type String 资源类型。 resource_name String
例如:obs://rest-authinfo/tools/oracle/driver/ojdbc6.jar resource中定义的driver jar包如果被更新,需要重启队列,才会生效。 示例 创建Oracle跨源表 1 2 3 4 5 6 7 8 9 CREATE TABLE IF NOT EXISTS
Flink在写Hudi的MOR表只会生成log文件,后续通过compaction操作,将log文件转为parquet文件。Spark在更新Hudi表时严重依赖parquet文件是否存在,如果当前Hudi表写的是log文件,采用Spark写入就会导致重复数据的产生。在批量初始化阶段
全局配置 > 服务授权”。 在委托设置页面,勾选基础使用、跨源场景、运维场景的委托权限后,单击“更新委托权限”。 查看并了解更新委托的提示信息,单击“确定”。完成DLI委托权限的更新。 图1 配置DLI委托访问授权 完成配置后,在IAM控制台的委托列表中,可查看到dli_management_agency的委托信息。
is_sensitive 否 Boolean 是否设置为敏感变量。 create_time 否 Long 创建时间。 update_time 否 Long 更新时间。 请求示例 无 响应示例 { "is_success": true, "message": "string",
k-jobs dli:jobs:create √ × 更新flinkSQL作业 PUT /v1.0/{project_id}/streaming/sql-jobs/{job_id} dli:jobs:update √ × 更新flinkJar作业 PUT /v1.0/{proje
查看表统计信息 修改表相关语法 添加列 分区表相关语法 添加分区(只支持OBS表) 重命名分区 删除分区 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) 导入数据相关语法 导入数据 插入数据相关语法 插入数据 清空数据相关语法 清空数据 导出查询结果相关语法 导出查询结果
terval时长更新一次输出结果。若没有设置,则默认没有使用周期触发策略。 lateness_interval 表示窗口结束后延迟lateness_interval时长,继续统计在窗口结束后延迟时间内到达的属于该窗口的数据,而且在延迟时间内到达的每个数据都会更新输出结果。 说明:
后仍未更新的中间状态,默认设置为1小时。 脏数据策略 作业出现脏数据时的处理策略。作业配置脏数据策略时显示该参数。 忽略。 抛出异常。 保存。 脏数据转储地址 “脏数据策略”选择“保存”时,保存脏数据的OBS路径。 创建时间 作业创建的具体时间。 更新时间 作业最近一次更新的时间。
表,该模式与upsert模式行为一致。 non-strict模式,对主键表采用insert处理。 upsert模式,对于主键表的重复值进行更新操作。 在提交Spark SQL作业时,用户可以在设置中配置以下参数,切换bulk insert作为Insert语句的写入方式。 hoodie
write().insertInto("deltaJava1011"); spark.stop(); } 4. 编译打包后参照https://support.huaweicloud.com/devg-dli/dli_09_0205.html创建Spark Jar作业 父主题:
0/{project_id}/streaming/flink-jobs 更新Flink SQL作业 updateFlinkSqlJob - PUT /v1.0/{project_id}/streaming/sql-jobs/{job_id} 更新Flink自定义作业 updateFlinkJarJob
data_location 是 String 数据存储的地方,分OBS表、DLI表,View。 last_access_time 是 Long 最近更新时间。是单位为“毫秒”的时间戳。 location 否 String OBS表上的存储路径。 owner 是 String 表创建者。 table_name
is_success 否 Boolean 请求是否成功。 message 否 String 消息内容。 template 否 Object 作业更新信息。请参见表5 表5 template参数说明 参数名称 是否必选 参数类型 说明 template_id 否 Long 模板ID。 name
模板名称。 desc 否 String 模板描述。 create_time 否 Long 模板创建时间。 update_time 否 Long 模板更新时间。 sql_body 否 String Stream SQL语句。至少包含source、 query、sink三个部分。 job_type
)和中划线(-)相邻,禁止以英文句号(.)和中划线(-)开头或结尾。 禁止使用IP地址。 如果名称中包含英文句号(.),访问桶或对象时可能会进行安全证书校验。 导入源文件时,如果源文件中的某一列与目标表列类型不匹配,将会导致该行数据的查询结果为null 。 不支持并发导入同一张表。 调试 您可以在API
√ RESOURCE_MANAGEMENT 弹性资源池资源管理 √ × √ √ SCALE 扩缩容弹性资源池 √ × √ √ UPDATE 更新弹性资源池 √ × √ √ CREATE 创建弹性资源池 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的弹性资源池权限
create_time 否 Long 批处理作业的创建时间。是单位为“毫秒”的时间戳。 update_time 否 Long 批处理作业的更新时间。是单位为“毫秒”的时间戳。 feature 否 String 作业特性。表示用户作业使用的Spark镜像类型。 basic:表示使用DLI提供的基础Spark镜像。
60.0,2021-03-25 12:03:00,0002,Bob,330110) 常见问题 Q:作业运行失败,运行日志中有如下报错信息,应该怎么解决? java.io.IOException: unable to open JDBC writer ... Caused by: org
格式:IP:端口 测试连接前,请确保外部数据源的安全组已放通队列的网段。 图3 测试队列与数据源的网络连通性 相关操作 创建跨源成功但测试网络连通性失败怎么办? 父主题: 配置DLI与数据源网络连通(增强型跨源连接)