检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
创建路由 功能介绍 该API用于创建跨源需要的路由。 调试 您可以在API Explorer中调试该接口。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
命令格式 call show_invalid_parquet(path => 'path') 参数描述 表1 参数描述 参数 描述 是否必填 path 需要查询的FS路径 是 示例 call show_invalid_parquet(path => 'obs://path/hudi_table
根据表2可以获取到源和目的端的数据类型映射关系。
查询所有数据库(废弃) 功能介绍 该API用于查询出所有的数据库信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。
注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
sparkSession.sparkContext().addFile("obs://桶名/地址/transport-keystore.jks"); sparkSession.sparkContext().addFile("obs://桶名/地址/truststore.jks
被插入的OBS表在建表时只能指定文件夹路径。 源表和目标表的数据类型和列字段个数应该相同,否则插入失败。 不建议对同一张表并发插入数据,可能会由于并发冲突导致插入数据结果异常。 INSERT INTO命令用于将查询的结果追加到目标表中。
查询所有弹性资源池 功能介绍 查询所有弹性资源池。 调试 您可以在API Explorer中调试该接口。
创建路由(废弃) 功能介绍 该API用于创建跨源需要的路由。 当前接口已废弃,不推荐使用。推荐使用创建路由。 调试 您可以在API Explorer中调试该接口。
登录MRS集群的Manager,下载用户凭据“系统设置 > 用户管理”,单击用户名后的“更多 > 下载认证凭据”,并上传到OBS中。
25 15:10:00,0003,Cindy,330108 202103241606060001,appShop,2021-03-24 16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 读取sink表中配置的obs
但在使用DLI提供的元数据提交SparkSQL作业时,部分直接操作OBS路径的SQL语法暂不支持,详细说明请参考DLI Hudi SQL语法参考。 不支持在HetuEngine中写Hudi表,以及修改Hudi表结构,仅支持读Hudi表。
更新SQL模板 功能介绍 该接口用于更新SQL模板。 调试 您可以在API Explorer中调试该接口。
勾选“保存作业日志”,选择一个OBS桶。如果该桶未授权,需要单击“立即授权”进行授权。配置该参数,可以在作业异常失败后,将作业日志保存到用户的OBS桶下,方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”,选择1中创建的“SMN主题”。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
25 15:10:00,0003,Cindy,330108 202103241606060001,appShop,2021-03-24 16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 读取sink表中配置的obs
保存SQL模板 功能介绍 该接口用于存储指定的SQL语句,后续可以重复使用。 调试 您可以在API Explorer中调试该接口。
错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 分组资源相关API(废弃)