例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。
确认当前用户所属用户组下的权限是否包含OBS写入的权限,比如“OBS OperateAccess”。如果没有OBS写入权限,则给对应的用户组进行授权。 授权完成后,等待5到10分钟等待权限生效。再次运行失败的Flink SQL作业,查看作业运行状态。
选择dli_management_agency需要包含的权限后,并单击“更新委托权限”。 图1 更新委托权限 委托更新完成后,重新创建跨源连接和运行作业。 父主题: 增强型跨源连接类
选择dli_management_agency需要包含的权限后,并单击“更新委托权限”。 图1 更新委托权限 委托更新完成后,重新创建跨源连接和运行作业。 父主题: 增强型跨源连接类
若新增分区指定的路径包含子目录(或嵌套子目录),则子目录下面的所有文件类型及内容也将作为该分区的记录。用户需要保证该分区目录下所有文件类型和文件内容与表的字段一致,否则查询将报错。
示例 输出Orders1和Orders2的并集,不包含重复记录。
示例 输出Orders1和Orders2的并集,不包含重复记录。
示例 输出Orders1和Orders2的并集,不包含重复记录。
storage_properties 否 Array of Objects 存储属性,以“key/value”的格式出现,包含delimiter,escape,quote,header,dateformat,timestampformat参数。
该委托包含获取IAM用户相关信息、跨源场景访问和使用VPC、子网、路由、对等连接的权限、作业执行失败需要通过SMN发送通知消息的权限。 详细委托包含的权限请参考配置DLI云服务委托权限。
配置”主类(--class)”,为上一步中所写的,包含需要执行的main函数的类的全名。 在”Spark参数(--conf)“处也可以配置Hudi参数,但是需要额外添加前缀“spark.hadoop.
注意事项 创建DLI表时,不需要指定timestamp和value字段,系统会根据指定的tags自动构建字段,包含以下字段,其中TAG1和TAG2由tags指定。
DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
partitionSpec如果导入时指定部分列为分区列,而导入的数据只包含了指定的分区信息,则数据导入后的未指定的分区列字段会存在null值等异常值。 示例中isOverWrite表示是否是覆盖写,为true表示覆盖写,为false表示追加写。
DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
注意事项 窗口关联需要在 join on 条件中包含两个输入表的 window_start 等值条件和 window_end 等值条件。 关联的左右两边必须使用相同的窗口表值函数。
DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
如果单个队列和所有队列的终端不一致,当选择了单个队列,同时选择了所有队列进行订阅时,在所有队列的消息通知中将不包含该队列的消息。 创建消息通知主题后,只有在订阅队列上创建的Spark作业失败时才会收到消息通知。
详细信息中即包含“SQL执行计划”项,单击查看,系统从DLI作业桶中查询对应作业的SQL执行计划并展示在控制台页面。 如果DLI作业桶中的SQL执行计划已经删除,那么点击查看后可能由于源文件缺失无法正常显示。 图1 查看SQL执行计划 父主题: 使用DLI提交SQL作业
您即将访问非华为云网站,请注意账号财产安全