检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用由LakeFormation提供的元数据服务时,创建内表和外表均支持。需要注意:在DROP内表时,数据也会被同步删除。
请求示例 在已创建的增强型跨源中绑定队列q1和q2。
图1 更新委托权限 委托更新完成后,重新创建跨源连接和运行作业。 父主题: Flink Jar作业类
这类似于SQL中的“如果不存在则创建表”。
在队列管理页面,单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题: DLI弹性资源池和队列类
问题现象 客户在数据治理中心DataArts Studio创建DLI的跨源RDS表,执行insert overwrite语句向RDS写入数据报错:DLI.0999: BatchUpdateException: Incorrect string value: '\xF0\x9F\x90
如果您需要了解创建自定义函数的步骤请参考自定义函数。
Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据 问题现象 客户创建Flink SQL作业,消费Kafka后sink到es集群,作业执行成功,但无数据。
在DLI管理控制台删除弹性资源池时并不会删除关联的Notebook实例,如果不再使用Notebook实例,请登录ModelArts管理控制台删除对应的Notebook资源。 操作流程 创建弹性资源池并添加通用队列。
问题现象 在创建Flink作业时开启了Checkpoint,指定了Checkpoint保存的OBS桶。手工停止Flink作业后,再次启动该Flink作业怎样从指定Checkpoint恢复。
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口,您可以使用该接口并选择相应的队列来执行作业。
参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,提交运行作业。
VALUES用于创建了一个没有列名的匿名表,但是表和列可以使用具有列别名的AS子句命名。
图1 创建源表 目标表对应字段类型为decimal(9,6)。
默认情况下空的input split不创建partition 说明: Spark2.4.x:默认情况下空的input split将创建partition。 Spark3.3.x:默认情况下空的input split不创建partition。
用户或应用程序通过凭据管理服务,创建、检索、更新、删除凭据,轻松实现对敏感凭据的全生命周期的统一管理,有效避免程序硬编码或明文配置等问题导致的敏感信息泄露以及权限失控带来的业务风险。 本节操作介绍Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导。
示例二 参考Kafka源表和Print结果表创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。
Flink将根据主键列的值对数据进行分区,从而保证主键上的消息有序,因此同一主键上的更新/删除消息将落在同一分区中。
新建SQL作业 功能介绍 该API用于创建Flink SQL作业。 调试 您可以在API Explorer中调试该接口。
将配置文件通过程序包管理上传到DLI; 在Flink jar作业的其他依赖文件参数中,选择创建的DLI程序包; 在代码中通过ClassName.class.getClassLoader().getResource("userData/fileName")加载该文件。