检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FlinkUI界面，选择“Task Managers”，单击对应的任务名称，选择“Stdout”查看作业运行日志。 方法二：若在提交运行作业前“运行参数”选择了“保存作业日志”，可以通过如下操作查看。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“
统一包年/包月资源的到期日 如果您持有多个到期日不同的资源，或者您的队列资源到期日不同，可以将到期日统一设置到一个日期，便于日常管理和续费。 图4展示了用户将两个不同时间到期的资源，同时续费一个月，并设置“统一到期日”后的效果对比。 图4 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。
表格存储服务（CloudTable），是基于Apache HBase提供的分布式、可伸缩、全托管的KeyValue数据存储服务，为DLI提供了高性能的随机读写能力，适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用，适用于物联网IOT应用和通用海量KeyValue数据存
在FlinkUI界面，选择“Task Managers”，单击对应的任务名称，选择“Stdout”查看作业运行日志。 方法二：若在提交运行作业前“运行参数”选择了“保存作业日志”，可以通过如下操作查看。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“
连通性。 用户运行Flink Jar作业时，需要将二次开发的应用代码构建为Jar包，上传到已经创建的OBS桶中。 由于DLI服务端已经内置了Flink的依赖包，并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题，打包时请注意排除以下文件： 系统内置的依
序包，具体请参考创建程序包。 DLI不支持下载功能，如果需要更新已上传的数据文件，可以将本地文件更新后重新上传。 由于DLI服务端已经内置了Flink的依赖包，并且基于开源社区版本做了安全加固。 为了避免依赖包兼容性问题或日志输出及转储问题，打包时请注意排除以下文件： 系统内置的
常见场景的委托权限策略 本节操作提供了DLI常见场景的委托权限策略，用于用户自定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景：数据清理委托，表生命周期清理数据及lakehouse表数据清理使用。该委托需新建
具体API请参考《导出查询结果》。 与统一身份认证服务（IAM）的关系 统一身份认证服务（Identity and Access Management）为DLI提供了华为云统一入口鉴权功能。 具体操作请参考《创建用户并授权使用DLI》和《DLI自定义策略》。 与云审计服务（CTS）的关系 云审计服务（Cloud
API概览 本章节介绍了目前DLI所提供的API列表。 表1 DLI API列表 类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全
访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口，可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud
表格存储服务（CloudTable），是基于Apache HBase提供的分布式、可伸缩、全托管的KeyValue数据存储服务，为DLI提供了高性能的随机读写能力，适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用，适用于物联网IOT应用和通用海量KeyValue数据存
cle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON 和 Apache Avro 序列化消息。 Flink 支持将 Debezium JSON 和 Avro
'parquet', 'auto-compaction' = 'true' ); 使用说明 滚动策略 RollingPolicy 定义了何时关闭给定的In-progress Part文件，并将其转换为Pending状态，然后再转换为Finished状态。 Finished状态
'parquet', 'auto-compaction' = 'true' ); 使用说明 滚动策略 RollingPolicy 定义了何时关闭给定的In-progress Part文件，并将其转换为Pending状态，然后再转换为Finished状态。 Finished状态
12创建Kafka源表和Flink OpenSource SQL 1.12创建Elasticsearch结果表。 创建Kafka源表，将DLI和Kafka数据源进行链接。 CREATE TABLE kafkaSource ( order_id string, order_channel string
fields-prefix 否 无 String 为键格式的所有字段定义自定义前缀，以避免与值格式的字段发生名称冲突。 默认情况下，前缀为空。如果定义了自定义前缀，则表架构和'key.fields'都将使用前缀名称。在构造密钥格式的数据类型时，将删除前缀，并在密钥格式中使用无前缀的名称。请注意，此选项要求'value
fields-prefix 否 无 String 为键格式的所有字段定义自定义前缀，以避免与值格式的字段发生名称冲突。 默认情况下，前缀为空。如果定义了自定义前缀，则表架构和'key.fields'都将使用前缀名称。在构造密钥格式的数据类型时，将删除前缀，并在密钥格式中使用无前缀的名称。请注意，此选项要求'value
数据库下面的表就有了插入权限，回收这个插入权限，只能在数据库上回收，不能在表上回收。 如果数据库被删除后，再重新创建同名的数据库，数据库权限不会继承，需要对操作该数据库的用户或项目重新进行赋权。 例如，testdb数据库给用户A赋予了删除数据库的权限，后续执行了删除testdb数
'SASL_PLAINTEXT' 元信息列 您可以在源表中定义元信息列，以获取Kafka消息的元信息。例如，当WITH参数中定义了多个topic时，如果在Kafka源表中定义了元信息列，那么Flink读取到的数据就会被标识是从哪个topic中读取的数据。 表2 元信息列 Key 数据类型 是否可读(R)写(W)
在FlinkUI界面，选择“Task Managers”，单击对应的任务名称，选择“Stdout”查看作业运行日志。 方法二：如果在提交运行作业前“运行参数”选择了“保存作业日志”，可以通过如下操作查看。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
