检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口,具体请参考《虚拟私有云API参考》。获取子网网络ID接口,具体请参考《虚拟私有云API参考》。 涉及接口 创建弹性资源池:创建弹性资源池。
执行安装命令: python setup.py install 安装完成后,可以通过运行以下命令来验证dbt是否正确安装: dbt --version 步骤2:配置DBT连接DLI 配置profiles.yml文件用于保存DBT与DLI的连接信息。
有关可用配置的完整列表,请参阅流式处理接收器。Streaming sink 示例 以下示例演示如何使用 Datagen 写入具有分区提交功能的Hive表。
dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限,除此之外的其他委托权限需求,都需自定义DLI委托。了解dli_management_agency请参考DLI委托概述。
message 否 String 消息内容。 请求示例 授权OBS桶bucket1的操作权限给DLI服务,用于保存用户作业的checkpoint、作业的运行日志。
请勿删除系统默认创建的dli_management_agency委托,否则会导致委托包含的权限自动取消,系统将无法正常获取IAM用户相关信息、或影响访问跨源所需的网络资源、无法访问SMN服务发送通知消息。 约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。
图3 包年/包月DLI资源生命周期 到期预警 包年/包月DLI资源在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的包年/包月DLI资源到期未续费,首先会进入宽限期,资源状态变为“已过期”。
图1 获取用户Token响应消息头 响应消息体 响应消息体通常以结构化格式返回,与响应消息头中Content-type对应,传递除响应消息头之外的内容。 对于获取用户Token接口,返回如下消息体。为篇幅起见,这里只展示部分内容。
与消息通知服务(SMN)的关系 消息通知服务(Simple Message Notification)可以在DLI发生作业运行异常时给用户发送通知。 具体操作请参考《创建消息通知主题》。
端口请注意使用KafKa服务配置中设置的ssl.port端口,默认值为9093。 with参数中security.protocol请设置为SSL。
更新委托请参考配置DLI云服务委托权限。 dli_management_agency 系统默认委托 DLI系统委托,用于将操作权限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。该委托包含跨源操作、消息通知、用户授权操作所需的权限。
value.fields-include 否 ALL 枚举类型 可选值:[ALL, EXCEPT_KEY] 在解析消息体时,是否要包含消息键字段。 取值如下: ALL(默认值):所有定义的字段都存放消息体(Value)解析出来的数据。
Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON消息。 Flink 支持将 Debezium JSON解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。
Maxwell为changelog提供了统一的格式,而且支持使用JSON对消息进行序列化。 Flink 支持将 Maxwell JSON 消息解释为 INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下,这对于利用此功能很有用。
提交SQL作业时,返回“unsupported media Type”信息 在DLI提供的REST API中,可以在请求URI中附加请求消息头,例如:Content-Type。 “Content-Type”为消息体的类型(格式),默认取值为“application/json”。
Flink 支持将 Canal 的 JSON 消息解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。
Flink 支持将 Canal 的 JSON 消息解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。
接受的字节数 算子接收的字节数。 接受的记录数 算子收到数据的记录。 开始时间 算子运行开始时间。 结束时间 算子运行结束时间。 查看Flink作业执行计划 用户通过查看执行计划了解到运行中的作业的算子流向。
作业处于运行中状态时,向DIS的source通道发送数据,验证DIS的sink通道能否收到数据。发送和接受都有字节数证明接收到数据。
例如,定义消息体类型的请求消息头“Content-Type”,请求鉴权信息等。 详细的公共请求消息头字段请参见表3。 表3 公共请求消息头 参数 说明 是否必选 示例 Host 请求的服务器信息,从服务API的URL中获取。值为hostname[:port]。