正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。该委托包含获取IAM用户相关信息、跨源场景访问和使用VPC、子网、路由、对等连接的权限、作业执行失败需要通过SMN发送通知消息的权限。详细委托包含的权限请参考配置DLI云服务委托权限。 创建执行作业所需的计算资源和元数据
LI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。该委托包含获取IAM用户相关信息、跨源场景访问和使用VPC、子网、路由、对等连接的权限、作业执行失败需要通过SMN发送通知消息的权限。详细委托包含的权限请参考配置DLI云服务委托权限。 创建执行作业所需的计算资源和元数据
墓碑消息(在键上删除)。因此,如果该字段可能具有 null 值,我们建议避免使用 upsert-kafka 连接器和 raw format 作为 value.format。 Raw format 连接器是内置的。更多具体使用可参考开源社区文档:Raw Format。 支持的Connector Kafka
只读权限可控制部分开放的、未鉴权的DLI资源和操作。例如创建全局变量、创建程序包以及程序包组、default队列提交作业、default数据库下建表、创建跨源连接、删除跨源连接等操作。 系统策略 无 Tenant Administrator 租户管理员。 操作权限:具有数据湖探索服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。
Redis、DDS等,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Spark作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理
'datagen' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器,这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数,用以控制数据发出速率。 fields
"https://www.example.com/v3/projects" } } 从控制台获取项目ID 从控制台获取项目ID的步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID
在绑定企业项目前,您已在“企业项目管理控制台”创建创建企业项目。 修改企业项目 针对之前已创建的队列,其绑定的企业项目可根据实际情况进行修改。 登录DLI管理控制台。 在左侧导航栏,选择“资源管理 > 队列管理”。 在队列资源列表中,选择待修改企业项目的队列,并单击操作列下“更多 > 分配至项目”。
'datagen' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器,这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数,用以控制数据发出速率。 fields
'blackhole' ); 参数说明 表2 参数说明 选项 是否必要 默认值 类型 描述 connector 是 无 String 指定需要使用的连接器,此处应为'blackhole'。 示例 通过DataGen源表产生数据,BlackHole结果表接收传来的数据。 create table
Redis、DDS等,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理
会监控文件夹中新文件的生成情况,并增量读取新文件。 前提条件 该场景作业需要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项
更多创建队列的操作步骤请参考创建弹性资源池和在弹性资源池中添加队列。 修改企业项目 针对之前已创建的集群,其绑定的企业项目可根据实际情况进行修改。 登录DLI管理控制台, 在左侧导航栏,选择“资源管理 > 弹性资源池”。 在弹性资源池资源列表中,选择待修改企业项目的资源,并单击操作列下“更多
请确认包年/包月资源还未到期。 在购买页面开通自动续费 您可以在购买页面开通自动续费,如图1所示。 图1 自动续费配置 在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。
配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面,勾选基础使用、跨源场景、运维场景的委托权限后,单击“更新委托权限”。
system_time as of orders.proctime as dim on orders.product_id = dim.product_id; 连接Kafka集群,向Kafka的source topic中插入如下测试数据: {"product_id": "product_id_11",
'datagen' ); 参数说明 表2 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器,这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数,用以控制数据发出速率。 number-of-rows
选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时,只能查看被授权的表及其所在数据库的信息。
peline.global-job-parameters中。 key和value之间通过冒号(:)分隔,所有key-value用逗号(,)连接。 如果key或value中含有逗号(,),则需要用双引号(")将key:value整个包围起来。参考k2。 如果key或value中含有
peline.global-job-parameters中。 key和value之间通过冒号(:)分隔,所有key-value用逗号(,)连接。 如果key或value中含有逗号(,),则需要用双引号(")将key:value整个包围起来。参考k2。 如果key或value中含有