检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作 “创建作业”:直接在该模板下创建作业,创建完后,系统跳转到“作业管理”下的作业编辑页面。 当前已有的样例模板包括如下场景: 利用地址信息的维表生成订单信息宽表 实时统计每天成交额、订单数和支付人数等指标 统计实时点击量最高的商品 自定义模板 自定义模板列表显示所有的jar作业模板,自定义模板列表参数说明如表
关注 点击 - 步骤1:上传数据 将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 下载OBS Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS
接信息”>“内网地址”,即可获取RDS内网地址。查看“连接信息”>“数据库端口”,获取RDS数据库实例端口。 在DLI管理控制台,单击“资源管理 > 队列管理”。 选择增强型跨源所绑定的资源池下的队列,单击操作列“更多 > 测试地址连通性”。 输入数据源连接地址和端口,测试网络连通性。
sink将数据写入到kafka的另一个topic中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功;否则表示未成功 创建flink opensource sql作业,并选择flink版本为1
弹性资源池的实际CUs、CU范围、规格的含义 实际CUs:弹性资源池当前分配的可用CUs。 CU范围:CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围,避免无限制的资源扩容风险。 弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 弹性资源池中任意一
false 当前配置设置为“false”时,DLI在覆盖写之前,会删除所有符合条件的分区。例如,分区表中有一个“2021-01”的分区,当使用INSERT OVERWRITE语句向表中写入“2021-02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“tru
Flink版本。当用户设置“feature”为“basic”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用的DLI基础Flink镜像的版本。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“
弹性资源池网段设置后不支持更改。 仅支持查看30天以内的弹性资源池扩缩容历史。 弹性资源池无法直接访问公网。 弹性资源池关联队列 弹性资源池关联队列: 仅支持关联按需计费模式的队列(包括专属队列)。 队列和弹性资源池状态正常,资源未被冻结。 弹性资源池扩缩容 弹性资源池CU设置、弹性资
"message": "" } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 200 创建成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 表相关API(废弃)
存)。弹性资源池的单位为CU,1CU包含1CPU和4GB内存。 您可以在弹性资源池中创建多个队列, 队列之间的计算资源支持共享。 通过合理设置队列的计算资源池分配策略,提高计算资源利用率。 DLI弹性资源池之间为物理集群隔离,同一个弹性资源池中的队列之间为逻辑隔离。 建议您对测试
sink将数据写入到kafka的另一个topic中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功;否则表示未成功 创建flink opensource
分配弹性资源池至项目 企业项目是一种云资源管理方式,企业可以根据组织架构规划企业项目,将分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建弹性资源池时选择企业项目,本节操作为您介绍DLI弹性资源池如何绑定、修改企业项目。 修改弹性
登录DLI管理控制台。 选择“资源管理 > 队列管理”。 进入队列列表页面,选择您需要查看的队列。 在列表页面的右上方单击可以自定义显示列,并设置表格内容显示规则、操作列显示规则。 在列表页面上方的搜索区域,您可以名称和标签筛选需要的队列资源。 单击查看队列的详细信息。 关于队列引擎相关字段的含义:
分配队列至项目 企业项目是一种云资源管理方式,企业可以根据组织架构规划企业项目,将分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建队列时选择企业项目,本节操作为您介绍DLI队列资源如何绑定、修改企业项目。 当前仅支持对未加入弹性资源池的队列资源修改企业项目。
优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略,默认优先级为1。 1 时间段 首条扩缩容策略是默认策略,不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。
TUMBLE窗口结束之前,可以根据设置的触发频率周期性地触发窗口,输出从窗口开始时间到当前周期时间窗口内的计算结果值,但不影响最终窗口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果
TUMBLE窗口结束之前,可以根据设置的触发频率周期性地触发窗口,输出从窗口开始时间到当前周期时间窗口内的计算结果值,但不影响最终窗口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果
于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DLI服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。 了解DLI SQL常用操作与系统策略的授权关系,请参考常用操作与系统权限关系。 表1 DLI系统权限 系统角色/策略名称
登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。 进入弹性资源池列表页面,选择您需要查看的弹性资源池。 在列表页面的右上方单击可以自定义显示列,并设置表格内容显示规则、操作列显示规则。 在列表页面上方的搜索区域,您可以名称和标签筛选需要的弹性资源池。 单击展开弹性资源池基本信息卡片,查看弹性资源池详细信息。
保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。 若果网络不可达,请先配置网络连通后再重新执行作业。 操作方法请参考测试地址连通性。 配置详情请参考配置网络连通。 父主题: Flink SQL作业类