检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景一:固定资源造成资源浪费和资源不足的场景 在每天的不同时段,作业任务对资源的请求量也会发生变化,如果采用固定资源规格则会导致资源浪费或者资源不足的问题。例如,如下图图2示例可以看出: 大约在凌晨4点到7点这个数据段,ETL作业任务结束后没有其他作业,因为资源固定一直占用,导致严重的资源浪费。
与该队列绑定的计算单元数。即当前队列的CU数。 chargingMode 否 integer 队列的收费模式。 0:系统默认default队列。按照扫描量计费。 1:表示按照CU时收费。 2:表示按照包年包月收费。 resource_id 否 String 队列的资源ID。 resource_mode
日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。其中,“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。 在作业列表中,单击对应的作业名称,然后在“运行日志”页签,可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink
jdbc:dli://<endPoint>/projectId? <key1>=<val1>;<key2>=<val2>… endpoint指DLI的域名。projectId指项目ID。 在地区和终端节点获取DLI对应的Endpoint,从华为云“用户名”>“我的凭证”页面获取项目编号。 “
与该队列绑定的计算单元数,即当前队列的CU数。 charging_mode 否 Integer 队列的收费模式。 0:系统默认default队列。按照扫描量计费。 1:表示按照CU时收费。 2:表示按照包年包月收费。 resource_id 否 String 队列的资源ID。 enterprise_project_id
OVER 窗口聚合。然而,对于流式查询,由于目前的限制,所有聚合的 OVER 窗口必须是相同的。 OVER 窗口需要数据是有序的。因为表没有固定的排序,所以 ORDER BY 子句是强制的。对于流式查询,Flink 目前只支持 OVER 窗口定义在升序(asc)的时间属性上。其他的排序不支持。
'format' = 'csv' ); 参数说明 表1 参数说明 参数 是否必选 默认参数 数据类型 说明 connector 是 无 String 固定位filesystem。 path 是 无 String OBS路径。 format 是 无 String 文件格式。 支持csv、parquet格式。
的条数上限,则停止存储数据,以batch.size.entries为准,提交该批次的数据。 es.nodes.wan.only 是否仅通过域名访问es节点,默认为false。使用经典型跨源的连接地址作为es.nodes时,该参数需要配置为true;使用css服务提供的原始内网IP地址作为es
dli_data_clean_agency 数据清理委托,表生命周期清理数据、Lakehouse表数据清理使用。 该委托需新建后自定义权限,但委托名称固定为dli_data_clean_agency。 数据清理委托权限配置 允许DLI读写OBS将日志转储 自定义 DLI Flink作业下载O
如果配置为false,输出为default的格式。 否 true false kyuubi.engine.dli.jdbc.connection.region DLI的区域名称和服务名称。 是 regionname=ap-southeast-2 kyuubi.engine.dli.jdbc.connection
DLI在不同的计费项下有不同的计费模式,具体详见表1说明。 表1 DLI计费模式 计费项 计费模式 计费模式说明 计算计费 包年/包月 按照弹性资源池包年/包月的固定费用计费。 按需计费 按需弹性资源池资源使用CU时进行计费。 计算费用=单价*CU数*小时数 CU时套餐包 DLI提供了弹性资源池CU时套餐包。
存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。 DLI
如果配置为false,输出为default的格式。 否 true false kyuubi.engine.dli.jdbc.connection.region DLI的区域名称和服务名称。 是 regionname=ap-southeast-2 kyuubi.engine.dli.jdbc.connection
<col3>) as (<key1>,<key2>,...,<col1>, <col2>) 参数的数据类型 将一行数据转为多行的UDTF,将列中存储的以固定分隔符格式分隔的数组转为多行。 trunc_numeric trunc_numeric(<number>[, bigint<decimal_places>])
控制台操作请参考增强型跨源连接。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用RDS提供的"内网域名"或者内网地址和数据库端口访问,MySQL格式为"协议头://内网IP:内网端口",PostGre格式为"协议头://内网IP:内网端口/数据库名"。
如果配置为false,输出为default的格式。 否 true false kyuubi.engine.dli.jdbc.connection.region DLI的区域名称和服务名称。 是 regionname=ap-southeast-2 kyuubi.engine.dli.jdbc.connection
如果配置为false,输出为default的格式。 否 true false kyuubi.engine.dli.jdbc.connection.region DLI的区域名称和服务名称。 是 regionname=ap-southeast-2 kyuubi.engine.dli.jdbc.connection
如果配置为false,输出为default的格式。 否 true false kyuubi.engine.dli.jdbc.connection.region DLI的区域名称和服务名称。 是 regionname=ap-southeast-2 kyuubi.engine.dli.jdbc.connection
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 获取MRS集群全部节点的ip和域名映射,在DLI跨源连接修改主机信息中配置host映射。 如何添加IP域名映射,请参见《数据湖探索用户指南》中“修改主机信息”章节。 Kafka服务端的端口如果监听在hostname上,则需要将Kafka
DLI默认提供以下类型的委托:dli_admin_agency、dli_management_agency、dli_data_clean_agency(名称固定,权限需自定义)。其他场景需用户自定义委托。委托的详细说明请参考表1。 DLI为了满足细粒度的委托权限需求,DLI升级了系统委托,将原有的