检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI服务预置的“default”队列即为全局共享模式的计算资源,资源的大小是按需分配的。在不确定数据量大小或偶尔需要进行数据处理的用户,可以使用default队列执行作业。 适用场景:适用于测试作业或资源消耗不高的情况。
port 否 5432 Integer Postgres数据库服务的端口号。 decoding.plugin.name 否 decoderbufs String 根据Postgres服务上安装的插件确定。
生命周期主要提供定期回收表或分区的功能,每天根据服务的繁忙程度,不定时回收。不能确保表或分区的生命周期到期后,立刻被回收。 删除表后,表的所有属性信息全部会删除,包括生命周期。新建同名表后,表的生命周期以新设置的属性为准。
500 内部服务器错误。 错误码 请参见错误码。 父主题: 资源标签相关API
您可以使用该接口查询作业APIG网关服务访问地址。
存储量套餐包 按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。 适用于在DLI 存储表数据的场景,例如时延敏感类的业务将表存储在DLI,使用存储量套餐包可以节省存储费用。 存储套餐的额度每个小时会重置。
500 内部服务器错误。 错误码 请参见错误码。 父主题: 资源标签相关API
500 内部服务器错误。 错误码 请参见错误码。 父主题: 资源标签相关API
所需权限 SQL权限 表2 CREATE TABLE所需权限列表 权限描述 数据库的CREATE_TABLE权限 细粒度权限:dli:database:createTable LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
Serverless DLI DLI完全兼容Apache Spark、Apache Flink生态和接口,是集实时分析、离线分析、交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云,减少迁移工作量。
可在服务授权中进行设置。 使用约束限制 使用DLI增强型跨源时,弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。 跨源表不支持Preview预览功能。
SQL作业: 请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数,并根据作业数量判断SQL作业整体的资源占用情况。 Flink 作业: 登录DLI管理管理控制台。 选择“作业管理 > Flink作业”。 单击作业名称进入作业详情页面。
500 内部服务器错误。 错误码 请参见错误码。 父主题: 资源标签相关API
关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 队列权限相关操作步骤 在DLI管理控制台的左侧,选择“资源管理 > 队列管理”。 选择待设置的队列,单击其“操作”列中的“权限管理”。
使用ClickHouse客户端连接到ClickHouse服务端,并使用以下命令查询集群标识符cluster等其他环境参数信息。
关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 弹性资源池权限管理操作步骤 在DLI管理控制台的左侧,选择“资源管理 > 弹性资源池”。 选择待设置的弹性资源池,单击其“操作”列中的“更多 > 权限管理”。
该桶用于存储使用DLI服务产生的临时数据,例如:作业日志等。 如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。
关于IAM的授予向云服务传递委托的权限,如果使用的是IAM角色或策略授权:请授予IAMiam:agencies:*权限。
查询DLI队列或弹性资源池的资源账单,包含以下三步操作: 在DLI云服务控制台获取资源名称。 根据DLI资源名称,在“我的资源”页面根据资源名称查看资源ID。(资源名称不唯一,因此建议使用名称查询指定的资源ID后再查看账单。) 根据上报账单的资源ID在费用中心查看资源账单。
关于如何创建OBS桶并上传数据,请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。 填写Kerberos认证信息,详细参数说明请参考表2。 表2 参数说明 参数 参数说明 类型 选择kerberos。