检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表相关API(废弃) 创建表(废弃) 删除表(废弃) 查询所有表(废弃) 描述表信息(废弃) 预览表内容(废弃) 获取分区信息列表(废弃) 父主题: 资源相关API(废弃)
使用AOM监控DLI服务 配置DLI对接AOM Prometheus监控 DLI对接AOM Prometheus监控的配置项 DLI支持的Prometheus基础监控指标
弹性资源池CU设置 CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围,避免无限制的资源扩容风险。
查看弹性资源池扩缩容历史 在DLI管理控制台左侧,选择“资源管理 > 弹性资源池”。 选择需要查看的弹性资源池,单击“操作”列“更多”中的“扩缩容历史”。 在“扩缩容历史”页面,选择日期范围,查看CUs资源使用趋势。
在DLI控制台管理数据库资源 在DLI控制台配置数据库权限 在DLI控制台删除数据库 在DLI控制台修改数据库所有者 库表管理标签管理 父主题: 创建数据库和表
创建弹性资源池 功能介绍 创建弹性资源池。 调试 您可以在API Explorer中调试该接口。
表2 弹性资源池扩缩容CU分配场景说明(有任务场景) 场景 弹性资源池实际CUs 队列A资源分配 队列B资源分配 弹性资源池CU数分配说明 弹性资源池添加了两个队列,分别为队列A和队列B。
查询所有弹性资源池 功能介绍 查询所有弹性资源池。 调试 您可以在API Explorer中调试该接口。
父主题: 使用AOM监控DLI服务
各云服务之间存在业务交互关系,一些云服务需要与其他云服务协同工作,需要您创建云服务委托,将操作权限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。
所有资源:授权后,IAM用户可以根据权限使用账号中所有资源,包括企业项目、区域项目和全局服务资源。 全局服务资源:全局服务部署时不区分区域,访问全局级服务,不需要切换区域,全局服务不支持基于区域项目授权。如对象存储服务(OBS)、内容分发网络(CDN)等。
典型场景示例:创建弹性资源池并运行作业 本章节主要介绍从创建弹性资源池、创建增强型跨源、添加队列到弹性资源池并运行作业的一个完整流程,帮助您更好、更方便的使用弹性资源池。
OBS表表示数据存储在OBS服务的桶中。 DLI表表示数据存储在本服务内部的表中。 CloudTable表表示数据储存在CloudTable服务的表中。 可通过DLI创建表,与其他服务的数据进行关联,以此来实现不同数据源的联合查询分析。
欠费后影响 当您的账号因按需资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,资源进入宽限期,不能在DLI服务中提交作业,包括SQL作业,Spark作业和Flink作业。
通过账单查找云服务资源并停止计费(适用于按需的计算资源) 使用DLI资源ID查找资源时,包含以下操作: 在费用中心账单中获取DLI资源ID。 并根据账单中资源ID查看资源名称。 根据资源名称在DLI云服务的控制台查找资源。 删除资源将资源停止计费。
提升OBS committer小文件写性能 提升对象存储服务(OBS)在处理小文件写入时的性能,提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 表相关API(废弃)
详细委托包含的权限请参考配置DLI云服务委托权限。 创建执行作业所需的计算资源和元数据 使用DLI提交作业前,您需要先创建弹性资源池,并在弹性资源池中创建队列,为提交作业准备所需的计算资源。请参考DLI弹性资源池与队列简介创建弹性资源池并添加队列。
选择“组件管理”页签; 单击进入“Zookeeper”服务; 选择“实例”页签,可以查看对应业务IP,可选择任意一个业务IP。 参考修改主机信息修改主机信息。 如果MapReduce服务集群存在多个IP,创建跨源连接时填写其中任意一个业务IP即可。
请在设置委托的授权范围时分别对OBS权限和DLI权限授权范围: OBS权限请选择“全局服务资源” DLI权限选择“指定区域项目资源” { "Version": "1.1", "Statement": [ { "Effect":