检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"lakeformation:database:create", "lakeformation:database:drop", "lakeformation:database:describe",
client. deleteFlinkJobInBatch(body); System.out.println(result); } 父主题: Java SDK
thon SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python SDK使用说明。 Spark作业相关 介绍提交Spark作业、取消Spark作业、删除Spark作业等Python SDK使用说明。 父主题: Python SDK
OBS,为了确保AKSK数据安全,您可以通过数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service,CSMS),对AKSK统一管理,有效避免程序硬编码或明文配置等问题导致的敏感信息泄露以及权限失控带来的业务风险。
dli_elastic_resource_pool:弹性资源池 dli_enhanced_datasource:增强型跨源连接 dli_database:数据库 dli_package_resource:资源包(不支持指定有Module ID的内置资源包) dli_flink_job:Flink作业
Boolean 判断用户是否为管理员。 user_name 否 String 用户名称,即该用户在当前数据库上有权限。 privileges 否 Array of Strings 该用户在数据库上的权限。 请求示例 无 响应示例 { "is_success": true,
在数据湖探索服务中创建表。 登录DLI控制台,左侧导航栏单击“SQL编辑器”,执行引擎选择“spark”,选择执行的队列和数据库。本次演示队列和数据库选择“default”。 下载的文件中包含时间用量等,按表头意义在DLI上创建表,具体可以参考如下示例,其中amount列为费用。
String 被赋权的数据对象,命名方式为: “databases.数据库名”,则数据库下面的所有数据都将被共享。 “databases.数据库名.tables.表名”, 指定的表的数据将被共享。 “databases.数据库名.tables.表名.columns.列名”,指定的列将被共享。
SQL作业”。 筛选执行队列为default队列,查看相应的作业。 单击展开作业,查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题: 计费相关问题
source/sinks参数说明 参数名称 是否必选 参数类型 说明 name 否 String 输入流或输出流名称。 records 否 Long 总记录数。 corrupted_records 否 Long 脏数据记录数。 示例 请求样例 { "job_ids": [298765, 298766]
计费样例 计费场景 某公司用户A申请了256CUs的弹性资源池,并将1TB数据存放在DLI表中。该公司想要了解采用哪种计费模式才是性价比最优的方式。 数据湖探索服务目前支持三种作业:SQL作业,Flink作业和Spark作业。SQL作业的计费包括存储计费和计算计费,Flink作业和Spark作业的计费只有计算计费。
激活任务 激活队列扩缩容定时任务。默认开启。如果关闭,则系统不会触发执行当前设置的定时规格变更任务。 有效期 设置执行定时任务的时间段。包括“日期”和“时间”。 说明: “有效期”中的“开始时间”需要晚于当前的系统时间。 如果只设置了扩容,在“有效期”结束之后,系统不会自动缩容,需要
SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关 介绍新建Flink作业、查询作业详情、查询作业列表等Java SDK使用说明。
限 dli_management_agency包含的三个权限中: IAM ReadOnlyAccess授权范围是全局服务资源,授权范围不区分区域: 任意区域在更新DLI委托时选择了该权限,那么所有区域的项目都将生效。 任意项目在更新委托时未勾选该权限,代表回收该权限,那么所有区域
mRecordsOut Task发出的记录总数 flink_taskmanager_job_task_numRecordsOutPerSecond Task每秒发出的记录总数 flink_taskmanager_job_task_operator_numRecordsIn Operator收到的记录总数
删除队列 根据实际使用情况,您可以通过删除操作释放队列。 如果待删除的队列中有正在提交或正在运行的作业,将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待删除的队列,单击“操作”列的“删除”删除。
请求执行是否成功。“true”表示请求执行成功。 message String 无 请求示例 更新跨源认证的名称为rds3。 { "auth_info_name": "rds3" } 响应示例 { "is_success": true, "message": "Update
登录DLI控制台,选择“作业管理”>“Flink作业”。 在Flink作业编辑页面,勾选“异常自动重启”。例如,图1所示。 图1 Flink SQL作业编辑界面 父主题: Flink作业咨询类
签将很容易帮助您对不同的应用进行使用量分析和成本核算。 对DLI来说,标签用于标识购买的队列和创建数据库,对购买的DLI队列和数据库进行分类。为队列或数据库添加标签时,该队列或数据库上所有请求产生的计费话单里都会带上这些标签,您可以针对话单报表做分类筛选,进行更详细的成本分析。
HetuEngine不支持通过IAM用户授权,需使用DLI资源授权。 解决方案 请参考《数据湖探索用户指南》中的数据库权限管理章节授予用户创建表的权限。 父主题: DLI权限管理类