检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业分析数据。 准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置
权限相关API 数据赋权(用户或项目) 查看赋权对象使用者权限信息
创建表时,会定义元数据,由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。 查看元数据步骤 查看元数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面查看元数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单
Connector列表 Connector概述 BlackHole ClickHouse DataGen Doris DWS Elasticsearch 对象存储OBS Hbase Hive Hudi JDBC Kafka MySql CDC Print Redis Upsert Kafka 父主题:
同用户,则需使用被授权项目所属的用户账号进行登录。 如果被授权的项目属于相同区域(region)的同一用户,则需使用当前账号切换到对应的项目下。 应用示例 项目B需要访问项目A上的数据源,对应操作如下。 对于项目A: 使用项目A对应的账号登录DLI服务。 通过对应数据源的VPC信
创建OBS表 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 父主题: 表相关
直接输入路径或单击选择OBS的路径,如果没有合适的桶可直接跳转OBS创建。 创建OBS表时指定的路径必须是文件夹,如果建表路径是文件将导致导入数据失败。 当OBS的目录下有同名文件夹和文件时,数据导入指向该路径会优先指向文件而非文件夹。 说明: 路径同时支持文件和文件夹。 obs://DLI/sampledata
在DLI控制台预览表数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。
正常使用。然而,对于涉及费用的操作,如新购资源、弹性资源池规格变更、续费订单等,用户将无法正常进行。 按需计费 当您的账号因按需DLI资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,资源进入宽限期,不能在DLI服务中提交作业,包括SQL作业,Spark作业和Flink作业。
用最小的时间代价体验serverless化的DLI产品,领略数据湖带给我们的全新体验。 注意事项 子账号使用TPC-H测试套件时,需要主账号为子账号赋权OBS访问权限和查看主账号表的权限;如果主账号未登录过DLI服务,子账号除上述权限外,还需要创建数据库和创建表的权限。 使用TPC-H样例模板开发并提交SQL作业
具有正在运行中的作业的数据库或者表不能删除。 管理员用户、表的所有者和具有删除表权限的用户可以删除表。 数据表删除后,将不可恢复,请谨慎操作。 删除表 删除表的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面删除表。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需
如果不配置,程序根据region参数来确定域名。 obsEndPoint 是 obs.cn-north-1.myhuaweicloud.com OBS服务的域名。 在地区和终端节点获取OBS对应区域的域名。 bucketName 是 - OBS上的桶名称。该桶用于存放Spark程序中使用
证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务,提供基于云监控服务的资源监控能力,帮助用户监控账号下的DLI队列,执行自动实时监控、告警和通知操作。用户可以实时掌握队列中的运行作业网络流入速率、网络流出速率、CPU使用率、内存使用率、磁
DLI服务所在区域的项目ID。 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
Python SDK环境配置 操作场景 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual
SQL作业相关 数据库相关 表相关 作业相关 父主题: Python SDK
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
0/{project_id}/jobs/submit-job 取消作业 cancelJob - DELETE /v1.0/{project_id}/jobs/{job_id} 查询所有作业 listAllJobs - GET /v1.0/{project_id}/jobs?page-size
Java SDK环境配置 Java开发环境配置 SDK的获取与安装 初始化DLI客户端 父主题: Java SDK