SQL作业相关API 提交SQL作业(推荐) 取消作业(推荐) 查询所有作业 预览SQL作业查询结果 导出查询结果 查询作业状态 查询作业详细信息 检查SQL语法 查询作业执行进度信息
使用DLI提交SQL作业 创建并提交SQL作业 导出SQL作业结果 配置SQL防御规则 设置SQL作业优先级 查询SQL作业日志 管理SQL作业 查看SQL执行计划 创建并管理SQL作业模板
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题: 创建数据库和表
或者创建IAM子用户,将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还提供了作业管理功能,包括编辑、启动、停止、删除作业,以及导出和导入作业。您可以利用这些功能来定期维护和管理作业。 父主题: DLI产品咨询类
修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) 导入数据相关语法 导入数据 插入数据相关语法 插入数据 清空数据相关语法 清空数据 导出查询结果相关语法 导出查询结果 跨源连接HBase表相关语法 创建表关联HBase 插入数据至HBase表 查询HBase表 跨源连接OpenTSDB表相关语法
新建Maven工程,配置pom文件 IntelliJ IDEA 参考操作步骤说明,编写UDTF函数代码。 2 编写UDTF函数代码 3 调试,编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDTF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDTF函数 DLI控制台
ve语法创建OBS表》。 备份数据:使用DLI提供导出API,将DLI的数据导出到OBS中备份。 具体API请参考《导出数据》。 存储查询结果:DLI提供API供用户将日常作业的查询结果数据保存到OBS。 具体API请参考《导出查询结果》。 与统一身份认证服务(IAM)的关系 统一身份认证服务(Identity
database alterDatabaseOwner 创建表 table createTable 删除表 table deleteTable 导出表数据 table exportData 导入表数据 table importData 修改表的所有者 table alterTableOwner
配置DLI读写外部数据源数据 配置DLI读写外部数据源数据的操作流程 配置DLI与数据源网络连通(增强型跨源连接) 使用DEW管理数据源访问凭证 使用DLI的跨源认证管理数据源访问凭证 管理增强型跨源连接 典型场景示例:配置DLI与内网数据源的网络联通 典型场景示例:配置DLI 与公网网络连通
新建Maven工程,配置pom文件 IntelliJ IDEA 参考样例代码说明,编写程序代码读取OBS数据。 4 编写程序代码 5 调试,编译代码并导出Jar包 6 上传Jar包到OBS和DLI OBS控制台 DLI控制台 将生成的Spark Jar包文件上传到OBS目录下和DLI程序包中。
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
迁移外部数据源数据至DLI 迁移数据场景概述 使用CDM迁移数据至DLI 典型场景示例:迁移Hive数据至DLI 典型场景示例:迁移Kafka数据至DLI 典型场景示例:迁移Elasticsearch数据至DLI 典型场景示例:迁移RDS数据至DLI 典型场景示例:迁移DWS数据至DLI
查看元数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面查看元数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”,选择“表属性”,即可在“元数据”页签查看该表的元数据信息。
Flink镜像的版本。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。
自定义CSS数据源名称。例如当前配置为“source_css”。 Elasticsearch服务器列表 单击输入框旁边的“选择”按钮,选择当前CSS集群即可自动关联出来Elasticsearch服务器列表。 安全模式认证 如果所需连接的CSS集群在创建时开启了“安全模式”,该参数需设置为“是”,否则设置为“否”。
DWS结果表 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
查看作业详情:查看此作业的作业详情。 更新作业:编辑修改此作业。 删除作业:删除此作业。 启动作业:启动该作业权限。 停止作业:停止该作业。 导出作业:导出该作业。 赋权:当前用户可将作业的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该作业的权限,但不能回收该作业所有者的权限。
创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题: 配置DLI读写外部数据源数据
Flink镜像的版本。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。
partition_specs 格式 partition_specs : (partition_col_name = partition_col_value, partition_col_name = partition_col_value, ...); 说明 表的分区列表,以k
您即将访问非华为云网站,请注意账号财产安全