检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加列 功能描述 添加一个或多个新列到表上。 语法格式 1 ALTER TABLE [db_name.]table_name ADD COLUMNS (col_name1 col_type1 [COMMENT col_comment1], ...); 关键字 ADD COLUMNS:添加列。
table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 向表中添加分区时,此表和分区列(建表时PARTITIONED BY指定的列)必须已存在,而所要添加的分区不能重复添加,否则将出错。已添加的分区可通过IF NOT EXISTS避免报错。
批量添加资源标签 功能介绍 批量添加资源标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resource_typ
手动在OBS表的分区目录下添加了数据,但是无法查询到数据怎么办? 问题现象 手动在OBS表的分区目录下上传了分区数据,但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。具体操作如下: MSCK REPAIR TABLE
单击“标签”页签,显示当前作业的标签信息。 图1 管理作业标签 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框。 在“添加/编辑标签”对话框中配置标签参数。 图2 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管
方法一: 选择待添加的增强型跨源连接,单击操作列的“路由信息”。 单击“添加路由”。 在添加路由的对话框中,填写路由信息。参数说明请参考表1。 单击“确定”。 方法二: 选择待添加的增强型跨源连接,单击操作列的“更多 > 添加路由”。 在添加路由的对话框中,填写路由信息。参数说明请参考表1。
队列扩缩容策略完成后续操作。 在弹性资源池中添加队列 创建完弹性资源池后,弹性资源池需要添加一个或多个队列用于后续作业的运行。本节操作介绍在弹性资源池中添加队列的操作步骤。 添加到弹性资源池中的队列不再单独计费,以弹性资源池为计费项计费。 当弹性资源池添加队列时会引起弹性资源CUs扩缩容变化。
准备一个linux弹性云服务器ECS,用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。
开始进行如下操作前,请务必参考准备工作完成必要操作。 表1 使用DLI提交SQL作业查询OBS数据的操作步骤 操作步骤 说明 步骤1:上传数据至OBS 使用DLI查询数据前,需要将数据文件上传至OBS中。 步骤2:创建弹性资源池并添加队列 创建提交作业所需的计算资源。 步骤3:创建数据库
SQL作业 操作场景 华为云数据治理中心DataArts Studio提供了一站式数据治理平台,可以实现与DLI服务的对接,从而提供统一的数据集成、数据开发服务,方便企业对全部数据进行管控。 本节操作介绍在DataArts Studio开发DLI SQL作业的操作步骤。 开发流程
LI在其他云服务中代表用户或服务执行操作,才能够在执行作业时读写数据、执行特定操作。 DLI委托可以确保DLI在跨源分析场景中安全、有效地访问其他云服务。 发布区域:全部 创建DLI自定义委托 OBS 2.0支持 自定义镜像 DLI支持容器部署的集群。在容器集群中,Spark作业
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
删除增强型跨源连接 操作场景 本节操作介绍在控制台删除不再使用的增强型跨源连接的操作步骤。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待删除的增强型跨源连接,单击操作列的“删除”。 单击“是”,删除增强型跨源连接。 父主题: 管理增强型跨源连接
跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理”页面,单击“操作”列“更多”中的“测试地址连通性”,验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考测试地址连通性。 用户运行Flink
集成、转换到分析的整个数据生命周期管理,适用于大规模数据分析项目和复杂的数据分析场景。 本节操作介绍DBT连接DLI的操作步骤。 操作前准备 环境要求 确保您的系统环境满足以下要求。 操作系统:Windows 或 Linux DBT是一个基于Python的工具,请确保已安装了Python。
单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页,选择要操作的弹性资源池,单击操作列的“添加队列”。 配置队列的基础配置,具体参数信息如下。 表4 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。
BI是一款企业级数据分析工具。支持数据可视化、报表制作、数据分析和决策支持的功能,帮助企业洞察业务数据,提升决策效率。 本节操作介绍YongHong BI连接DLI的操作步骤。 操作前准备 环境要求: 已安装YongHong BI。 DLI的JDBC驱动: 单击dli-jdbc-x.x.x.j
业跨源访问RDS的表数据。 操作流程 使用DLI提交SQL作业查询RDS MySQL数据操作流程如表1所示。 开始进行如下操作前,请务必参考准备工作完成必要操作。 表1 使用DLI提交SQL作业查询RDS MySQL数据的操作流程 操作步骤 说明 步骤1:创建RDS MySQL实例
相应的编辑和定制。获取DLI样例代码。 操作流程 使用DLI提交Spark Jar作业的操作流程如表1所示。 开始进行如下操作前,请务必参考准备工作完成必要操作。 表1 使用DLI提交Spark Jar作业的操作流程 操作步骤 说明 步骤1:上传数据至OBS 准备Spark Jar作业程序包并上传至OBS。
据写入到RDS中。操作流程如操作流程所示。 开始进行如下操作前,请务必参考准备工作完成必要操作。 表1 使用DLI提交SQL作业查询RDS MySQL数据的操作流程 操作步骤 说明 步骤1:准备数据源通道 本样例场景需要创建Kafka实例作为数据源通道。 步骤2:准备数据输出通道