检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Python SDK环境配置 操作场景 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual
数据赋权(用户或项目) 功能介绍 该API用于将数据库或数据表的数据权限赋给指定的其他用户或项目。 被赋权用户所在用户组的所属区域需具有Tenant Guest权限。 赋权给项目时,只可以赋权给相同租户下的相同区域的项目。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务
上传file类型分组资源(废弃) 功能介绍 该API用于在project下上传file类型模块。上传同名file模块时,新模块将会覆盖旧模块。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2.0/{pro
上传pyfile类型分组资源(废弃) 功能介绍 该API用于在project下的上传pyfile类型模块。上传同名pyfile类型模块时,新模块将会覆盖旧模块。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2
查询增强型跨源连接 功能介绍 该API用于查询该用户指定的已创建的增强型跨源连接。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource/enhanced-connections/{connection_id}
续使用。 购买套餐包 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 在队列管理页面,单击“购买套餐包”。 在“购买套餐包”页面设置相关参数。 表2 参数说明 参数名称 描述 区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
使用Spark SQL作业分析OBS数据 DLI支持将数据存储到OBS上,后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括:创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已
创建包含SELECT查询结果的新表。 使用CREATE TABLE创建空表。 使用IF NOT EXISTS子句时,如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性,如表的存储位置(location)、是不是外表(external)等。 示例 用指定列的查询结果创建新表orders_column_aliased:
order01 INCLUDING PROPERTIES; 创建表orders_like02,它将包含表order02定义的列,并将表的存储格式设置为‘TEXTFILE’ CREATE TABLE orders_like02 like order02 STORED AS TEXTFILE;
= true ); 示例6:创建textfile格式的非分区表,并设置ROW FORMAT 示例说明:本例创建名为table4的textfile类型的非分区表,并设置ROW FORMAT相关格式(ROW FORMAT功能只支持textfile类型的表)。
“show_detail”为“true”时独有。 最小值:2 最大值:400 默认为“2”。 parallel_number 否 Integer 用户设置的作业并行数。 “show_detail”为“true”时独有。 最小值:1 最大值:2000 默认为“1”。 restart_when_exception
数据赋权(用户)(废弃) 功能介绍 该API用于将数据库或数据表的数据权限赋给指定的其他用户。 被赋权用户所在用户组的所属区域需具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。 当前接口已废弃,不推荐使用。
ALTER_TABLE_RECOVER_PARTITION 恢复表分区 √ × √ √ ALTER_TABLE_SET_LOCATION 设置分区路径 √ × √ √ GRANT_PRIVILEGE 表的赋权 √ × √ √ REVOKE_PRIVILEGE 表权限的回收 √ ×
查询作业状态 功能介绍 该API用于在作业提交后查询作业状态。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/jobs/{job_id}/status 参数说明 表1 URI 参数 参数名称 是否必选 参数类型
查询作业详细信息 功能介绍 该API用于查询作业的详细信息,如作业的databasename、tablename、file size和export mode等信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET/v1.0/{project_i
获取分区信息列表(废弃) 功能介绍 该API用于用于获取分区信息的列表。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/t
使用DLI将CSV数据转换为Parquet数据 应用场景 Parquet是面向分析型业务的列式存储格式,这种格式可以加快查询速度,查询Parquet格式数据时,只检查所需要的列并对它们的值执行计算,也就是说,只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项
“show_detail”为“true”时独有。 最小值:2 最大值:400 默认为“2”。 parallel_number 否 Integer 用户设置的作业并行数。 “show_detail”为“true”时独有。 最小值:1 最大值:2000 默认为“1”。 smn_topic 否 String
下载并安装JDBC驱动 JDBC版本2.X版本功能重构后,仅支持从DLI作业桶读取查询结果,如需使用该特性需具备以下条件: 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。 2024年5月起,新用户可以直接使用DLI服务的“查询结果写入桶”功能,无需开通白名单。 对于2
查询所有表(废弃) 功能介绍 该API用于查询指定数据库下符合过滤条件的或所有的表信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/tables