检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
pyspark样例代码 开发说明 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包
导入数据（废弃） 功能介绍 该API用于将数据从文件导入DLI或OBS表，目前仅支持将OBS上的数据导入DLI或OBS中。 当前接口已废弃，不推荐使用。 该API为异步操作。 导入数据时，可选择已存在的OBS桶路径或新建OBS桶路径，但只能指定一个OBS桶路径。 若需新建OBS桶，需遵守以下命名规则：
CREATE TABLE语句 语法定义 CREATE TABLE table_name ( { <column_definition> | <computed_column_definition> }[ , ...n] [ <watermark_definition>
Redis维表 功能描述 创建Redis表作为维表用于与输入流连接，从而生成相应的宽表。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
pyspark样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark
查询所有作业 功能介绍 该API用于查询当前project下的所有作业的信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/jobs 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id
创建表（废弃） 功能介绍 该API用于创建新的表。该接口是同步接口。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v1.0/{project_id}/databases/{database_name}/tables
pyspark样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的pyspark样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或
java样例代码 开发说明 本样例只适用于MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
导入数据 功能描述 LOAD DATA可用于导入CSV、Parquet、ORC、JSON、Avro格式的数据，内部将转换成Parquet数据格式进行存储。 语法格式 1 2 LOAD DATA INPATH 'folder_path' INTO TABLE [db_name.]table_name
Confluent Avro Format 功能描述 Avro Schema Registry (avro-confluent) 格式能让您读取被 io.confluent.kafka.serializers.KafkaAvroSerializer 序列化的记录，以及可以写入成能被
Maxwell Format 功能描述 Maxwell是一个CDC（Changelog Data Capture）工具，可以将MySql中的更改实时流式写入到Kafka等流式connector。Maxwell为changelog提供了统一的格式，而且支持使用JSON对消息进行序列化。
使用DLI分析账单消费数据 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上进行分析，找出费用优化的空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤：
scala样例代码 开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件
插入数据 功能描述 将SELECT查询结果或某条数据插入到表中。 约束限制 insert overwrite语法不适用于“自读自写”场景，该场景因涉及数据的连续处理和更新，如果使用insert overwrite语法可能存在数据丢失风险。 "自读自写"是指在处理数据时能够读取数据
scala样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者
权限管理 在华为云上购买DLI资源后，如果您需要给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能
DLI作业开发流程 本节内容为您介绍DLI作业开发流程。 创建IAM用户并授权使用DLI 如果您是企业用户，并计划使用IAM对您所拥有的DLI资源进行精细的权限管理，请创建IAM用户并授权使用DLI。具体操作请参考创建IAM用户并授权使用DLI。 首次使用DLI您需要根据控制台的
CREATE TABLE语句 功能描述 根据指定的表名创建一个表，如果同名表已经在 catalog 中存在了，则无法注册。 语法定义 CREATE TABLE [IF NOT EXISTS] [catalog_name.][db_name.]table_name ( {
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
