检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataSource和Hive两种语法创建OBS表的区别 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异。两种语法创建OBS表主要差异点参见表1。 表1 DataSource语法和Hive语法创建OBS表的差异点 语法 支持的数据类型范围 创建分区表时分区字段差异
SQL编辑器 提供执行SQL语句操作的界面指导，包含SQL编辑器界面基本功能介绍、快捷键以及使用技巧等说明。 Spark SQL作业管理 提供SQL作业管理界面功能介绍。 Spark SQL模板管理 DLI支持定制模板或将正在使用的SQL语句保存为模板，便捷快速的执行SQL操作。 开发指导
具体请参考《数据湖探索用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，用户可以根据实际需求调整及优化Spark服务，支持各种接口调用。 MRS的这种模式提供了更高的自由度和定制性，适合有大数据处理经验的用户使用。 具体请参考《MapReduce服务开发指南》。
示例3：使用CTAS将源表的全部数据或部分数据创建新的OBS非分区表 示例说明：根据示例1：创建OBS非分区表中创建的OBS表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即
DLI允许用户提交编译为Jar包的Flink作业，提供了更高的灵活性和自定义能力，适合需要进行复杂数据处理的场景。 当社区版Flink提供的Connector不能满足特定需求时，用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。 适合需要实现UDF（用户定义函数）或特定库集成的场景，用
示例3：使用CTAS将源表的全部数据或部分数据创建新的DLI表 示例说明：根据示例1：创建DLI非分区表中创建的DLI表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即不
创建VPC和子网的操作指导请参考创建虚拟私有云和子网，如果需要在已有VPC上创建和使用新的子网，请参考为虚拟私有云创建新的子网。 创建的VPC与使用的Kafka服务应在相同的区域。 创建VPC和子网时，如无特殊需求，配置参数使用默认配置即可。 创建安全组的操作指导请参考创建安
SDK的获取与安装 Java SDK安装方式 您可以通过以下两种方式安装Java SDK。 导入Maven依赖，适用于使用Maven管理的Java项目。具体操作请参考方法一：通过Maven安装DLI SDK依赖。 在集成开发环境中导入JAR文件，适用于使用Eclipse作为集成开
凭据名称：待创建凭据的名称。本例名称为secretInfo。 凭据值：配置RDS实例的用户名和密码。 第一行凭据值的键为MySQLUsername，值为RDS实例的用户名。 第二行凭据值的键为MySQLPassword，值为RDS实例的密码。 图1 设置凭据值 按需完成其他参数的配置后，单击“确定”保存凭据。
S，为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用： 存储费用：静态网站文件存储在OBS中产生的存储费用。 请求费用：用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用：用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的
使用DLI分析电商BI报表 应用场景 某电商商城在保持高速发展的同时，沉淀了数亿的忠实用户，积累了海量的真实数据。如何利用BI工具从历史数据中找出商机，是大数据应用在精准营销中的关键问题，也是所有电商平台在做智能化升级时所需要的核心技术。 本案例以某商城真实的用户、商品、评论数据
S，为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用： 存储费用：静态网站文件存储在OBS中产生的存储费用。 请求费用：用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用：用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的
SQL作业如何指定表的部分字段进行表数据的插入 如果需要将数据插入到表中，但只想指定部分字段，可以使用INSERT INTO语句结合SELECT子句来实现。 但是DLI目前不支持直接在INSERT INTO语句中指定部分列字段进行数据插入，您需要确保在SELECT子句中选择的字段数量和类
是 DLI服务的队列名称。 dli_test database 是 数据目录名称。默认使用dli数据目录。 如果使用Lakeformation元数据，填写具体的数据目录名称。 dli schema 是 提交作业使用的DLI的数据库名称。 tpch 步骤3：测试使用DBT提交作业至DLI
Flink作业”，在作业列表中选择待操作的Flink OpenSource SQL作业。 单击操作列的“编辑”，进入作业编辑页面。 在右侧的“运行参数”配置区域，选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时，需要在自定义配置中配置委托信息，其中key为"flink.dli.job.agency
使用Flink Jar读写DIS开发指南 概述 本节操作介绍基于Flink 1.12版本的Flink Jar作业读写DIS数据的操作方法。 Flink 1.12版本Flink Opensource SQL作业不支持使用DLI提供的connector读写DIS，因此推荐您使用本节操作提供的方法。
项目编号，用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 被查询的表所在的数据库名称。 table_name 是 String 被查询的表名称。 user_name 是 String 被查询的用户名称。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选
与其他云服务的关系 与对象存储服务（OBS）的关系 对象存储服务（Object Storage Service）作为DLI的数据来源及数据存储，与DLI配合一起使用，关系有如下四种。 数据来源：使用DLI服务提供API，将OBS对应路径的数据导入到DLI。 具体API请参考《导入数据》。
安装了tensorflow的自定义镜像，在DLI作业中使用该镜像运行作业。 准备容器环境。 请参考安装容器引擎文档中的“安装容器引擎”章节。 使用root用户登录1容器镜像环境，执行以下命令获取DLI的基础镜像。 本示例使用Spark基础镜像为例，使用docker pull方式下载基础镜像到1中的容器镜像环境。
用户注册华为账号并开通华为云。账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
