-
scala样例代码 - 数据湖探索 DLI
在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 构造依赖信息,创建SparkSession 导入依赖。 涉及到mvn依赖
-
scala样例代码 - 数据湖探索 DLI
方法查询的数据都为DataFrame对象,可以直接进行查询单条记录等操作(在“步骤4”中,提到将DataFrame数据注册为临时表)。 where where 方法中可传入包含and 和 or 的条件筛选表达式,返回过滤后的DataFrame对象,示列如下: 1 jdbcDF.where("id
-
pyspark样例代码 - 数据湖探索 DLI
前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现详解 import相关依赖包 1 2 3 from
-
Flink Opensource SQL使用DEW管理访问凭据 - 数据湖探索 DLI
隐私安全。 数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service,CSMS),提供一种安全、可靠、简单易用隐私数据加解密方案。 用户或应用程序通过凭据管理服务,创建、检索、更新、删
-
创建DLI表关联OpenTSDB - 数据湖探索 DLI
功能描述 使用CREATE TABLE命令创建DLI表并关联OpenTSDB上已有的metric,该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。管理控制台操作请参考经典型跨源连接和增强型跨源连接。
-
创建DLI表关联OpenTSDB - 数据湖探索 DLI
功能描述 使用CREATE TABLE命令创建DLI表并关联OpenTSDB上已有的metric,该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。管理控制台操作请参考经典型跨源连接和增强型跨源连接。
-
终端节点 - 数据湖探索 DLI
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区域名称 区域 终端节点(Endpoint)
-
认证 - 数据湖探索 DLI
令中IAM的Endpoint及消息体中的区域名称。 请求内容示例如下。 下面示例代码中的斜体字需要替换为实际内容,详情请参考《统一身份认证服务API参考》。 { "auth": { "identity": { "methods": [ "password"
-
如何申请扩大配额 - 数据湖探索 DLI
如何申请扩大配额 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 单击“申请扩大配额”。 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
-
最佳实践内容概览 - 数据湖探索 DLI
本指导从数据迁移、数据分析提供了完整的端到端最佳实践内容,帮助您更好的使用DLI进行大数据分析和处理。 数据迁移 您可以通过云数据迁移服务CDM轻松的将其他云服务或者业务平台的数据迁移至DLI。包括以下最佳实践内容: 迁移Hive数据至DLI,具体请参考迁移Hive数据至DLI。 迁移K
-
约束与限制 - 数据湖探索 DLI
约束与限制 您能创建的资源的数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见《如何申请扩大配额》。 更详细的限制请参见具体API的说明。 父主题: API使用前必读
-
Java SDK环境配置 - 数据湖探索 DLI
Java SDK环境配置 Java开发环境配置 SDK的获取与安装 初始化DLI客户端 父主题: Java SDK
-
SQL作业相关 - 数据湖探索 DLI
SQL作业相关 数据库相关 表相关 作业相关 父主题: Python SDK
-
修订记录 - 数据湖探索 DLI
执行批处理作业 查询所有批处理任务 2018-7-26 第四次正式发布。 增加Python SDK内容。 2018-04-23 第三次正式发布。 服务更名。 2018-02-24 第二次正式发布。 修改SDK的获取与安装章节中的下载地址。 2018-02-08 第一次正式发布。
-
图解数据湖探索 - 数据湖探索 DLI
图解数据湖探索
-
修订记录 - 数据湖探索 DLI
修订记录 发布日期 修订记录 2024-06-20 数据保护技术补充Spark作业和Flink作业开通加密通信配置说明。 2024-03-30 新增产品规格。 2024-03-04 权限管理,补充增强型跨源连接权限与系统权限的说明。 2023-09-18 约束与限制补充增强型跨源
-
对接HBase - 数据湖探索 DLI
对接HBase MRS配置 scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
-
对接CSS - 数据湖探索 DLI
对接CSS CSS安全集群配置 scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
-
使用JDBC提交Spark SQL作业 - 数据湖探索 DLI
使用JDBC提交Spark SQL作业 获取服务端连接地址 下载JDBC驱动包 认证 使用JDBC提交作业 JDBC API参考 父主题: SQL作业开发指南
-
Flink Opensource SQL1.10语法参考 - 数据湖探索 DLI
Flink Opensource SQL1.10语法参考 SQL语法约束与定义 Flink OpenSource SQL1.10语法概览 数据定义语句DDL 数据操作语句DML 函数