-
程序包管理 - 数据湖探索 DLI
程序包管理 程序包管理概述 程序包组和程序包权限管理 创建程序包 删除程序包 修改所有者 内置依赖包 父主题: 数据管理
-
Flink作业管理 - 数据湖探索 DLI
Flink作业管理 Flink作业管理概述 Flink作业权限管理 准备Flink作业数据 (推荐)创建Flink OpenSource SQL作业 创建Flink SQL作业 创建Flink Jar作业 操作Flink作业 Flink作业详情 标签管理 开启Flink作业动态扩缩容
-
下载基础镜像 - 数据湖探索 DLI
下载基础镜像 DLI提供了不同版本的基础镜像。 表1 下载基础镜像 版本信息 下载地址 Spark 3.1.1 spark-3.1.1-1.0.0-x86_64.tar.gz Spark 2.4.5 spark-2.4.5-1.0.1-x86_64.tar.gz Flink 1.12
-
提交SQL作业(推荐) - 数据湖探索 DLI
作业包含以下类型:DDL、DCL、IMPORT、QUERY和INSERT。其中,IMPORT与导入数据(废弃)的功能一致,区别仅在于实现方式不同。 另外,用户可使用其他API来对作业进行查询和管理。具体操作有: 查询作业状态 查询作业详细信息 查询作业结果-方式二(废弃) 导出查询结果 查询所有作业
-
永洪BI创建数据集 - 数据湖探索 DLI
在永洪SaaS生产环境主页,单击左侧导航栏中的“创建数据集”,请参见图1。 图1 创建数据集 在“数据集类型”页面中,选择创建“SQL数据集”,请参见图2。 图2 创建SQL数据集 在“创建数据集”页面中,左侧“数据源”栏选择已添加的DLI数据源,请参见图3。 图3 选择数据源 左侧“表”栏中点
-
Hbase结果表 - 数据湖探索 DLI
立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
Hbase源表 - 数据湖探索 DLI
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase,请在
-
DIS输出流 - 数据湖探索 DLI
region 是 数据所在的DIS所在区域。 ak 否 访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证。 sk 否 Secret Access Key,与访问密钥ID结合使用的密钥。访问密钥获取方式请参见我的凭证。 channel 是 DIS通道。
-
删除队列 - 数据湖探索 DLI
在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待删除的队列,单击“操作”列的“删除”删除。 图1 删除队列 如果“操作”列的“删除”为灰色,表示当前用户没有删除队列的权限。您可以向管理员申请删除队列的权限。 在弹出的确认对话框中,单击“是”。 父主题: 队列管理
-
使用前必读 - 数据湖探索 DLI
使用前必读 弹性资源池概述 使用场景一:创建弹性资源池并运行作业 使用场景二:配置弹性资源池队列扩缩容策略 父主题: 弹性资源池
-
Hbase结果表 - 数据湖探索 DLI
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase,请在
-
DWS结果表 - 数据湖探索 DLI
该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 DWS结果表中不允许指定所有属性为PRIMARY
-
DWS结果表 - 数据湖探索 DLI
该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 DWS结果表中不允许指定所有属性为PRIMARY
-
CloudTable OpenTSDB输出流 - 数据湖探索 DLI
表格存储服务用户指南》。 前提条件 确保CloudTable的集群已经开启了OpenTSDB服务。 该场景作业需要运行在DLI的独享队列上,因此要与CloudTable HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
CloudTable OpenTSDB输出流 - 数据湖探索 DLI
表格存储服务用户指南》。 前提条件 确保CloudTable的集群已经开启了OpenTSDB服务。 该场景作业需要运行在DLI的独享队列上,因此要与CloudTable HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
CloudTable HBase输入流 - 数据湖探索 DLI
请参见《表格存储服务用户指南》。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与CloudTable HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组
-
DLI适用哪些场景 - 数据湖探索 DLI
DLI无需数据搬迁,对多数据源进行联邦分析。 数据分级存储:车企需要保留全量历史数据支撑审计类等业务,低频进行访问。温冷数据存放在低成本的对象存储服务OBS上,高频访问的热数据存放在数据引擎(CloudTable和DWS)中,降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩:对
-
创建DLI关联RDS表时,如果RDS表有自增主键或者其他自动填充的字段时,在DLI中插入数据时,对应字段如何填写? - 数据湖探索 DLI
创建DLI关联RDS表时,如果RDS表有自增主键或者其他自动填充的字段时,在DLI中插入数据时,对应字段如何填写? 在DLI中插入数据时,ID字段填写NULL。 父主题: 跨源分析问题
-
基础镜像组件说明 - 数据湖探索 DLI
基础镜像组件说明 基础镜像系统版本: euleros 2.9.3 基础镜像系统组件清单: 表1 基础镜像系统组件 系统组件 版本 python3 3.7.4 pip3 20.1.1 java 1.8.0_242 glibc 2.28-36.oe1 DLI基础镜像组件清单: 表2 DLI基础镜像组件
-
使用场景二:配置弹性资源池队列扩缩容策略 - 数据湖探索 DLI
最小CU之和=128-32-64=32CU。 因为两个队列的优先级相同,则剩余32CU随机分配给两个队列。 弹性资源池队列扩缩容策略配置 登录DLI控制台,参考创建弹性资源池创建一个最小CU数为128CU和最大CU数为256CU的弹性资源池。 单击“资源管理 > 弹性资源池”,在