-
如何实现跨区域访问数据 - 数据湖探索 DLI
如何实现跨区域访问数据 打通不同区域间的VPC网络,具体请参考《跨区域同账号VPC互通》或《跨区域跨账号VPC互通》。 在DLI中创建增强型跨源链接,绑定队列。具体请参考《增强型跨源连接》。 添加DLI的路由。具体请参考《增强型跨源连接》。 父主题: 跨源分析问题
-
迁移Elasticsearch数据至DLI - 数据湖探索 DLI
公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的CSS服务时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。
-
如何实现跨数据源查询 - 数据湖探索 DLI
如何实现跨数据源查询 跨数据源查询步骤如下: 假设数据存放在华为云上多个不同的地方,例如存放在OBS上。 在DLI中创建数据表,数据表对应的位置配置为数据所在的位置,例如OBS的某个桶路径(该数据实际还是在OBS中,不用迁移)。 在DLI中编写SQL直接查询分析这些数据。 父主题:
-
DWS维表 - 数据湖探索 DLI
请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型
-
DWS维表 - 数据湖探索 DLI
请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型
-
MRS配置 - 数据湖探索 DLI
conf文件。 创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例,具体的流程是: 远程登录ECS,通过hbase shell命令查看表信息。其中,“hbtest”是要查询的表名。 describe 'hbtest' (可选)如果不
-
迁移Hive数据至DLI - 数据湖探索 DLI
互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的MRS、DWS等服务时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通
-
如何查看DLI Spark作业的实际资源使用情况 - 数据湖探索 DLI
此处才会显示对应的内容。创建Spark作业请参考《创建Spark作业》。 图1 查看Spark作业原始资源配置 查看Spark作业实时运行资源 查看Spark作业实时运行资源,即查看有多少CU正在运行。 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中
-
Flink作业提交错误,如何定位 - 数据湖探索 DLI
Flink作业提交错误,如何定位 在Flink作业管理页面,将鼠标悬停到提交失败的作业状态上,查看失败的简要信息。 常见的失败原因可能包括: CU资源不足:需扩容队列。 生成jar包失败:检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误,可以进一步单击作业名称,进入
-
使用Livy提交Spark Jar作业 - 数据湖探索 DLI
单击下载链接,获取DLI Livy工具压缩包。 使用WinSCP工具,将获取的工具压缩包上传到准备好的ECS服务器目录下。 使用root用户登录ECS服务器,执行以下命令安装DLI Livy工具。 执行以下命令创建工具安装路径。 mkdir livy安装路径 例如新建路径/opt/livy:mkdir
-
数据权限列表 - 数据湖探索 DLI
Privilege在进行数据库和表赋权或回收权限时,DLI支持的权限类型如下所示。 DATABASE上可赋权/回收的权限: DROP_DATABASE(删除数据库) CREATE_TABLE(创建表) CREATE_VIEW(创建视图) EXPLAIN(将SQL语句解释为执行计划) CREATE_ROLE(创建角色)
-
DLI如何访问OBS桶中的数据 - 数据湖探索 DLI
DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。
-
MRS OpenTSDB输出流 - 数据湖探索 DLI
确保MRS的集群已经安装了OpenTSDB。 该场景作业需要运行在DLI的独享队列上,因此要与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
-
MRS OpenTSDB输出流 - 数据湖探索 DLI
确保MRS的集群已经安装了OpenTSDB。 该场景作业需要运行在DLI的独享队列上,因此要与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
-
创建中间流 - 数据湖探索 DLI
创建中间流 功能描述 中间流用来简化sql逻辑,若sql逻辑比较复杂,可以写多个sql语句,用中间流进行串接。中间流仅为逻辑意义上的流,不会产生数据存储。 语法格式 1 CREATE TEMP STREAM stream_id (attr_name attr_type (',' attr_name
-
创建中间流 - 数据湖探索 DLI
创建中间流 功能描述 中间流用来简化sql逻辑,若sql逻辑比较复杂,可以写多个sql语句,用中间流进行串接。中间流仅为逻辑意义上的流,不会产生数据存储。 语法格式 1 CREATE TEMP STREAM stream_id (attr_name attr_type (',' attr_name
-
如何判断当前DLI队列中的作业是否有积压? - 数据湖探索 DLI
CES”,进入云监控服务控制台。 在左侧导航栏选择“云服务监控 > 数据湖探索”,进入到云服务监控页面。 在云服务监控页面,“名称”列对应队列名称,单击对应队列名称,进入到队列监控页面。 在队列监控页面,分别查看以下指标查看当前队列的作业运行情况。 “提交中作业数”:展示当前队列中状态为“提交中”的作业数量。
-
在DataArts Studio上运行DLI SQL脚本,执行结果报org.apache.hadoop.fs.obs.OBSIOException错误 - 数据湖探索 DLI
在DataArts Studio上运行DLI SQL脚本,执行结果报org.apache.hadoop.fs.obs.OBSIOException错误 问题现象 在DataArts Studio上运行DLI SQL脚本,执行结果的运行日志显示语句执行失败,错误信息为: DLI.0999:
-
如何获取DLI作业样例(Demo) - 数据湖探索 DLI
如何获取DLI作业样例(Demo) 为了方便用户更好地使用DLI,DLI服务提供了供作业开发的Demo样例,您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下: dli-flink-demo:开发Flink作业时的样例代码参考。例如,样例代码实现读取Kafka源表数据写
-
Flink作业重启后,如何保证不丢失数据? - 数据湖探索 DLI
而,也可以通过Flink作业列表“操作”列中的“更多”>“导入保存点”,导入OBS中最新成功的Checkpoint,并从中恢复。 图3 停止作业 图4 恢复保存点 父主题: 性能调优