-
创建IAM用户并授权使用DLI - 数据湖探索 DLI
创建用户组并授权 在IAM控制台创建用户组,并授予DLI服务普通用户权限“DLI ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择数据湖
-
标示符 - 数据湖探索 DLI
output_format_classname partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression row_format
-
怎样查看弹性资源池和作业的资源使用情况? - 数据湖探索 DLI
怎样查看作业所需的资源CUs数? SQL作业: 请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数,并根据作业数量判断SQL作业整体的资源占用情况。 Flink 作业: 登录DLI管理管理控制台。 选择“作业管理 > Flink作业”。 单击作业名称进入作业详情页面。
-
Over聚合 - 数据湖探索 DLI
WINDOW:WINDOW 子句可用于在 SELECT 子句之外定义 OVER 窗口。它让查询可读性更好,也允许多个聚合共用一个窗口定义。 示例 查询为每个订单计算前一个小时之内接收到的同一产品所有订单的总金额。 1 2 3 4 5 6 7 SELECT order_id, order_time,
-
创建CSS类型跨源认证 - 数据湖探索 DLI
下载CSS安全集群的认证凭证。 登录CSS服务管理控制台,单击“集群管理”。 在“集群管理”页面中,单击对应的集群名称,进入“基本信息”页面。 单击“安全模式”后的下载证书,下载CSS安全集群的证书。 将认证凭证上传到OBS桶。 关于如何创建OBS桶并上传数据,请参考《对象存储服务快速入门》。 创建跨源认证。
-
更新表分区信息(只支持OBS表) - 数据湖探索 DLI
分区目录名称必须按照指定的格式输入,即“tablepath/partition_column_name=partition_column_value”。 示例 下述两语句都将更新表ptable在元数据库中的分区信息。 1 MSCK REPAIR TABLE ptable; 或 ALTER TABLE ptable
-
创建Flink Jar作业 - 数据湖探索 DLI
创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见云审计服务支持的DLI操作列表说明。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建Flink Jar作业 在DLI管理控制台的左侧导
-
更新表分区信息(只支持OBS表) - 数据湖探索 DLI
分区目录名称必须按照指定的格式输入,即“tablepath/partition_column_name=partition_column_value”。 示例 下述两语句都将更新表ptable在元数据库中的分区信息。 1 MSCK REPAIR TABLE ptable; 或 ALTER TABLE ptable
-
java样例代码 - 数据湖探索 DLI
将写好的代码文件生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《
-
CSS安全集群配置 - 数据湖探索 DLI
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能,开启安全模式后,将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时,需要先进行以下准备工作。 选择CSS Elasticsearch
-
Flink作业模板相关 - 数据湖探索 DLI
已参考初始化DLI客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下: 1 2 3 4 5 6 public static void createFlinkJobTemplate(DLIClient
-
购买套餐包 - 数据湖探索 DLI
的方式继续使用。 购买套餐包 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 在队列管理页面,单击“购买套餐包”。 在“购买套餐包”页面设置相关参数。 表1 参数说明 参数名称 描述 区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
-
DLI控制台总览 - 数据湖探索 DLI
DLI控制台总览 数据探索服务控制台总览页为您提供数据湖探索服务使用流程及队列资源使用情况总览。 使用流程简介 数据湖探索服务使用流程简介: 创建队列 队列是DLI的计算资源:SQL队列和通用队列。SQL队列支持提交Spark SQL作业,通用队列支持Spark程序、Flink opensource
-
JDBC源表 - 数据湖探索 DLI
partition.lower-bound 否 无 Integer 第一个分区的最小值。分区扫描参数,具体请参考分区扫描功能介绍。 scan.partition.upper-bound 否 无 Integer 最后一个分区的最大值。分区扫描参数,具体请参考分区扫描功能介绍。 scan
-
注册华为账号并开通华为云 - 数据湖探索 DLI
使用数据湖探索功能,建议先进行委托权限设置。 第一次登录时进行设置后,后续无需重复设置。如果需要进行调整,可在“全局配置”>“服务授权”中进行修改。 登录DLI管理控制台,选择“全局配置”>“服务授权”。 进入管理控制台,进入“服务授权”页面,参考表1,根据需要勾选对应委托权限,单击“更新委托权限”。
-
SQL作业管理 - 数据湖探索 DLI
在“SQL作业”页面,选中一条作业,单击该作业对应的,可查看该条作业的详细信息。 不同类型的作业,显示的作业详情不同。作业详情根据作业类型、状态和配置选项不同显示可能存在差异,具体以实际界面显示为准。以导入数据作业,建表作业和查询作业为例说明。其他作业类型支持查看的详细信息请以控制台信息为准。 导入数据(load
-
在Spark SQL作业中使用UDF - 数据湖探索 DLI
调试,编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。 6 验证和使用DLI的UDF函数 DLI控制台 在DLI作业中使用创建的UDF函数。 操作步骤
-
计费样例 - 数据湖探索 DLI
基于此案例,可详细计算出按需计费和包年/包月两种不同的计费模式的消费情况。 此案例中的单价仅为示例,且计算出的费用为估算值。单价的变动和实际场景中计算出来的费用可能会有偏差。请以华为云官网发布的数据为准。 计费模式 计算规则 付费周期 费用计算 按需计费(专属) 计算费用:计算费用=单价*CU数*小时数 1个月 计算费用:0
-
创建SQL防御规则 - 数据湖探索 DLI
SQL队列请在SparkUI界面查看Spark引擎版本。 同一个队列,同一个动作的防御规则仅支持创建一条。 每条规则可以关联50个SQL队列。 单个Project最多可以创建1000条规则。 创建SQL防御规则 登录DLI管理控制台。 选择“全局配置 > SQL防御”,打开SQL防御页面。
-
DWS Connector概述 - 数据湖探索 DLI
DWS Connector概述 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQ