检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
musicTable(表管理和使用权限) userTable(表管理和使用权限) userTable(表查询权限) 队列的使用权限包括提交作业和终止作业两个权限。 父主题: 权限管理
BI连接DLI进行数据查询和分析 介绍YongHong BI连接DLI的操作步骤。 配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 介绍PowerBI基于Kyuubi连接DLI,以访问和分析DLI中的数据的操作步骤。 配置Fine BI通过Kyuubi连接DLI进行数据查询和分析 介绍Fine
同时勾选“异常自动重启”,并勾选“从Checkpoint恢复”。配置后,作业异常重启,会从最新成功的Checkpoint文件恢复内部状态和消费位点,保证数据不丢失及聚合算子等内部状态的精确一致语义。同时,为了保证数据不重复,建议使用带主键数据库或者文件系统作为目标数据源,否则下
进入DataArts Studio数据开发页面 步骤1:创建数据库和表 开发创建数据库和表的SQL脚本 数据库和表是SQL作业开发的基础,在执行作业前您需要根据业务场景定义数据库和表。 本节操作介绍提交SQL脚本创建数据库和表的操作步骤。 在DataArts Studio数据开发页面,选择左侧导航栏的“数据开发
机发送消息通知,方便客户及时感知异常。 图4 作业异常告警 勾选“开启Checkpoint”,依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然失败时,能够从最近的Checkpoint进行状态恢复重启。 图5 checkpoint参数
的VPC和子网共享给账号B。在账号B接受共享以后,账号B可以查看到共享的VPC和子网,并可以使用该共享VPC和子网创建资源。 有关共享VPC的更多信息,请参见《虚拟私有云用户指南》的“共享VPC”相关内容。 DLI使用场景 企业IT管理账号创建VPC和子网,并将该VPC和子网共享
当前队列。 扩容属于耗时操作,在DLI“规格变更”页面执行扩容操作后,需要等待大约10分钟,具体时长和扩容的CU值有关,等待一段时间后,可以通过刷新“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALE_QUEUE”
如果只设定扩容或者缩容,只需创建一个弹性扩缩容定时任务。设定“任务名称”、“最终CUs”和“执行时间”即可,具体请参考表1。 如果需要同时设定扩容和缩容,则需要创建两个弹性扩缩容定时任务,分别设定扩容和缩容的“任务名称”、“最终CUs”和“执行时间”,具体请参考表1。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理
Hudi通过其写入客户端API提供了不同的操作,如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡,Hudi提供了一个hoodie.parquet.small.file.limit配置来设置最小文件大小。用户可以将该配
用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储
登录MRS的FusionInsight Manager界面。 在FusionInsight Manager界面,单击“主机”。在主机页面,分别获取MRS的“主机名称”和“业务IP”。 图2 FusionInsight Manager 参考修改主机信息修改主机信息。 父主题: 管理增强型跨源连接
保留当前最新版本 clean作业每天至少执行一次,可以2~4小时执行一次。 Hudi的MOR表和COW表都需要保证每天至少1次Clean,MOR表的Clean可以参考2.2.1.6小节和Compaction放在一起异步去执行。COW的Clean可以在写数据时自动判断是否执行。 父主题:
建议使用。 建议 事实表采用日期分区表,维度表采用非分区或者大颗粒度的日期分区 是否采用分区表要根据表的总数据量、增量和使用方式来决定。从表的使用属性看事实表和维度表具有的特点: 事实表:数据总量大,增量大,数据读取多以日期做切分,读取一定时间段的数据。 维度表:总量相对小,增量
具体的授权方式请参考创建IAM用户并授权使用DLI以及《如何创建子用户》和《如何修改用户策略》。 DLI ReadOnlyAccess 数据湖探索只读权限。 系统策略 Tenant Administrator 租户管理员。 操作权限:具有所有云服务的管理和使用权限。创建后,可通过ACL赋权给其他子用户使用。
什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。
什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。
产品规格 弹性资源池产品规格 弹性资源池为DLI作业运行提供所需的计算资源(CPU和内存)。弹性资源池的单位为CU,1CU包含1CPU和4GB内存。 您可以在弹性资源池中创建多个队列, 队列之间的计算资源支持共享。 通过合理设置队列的计算资源池分配策略,提高计算资源利用率。 DLI提供以下规格的计算资源,如表1所示。
弹性扩缩容。 本节操作仅适用于普通队列,不适用于弹性资源池队列。 约束与限制 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 目前只支持计费模式为“按需/CU时”和“按需/专属资源模式”的队列进行弹性扩缩容。 如果在“弹性扩缩容”页面提示“Status of queue
策略,实现对典型大SQL、低质量SQL的主动防御,包括事前提示、拦截和事中熔断,并不强制改变用户的SQL提交方式、SQL语法,对业务零改动且易落地。 DLI支持可视化配置SQL防御策略,同时可支持防御规则的查询和修改。 每个SQL引擎在进行SQL业务响应、执行过程中,基于SQL防御策略进行主动防御行为。
现海量数据的秒级交互式查询。 DLI+HetuEngine能够快速处理大规模数据集的查询请求,迅速和高效从大数据中提取信息,极大地简化了数据的管理和分析流程,提升大数据环境下的索引和查询性能。 TB级数据秒级响应: HetuEngine通过自动优化资源与负载的配比,能够对TB级数