检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的条数上限,则停止存储数据,以batch.size.entries为准,提交该批次的数据。 es.nodes.wan.only 是否仅通过域名访问es节点,默认为false。使用经典型跨源的连接地址作为es.nodes时,该参数需要配置为true;使用css服务提供的原始内网IP地址作为es
使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择数据湖探索,进入DLI主界面。如果在“队列管理”页面可以查看队列列表,但是单击右上角“购买队列”,无法购买DLI队列(假设当前权限仅包含DLI ReadOnlyAccess),表示“DLI ReadOnlyAccess”已生效。 在“服
续费相关的功能 包年/包月的DLI资源续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月的DLI资源从购买到被自动删除之前,您可以随时在DLI控制台为队列或弹性资源池续费,以延长资源的使用时间。 自动续费 开通自动续费后,DLI资源会在每次到期
在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面,填写具体的弹性资源池参数。 本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例
权限管理 在华为云上购买DLI资源后,如果您需要给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能
container:容器化集群(k8s) cu_spec 否 Integer 队列的规格大小。对于包周期队列,表示包周期部分的CU值;对于按需队列,表示用户购买队列时的初始值。 cu_scale_out_limit 否 Integer 当前队列弹性扩缩容的CU值上限。 cu_scale_in_limit
数据湖队列什么情况下是空闲状态? 队列空闲状态是指在DLI 作业管理中,该队列下均无SQL 作业运行,或者 Flink 作业运行、Spark 作业运行。 即一个自然小时内无作业运行,该自然小时为空闲状态。不会进行计费。 通常按需计费的队列,在空闲1h后计算资源会被释放,再次使用时
于等于弹性资源池的最大CU。 弹性资源池至少可以满足弹性资源池中所有队列按最小CU运行,尽量满足队列按最大CU运行。 规格(包周期CU):购买弹性资源池时选择的CU范围的最小值即弹性资源池规格。规格是包周期弹性资源池特有的。规格部分以包周期的计费,规格之外的部分按需计费。 数据库
计费方式自创建起按自然小时收费。按小时结算,小时数按整点计算。 扫描量计费=单价*扫描量数据(GB)。 套餐包:数据湖探索支持扫描数据量套餐包,购买了扫描数据量套餐包,按需使用过程中优先抵扣扫描数据量套餐包的规格额度,超过扫描数据量套餐包额度的按照按需计费。扫描数据量套餐的额度每个月会重置。
弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 弹性资源池至少可以满足弹性资源池中所有队列按最小CU运行,尽量满足队列按最大CU运行。 规格:购买弹性资源池时选择的CU范围的最小值即弹性资源池规格。规格是包周期弹性资源池特有的。规格部分以包周期的计费,规格之外的部分按需计费。 父主题:
产品规格 弹性资源池产品规格 弹性资源池为DLI作业运行提供所需的计算资源(CPU和内存)。弹性资源池的单位为CU,1CU包含1CPU和4GB内存。 您可以在弹性资源池中创建多个队列, 队列之间的计算资源支持共享。 通过合理设置队列的计算资源池分配策略,提高计算资源利用率。 DL
DLI的这种模式减轻了运维负担,可以更专注于数据处理和分析任务本身。 具体请参考《数据湖探索用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上,用户可以根据实际需求调整及优化Spark服务,支持各种接口调用。 MRS的这种模式提供了更高的自由度和定制性,适合有大数据处理经验的用户使用。
弹性资源池模式的通用队列和SQL队列不支持跨可用区。 使用方法:先创建弹性资源池,然后在弹性资源池中创建队列并分配计算资源,队列关联到具体的作业和数据处理任务。 购买弹性资源池并在弹性资源池中添加队列的具体操作步骤请参考创建弹性资源池并添加队列。 全局共享模式: 全局共享模式是一种根据SQL查询中实际扫
停止计费 包年/包月资源 对于包年/包月计费模式的资源,例如包年/包月的弹性资源池、包年/包月的队列等,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券
在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面,填写具体的弹性资源池参数。 本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例
在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面,填写具体的弹性资源池参数。 本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例
应用场景、基本概念和使用限制,有助于您更准确地匹配实际业务。 产品介绍 什么是DLI 应用场景 使用限制 与其他云服务的关系 03 入门 购买DLI队列后,您可以运行SQL作业和Spark作业,开启您的数据湖探索使用之旅。 使用前须知 准备工作 权限管理 入门操作指导 提交SQL作业
Studio资源环境准备 购买DataArts Studio实例 在使用DataArts Studio提交DLI作业前,需要先购买DataArts Studio实例。 具体操作请参考购买DataArts Studio基础包。 进入DataArts Studio实例空间 购买完成DataArts
业前配置DLI作业桶信息,否则SQL作业可能会提交失败。怎样查看SQL队列是否已开启作业结果保存至DLI作业桶? 操作前准备 配置前,请先购买OBS桶或并行文件系统。 大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object
连通,则表示跨源已经绑定成功;否则表示未成功。 购买ecs集群,并下载5.5.2版本的confluent(https://packages.confluent.io/archive/5.5/)和jdk1.8.0_232,并上传到购买的ecs集群中,然后使用下述命令解压(假设解压目录分别为confluent-5