检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何创建DDS实例,请参考《文档数据库服务快速入门》中“快速购买文档数据库实例”章节。 目前仅支持未开启SSL认证的集群实例,不支持副本集与单节点的类型实例。 该场景作业需要运行在DLI的独享队列上,请确保已创建DLI独享队列。
在“资源管理 > 队列管理”下,单击右上角“购买队列”,进入购买队列页面选择“通用队列”,即Spark作业的计算资源。 如果创建队列的用户不是管理员用户,在创建队列后,需要管理员用户赋权后才可使用。关于赋权的具体操作请参考《数据湖探索用户指南》。
在“资源管理 > 队列管理”下,单击右上角“购买队列”,进入购买队列页面选择“通用队列”,即Spark作业的计算资源。 如果创建队列的用户不是管理员用户,在创建队列后,需要管理员用户赋权后才可使用。关于赋权的具体操作请参考《数据湖探索用户指南》。
购买时长 选择购买套餐包的购买时长。 购买数量 设置购买套餐包的数量。 确认套餐信息后,勾选相关协议,单击“立即购买”。 计费示例 示例价格仅供参考,实际价格请以DLI产品价格详情中的信息为准。 更多示例参考DLI产品价格详情。
环境准备 已在DLI控制台购买了通用队列。 已购买了Kafka实例,并开启了SASL_SSL认证。 已在DLI创建增强型跨源并绑定队列,确保DLI队列和Kafka连通。
套餐包:DLI支持购买弹性资源池CU时套餐包,购买后在弹性资源池中提交作业按CU时计费。建议购买弹性资源池CU时套餐包和按需计费模式结合使用, 购买了弹性资源池CU时套餐包时,按需使用过程中优先抵扣弹性资源池CU时套餐包的规格额度,超过额度的使用量按照按需计费。
欠费原因 已购买套餐包,但使用量超出套餐包额度,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包,为什么仍然产生按需计费?识别产生按需计费的原因,并重新选择正确的套餐包或保证账户中的余额充足。 未购买套餐包,在按需计费模式下账户的余额不足。
单击“购买公网NAT网关”,配置NAT网关的相关信息。 详细请参考《NAT网关用户指南》中“购买公网NAT网关”。 图5 购买NAT网关 配置完成后,单击“立即购买”。 “虚拟私有云”为步骤1:创建VPC创建的VPC。 添加路由。 进入VPC的路由表,配置路由规则。
场景描述 本示例场景对用户购买商品的数据信息进行分析,将满足特定条件的数据结果进行汇总输出。购买商品数据信息为数据源发送到Kafka中,再将Kafka数据的分析结果输出到Elasticsearch中。
套餐包:数据湖探索支持购买存储量套餐包,按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。建议购买存储量套餐包和按需计费模式结合使用, 购买了存储量套餐包时,按需使用过程中优先抵扣存储量套餐包的规格额度,超过额度的使用量按照按需计费。存储套餐的额度每个小时会重置。
您可以在购买资源时开通自动续费,在购买资源时,自动续费周期以实际选择的续费时长为准。 在到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至到期或者续费成功。 开通自动续费后,还可以手动续费该资源。
单击“购买公网NAT网关”,配置NAT网关的相关信息。 详细请参考《NAT网关用户指南》中“购买公网NAT网关”。 图4 购买NAT网关 配置完成后,单击“立即购买”。 “虚拟私有云”为步骤1:创建VPC创建的VPC。 添加路由。 进入VPC的路由表,配置路由规则。
已购买套餐包,为什么仍然产生按需计费? 怎样查看套餐包资源的使用情况? 怎样查看DLI的数据扫描量? 按需计费的弹性资源池,如果没提交作业运行就不计费? 想要使用扫描套餐包计费,购买队列还要额外收费吗? 超出套餐包额度的使用量怎么收费?
手动停止了Flink作业,再次启动时怎样从指定Checkpoint恢复? 问题现象 在创建Flink作业时开启了Checkpoint,指定了Checkpoint保存的OBS桶。手工停止Flink作业后,再次启动该Flink作业怎样从指定Checkpoint恢复。 解决方案 由于Flink
假设您在2023/03/08 15:50:04购买了包年/包月弹性资源池(CU范围:64CUs),购买时长为一个月,在资源运行一段时间后发现使用过程中大部分时间CU数在128CU以上(假设每天累计12个小时实际CUs为128CUs,超出规格64CUs。)
区域和终端节点 当您通过API使用资源时,您必须指定其区域终端节点。有关区域和终端节点的更多信息,请参阅地区和终端节点。 父主题: DLI产品咨询类
在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 按需配置弹性资源池的相关参数,完成弹性资源池的购买。 在弹性资源池中创建队列。 创建完弹性资源池后,弹性资源池可以添加一个或多个队列用于后续作业的运行。 在弹性资源池管理页面。
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
Python SDK环境配置 操作场景 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual
SQL作业相关 数据库相关 表相关 作业相关 父主题: Python SDK