检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能，开启安全模式后，将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时，需要先进行以下准备工作。 选择CSS Elasticsearch
本节操作仅适用于普通队列，不适用于弹性资源池队列。 约束与限制 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 目前只支持计费模式为“按需/CU时”和“按需/专属资源模式”的队列进行弹性扩缩容。 如果在“弹性扩缩容”页面提示“Status of queue xxx is assigning
按数据扫描量计费是针对默认default 队列，即使用default队列时，是按扫描量计费。 您单独购买的队列 ，可选择按需计费（按CU时计费）或包年包月计费。 具体的计费模式请参考：计费说明。 父主题： 计费相关问题
按需计费的弹性资源池，如果没提交作业运行就不计费？ 按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。无作业运行仍正常收费。 按实际CU进行计费，秒级计费，按小时结算。按需弹性资源池创建成功一小时后方可删除。 父主题： 计费相关问题
SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric，查询对应的DLI表会报错。 若OpenTSDB开了安全模式，则访问时，需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true 语法格式 1 SELECT * FROM
resources tracked in the state, so there is nothing to refresh. 问题根因 API以同步模式调用运行时会有两分钟的超时时间限制，如果API调用超过该时间限制则会超时报错。 解决方案 调用“提交SQL作业”API时可以通过设置“dli
SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric，查询对应的DLI表会报错。 若OpenTSDB开了安全模式，则访问时，需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true 语法格式 1 SELECT * FROM
例代码。详情可参考：Apache Flink Hive Read & Write Flink 支持在 BATCH 和 STREAMING 模式下从Hive写入数据。 当作为BATCH应用程序运行时，Flink将写 Hive表，仅在作业完成时使这些记录可见。BATCH 写入支持追加和覆盖现有表。
息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Upsert Kafka 连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka topic。
息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Upsert Kafka 连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka topic。
Upsert Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。
TABLE等语句）、管理分区语句、失败的查询语句无需付费。 对于取消的查询，按取消查询时扫描的总数据量计费。 扫描量计费模式 扫描量支持以下计费模式： 按需计费：在default队列中提交作业按扫描数据量计费，一种按需计费模式。 计费方式自创建起按自然小时收费。按小时结算，小时数按整点计算。 扫描量计费=单价*扫描量数据（GB）。
该场景作业需要运行在DLI的独享队列上，请确保已创建DLI独享队列。 关于如何创建DLI独享队列，在购买队列时，选择“按需计费”，勾选“专属资源模式”即可。具体操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与MRS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
Upsert Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。
DliDriver。 “URL” 栏选择“自定义协议”，后面填写DLI jdbc的URL，URL的格式见表1，属性配置项说明见表2。 “表结构模式”可填写需访问的数据库名称，如果填写，后续创建数据集时，刷新表，页面上只可见该数据库下的表。如果不填写，后续创建数据集时，刷新表，页面上会
CSS集群已开启“安全模式”。 创建CSS安全集群请参考创建Elasticsearch类型集群（安全模式）。 操作步骤 下载CSS安全集群的认证凭证。 登录CSS服务管理控制台，单击“集群管理”。 在“集群管理”页面中，单击对应的集群名称，进入“基本信息”页面。 单击“安全模式”后的下载证书，下载CSS安全集群的证书。
4（弹性资源池计算单价：元/时） x 256（CU数） x 24 x 30（小时数） = 73728 元/月 存储费用=单价*存储数据量（GB）*小时数 存储费用：0.00013889（存储单价：元/GB）x 1024（存储数据大小：GB）x 24 x 30（小时数）= 100 元/月
4GMem。不同规格对应的计算能力不一样，规格越高计算能力越好。 default队列中提交作业按扫描数据量计费。 计费模式 DLI在不同的计费项下有不同的计费模式，具体详见表2说明。 表2 DLI计费模式 计费项 计费模式 计费模式说明 计算计费 包年/包月 按照弹性资源池包年/包月的固定费用计费。 按需计费 按需弹性资源池资源使用CU时进行计费。
Spark作业访问MySQL数据库的方案 通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案： 方案1：在DLI中创建队列，队列计费模式为包年/包月队列或按需专属，创建增强型跨源连接，再通过跨源表读取MySQL数据库中的数据，该方案需要用户自行编写java代码或scala代码。
所创建队列的相应描述。输入长度不能超过128个字符。 高级选项 仅在选择“包年/包月”计费模式，或在“按需计费”模式中，勾选“专属资源模式”时，支持配置“高级配置”。 在“队列类型”中，勾选了“专属资源模式”后，需要选择“高级选项”。 默认配置：由系统自动配置。 自定义配置： “网段”：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
