检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSS集群已开启“安全模式”。 创建CSS安全集群请参考创建Elasticsearch类型集群(安全模式)。 操作步骤 下载CSS安全集群的认证凭证。 登录CSS服务管理控制台,单击“集群管理”。 在“集群管理”页面中,单击对应的集群名称,进入“基本信息”页面。 单击“安全模式”后的下载证书,下载CSS安全集群的证书。
SQL语句,至少包含source, query, sink三个部分。长度限制:0-1024*1024个字符。 run_mode 否 String 作业运行模式: shared_cluster:共享。 exclusive_cluster:独享。 edge_node:边缘节点。 默认值为“shared_cluster”。
TABLE等语句)、管理分区语句、失败的查询语句无需付费。 对于取消的查询,按取消查询时扫描的总数据量计费。 扫描量计费模式 扫描量支持以下计费模式: 按需计费:在default队列中提交作业按扫描数据量计费,一种按需计费模式。 计费方式自创建起按自然小时收费。按小时结算,小时数按整点计算。 扫描量计费=单价*扫描量数据(GB)。
计费构成分析 基于此案例,可详细计算出按需计费和包年/包月两种不同的计费模式的消费情况。 此案例中的单价仅为示例,且计算出的费用为估算值。单价的变动和实际场景中计算出来的费用可能会有偏差。请以华为云官网发布的数据为准。 计费模式 计算规则 付费周期 费用计算 按需计费(专属) 计算费用:计算费用=单价*CU数*小时数
参数开启Checkpoint: Checkpoint间隔:Checkpoint的时间间隔,单位为秒。 Checkpoint模式:选择Checkpoint的模式: At least once:事件至少被处理一次。 Exactly once:事件仅被处理一次。 注意: 勾选开启Checkpoint后需配置OBS桶参数,
Flink的功能对比如表1所示。 表1 DLI Flink与MRS Flink功能对比 类型 特点 DLI Flink MRS Flink 特色能力 产品模式 全托管(无需人力运维集群) 半托管(需要人力运维集群) 弹性扩缩容 支持集群容器化部署。 用户可以根据业务负载进行弹性扩缩容,能够基于作业的负载动态调整作业使用资源大小。
a8c3-28fbee399fa6"; // 调用BatchJob对象的delBatch接口取消批处理作业 MessageInfo messageInfo = client.delBatchJob(batchId); System.out.println(messageInfo
说明: aarch64架构计算资源使用华为鲲鹏系列服务器。 resource_mode 否 Integer 队列资源模式。支持以下两种类型: 0:共享资源模式 1:专属资源模式 labels 否 Array of Strings 创建队列的标签信息,目前包括队列是否跨AZ的标签信息(J
SQL队列:8CUs;HetuEngine SQL队列:16CUs 弹性资源池计费模式 弹性资源池支持按需和包年包月的购买方式。 不支持切换弹性资源池的计费模式。 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 按需计费的弹性资源池默认勾选专属资源模式,自创建起按自然小时收费。 管理弹性资源池 弹性资源池不支持切换区域。
停止计费 包年/包月资源 对于包年/包月计费模式的资源,例如包年/包月的弹性资源池、包年/包月的队列等,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券
所创建队列的相应描述。输入长度不能超过128个字符。 高级选项 仅在选择“包年/包月”计费模式,或在“按需计费”模式中,勾选“专属资源模式”时,支持配置“高级配置”。 在“队列类型”中,勾选了“专属资源模式”后,需要选择“高级选项”。 默认配置:由系统自动配置。 自定义配置: “网段”:
业务的性能影响及恢复时长,最好大于Checkpoint的完成时间,建议设置为5分钟。 Exactly Once模式保证每条数据只被消费一次,At Least Once模式每条数据至少被消费一次,请依据业务情况选择。 勾选“异常自动恢复”和“从Checkpoint恢复”,根据自身业务情况选择重试次数。
HetuEngine通过自动优化资源与负载的配比,能够对TB级数据实现秒级响应,极大提升了数据查询的效率。 Serverless资源开箱即用: Serverless服务模式无需关注底层配置、软件更新和故障问题,资源易维护,易扩展。 多种资源类型满足不同场景业务需求: 共享资源池:按量计费,提供极致的性价比资源。
分钟生成一个新的窗口。 图1 滚动窗口示例图 语法描述 TUMBLE 函数通过时间属性字段为每行数据分配一个窗口。 在流计算模式,时间属性字段必须被指定为事件或处理时间属性。 在批计算模式,窗口表函数的时间属性字段必须是 TIMESTAMP 或 TIMESTAMP_LTZ 的类型。 TUMBLE
upsert 模式还是 append 模式下工作。 如果定义了主键,Elasticsearch sink 将以upsert模式工作,该模式可以消费包含UPDATE/DELETE消息的查询。 如果未定义主键,Elasticsearch sink 将以append模式工作,该模式只能消费包含INSERT消息的查询。
Pending:由于指定的滚动策略)关闭 in-progress 状态文件,并且等待提交 Finished:流模式(STREAMING)下的成功的 Checkpoint 或者批模式(BATCH)下输入结束,文件的Pending状态转换为 Finished 状态 只有 Finished
connector.write.mode 否 数据写入模式,支持: copy, insert以及upsert三种。默认值为upsert。 该参数与'primary key'配合使用。 未配置'primary key'时,支持copy及insert两种模式追加写入。 配置'primary key
DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。 CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。 Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。 Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka。
访问MySQL集群填写"数据库名.表名" 注意: 连接的RDS数据库名不能包含中划线-或^特殊字符,否则会创建表失败。 访问PostGre集群填写"模式名.表名" 说明: 模式名即为数据库模式(schema)的名称。数据库中schema是数据库对象集合,包含了表,视图等多种对象。 user (已废弃)RDS用户名。
按需计费以小时为单位进行结算。不足一小时按一小时计费,小时数按整点计算。 例如 12:10 ~12:30、12:10 ~12:55 期间使用,则收取1个小时的费用。 具体的计费模式请参考:计费说明。 父主题: 计费相关问题