正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业相关 数据库相关 表相关 作业相关 父主题: Java SDK
创建维表 创建Redis表 创建RDS表 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
HBase输出流 功能描述 DLI将作业的输出数据输出到CloudTable的HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,
资源相关API(废弃) 数据库相关API(废弃) 表相关API(废弃) 父主题: 历史API
创建维表 创建Redis表 创建RDS表 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
数据迁移 数据迁移概览 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题: Spark Jar作业开发指南
括了Endpoint和项目编号。 操作步骤 连接DLI服务的地址格式为:jdbc:dli://<endPoint>/<projectId>。因此您需要获取对应的Endpoint和项目编号。 在地区和终端节点获取DLI对应的Endpoint;在华为云页面上方菜单栏,单击用户名,然后在“我的凭证”页面获取项目编号。
String 标签的键。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 标签的值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_
跨源连接相关 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表 跨源连接RDS表 跨源连接CSS表 跨源连接DCS表 跨源连接DDS表 跨源连接Oracle表
欠费说明 用户在使用DLI服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 已购买套餐包,但使用量超出套餐包额度,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包,为什么仍然产
处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink
迁移数据场景概述 使用CDM迁移数据至DLI 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI
定义数据源。 type_class_name 是 用户实现获取源数据的sink类名称,注意包含完整包路径。 type_class_parameter 是 用户自定义sink类的入参,仅支持一个string类型的参数。 注意事项 用户自定义sink类需要继承类RichSinkFun
定义数据源。 type_class_name 是 用户实现获取源数据的sink类名称,注意包含完整包路径。 type_class_parameter 是 用户自定义sink类的入参,仅支持一个string类型的参数。 注意事项 用户自定义sink类需要继承类RichSinkFun
单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页,选择要操作的弹性资源池,单击操作列的“添加队列”。 配置队列的基础配置,具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。
(即num_keys等于所有列的个数),则只返回一行。 cols 是 STRING类型。 要转为行的数组,keys之后的所有列视为要转置的数组,必须为STRING类型。 返回值说明 参数的数据类型。 返回转置后的行,新的列名由as指定。 作为key的列类型保持不变,其余所有的列是STRING类型。
{time_interval}); 语法说明 设置Event Time需要选定流中的某一个属性来作为时间戳,同时需要设置Watermark策略。 由于网络等原因,有时会导致乱序的产生;对于迟来的数据,需要Watermark来保证一个特定的时间后去触发Window进行计算。Watermark主要是用来
{time_interval}); 语法说明 设置Event Time需要选定流中的某一个属性来作为时间戳,同时需要设置Watermark策略。 由于网络等原因,有时会导致乱序的产生;对于迟来的数据,需要Watermark来保证一个特定的时间后去触发Window进行计算。Watermark主要是用来
(即num_keys等于所有列的个数),则只返回一行。 cols 是 STRING类型。 要转为行的数组,keys之后的所有列视为要转置的数组,必须为STRING类型。 返回值说明 参数的数据类型。 返回转置后的行,新的列名由as指定。 作为key的列类型保持不变,其余所有的列是STRING类型。