检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
S,为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的
支持集群容器化部署。 用户可以根据业务负载进行弹性扩缩容,能够基于作业的负载动态调整作业使用资源大小。 支持基于作业优先级动态调整作业的使用资源。 仅支持YARN集群。 上下游数据连接 除了开源connector之外,还提供开箱即用的connector,包括数据库(RDS、GaussDB)、
编写自定义函数代码。具体的代码样例可以参考UDF、UDTF或者UDAF。 将写好的自定义函数编译并打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,在需要编辑的Flink SQL作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。
ussDB(DWS),MapReduce服务MRS,云数据库RDS等。使用DLI的跨源能力,需要先创建跨源连接。 管理控制台界面具体操作请参考《数据湖探索用户指南》。 使用Spark作业跨源访问数据源支持使用scala,pyspark和java三种语言进行开发。 表格存储服务Cl
若输入为NULL,则返回NULL。 Flink作业不支持使用CAST将“BIGINT”转换为“TIMESTAMP”,可以使用to_timestamp或者to_localtimestamp进行转换。 示例 将amount值转换成字符串,长度为转换后的实际长度,配置的长度无效。 insert into temp
支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现详解
Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。OBS的更多信息,请参见《对象存储服务控制台指南》。 推荐使用《文件系统输出流(推荐)》。 前提条件 OBS输出流功能仅支持输出数据到3.0版本以上的桶,请先查看桶信息确认桶的版本。 语法格式
操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
关系运算符 所有数据类型都可用关系运算符进行比较,并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型 描述 A = B
支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 构
端口信息”。若使用经典型跨源,填写经典型跨源返回的连接地址,管理控制台操作请参考《数据湖探索用户指南》。 metric 所创建的dli表对应的OpenTSDB中的指标名称。 tags metric对应的标签,用于归类、过滤、快速检索等操作,可以是1到8个,以“,”分隔,包括对应metric下的所有tagk的值。 通过SQL
mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配
Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL) SQL语法约束与定义 流作业SQL语法概览 创建输入流 创建输出流 创建中间流 创建维表 自拓展生态 数据类型 内置函数 自定义函数 地理函数 SELECT 条件表达式 窗口 流表JOIN 配置时间模型
本例提供使用Spark作业访问DWS数据源的pyspark样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
es"修改为对应的数据库名字。 passwdauth DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。 dbtable 数据库postgres中的数据表。 partitionColumn 读取数据时,用于设置并发使用的数值型字段。 说明:
为序列均值加上q个之前值的白噪声的线性组合。利用线性组合的权值也可预测下一个值。 ARMA(p, q):自回归移动平均模型,综合了AR和MA两个模型的优势,在ARMA模型中,自回归过程负责量化当前数据与前期数据之间的关系,移动平均过程负责解决随机变动项的求解问题,因此,该模型比AR/MA更为有效和常用。
Driver')") 表1 创建表参数 参数 说明 url RDS的连接地址,需要先创建跨源连接,管理控制台操作请参考《数据湖探索用户指南》。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用RDS提供的"内网域名"或者内网地址和数据库端口访问,MySQL
配额是指云平台预先设定的资源使用限制,包括资源数量和容量等。设置配额是为了确保资源合理的分配和使用,避免资源过度集中和资源浪费。 如果资源配额限制满足不了用户的使用需求,可以通过工单系统来提交您的申请,并告知您申请提高配额的理由。 在通过审理之后,系统会更新您的配额并进行通知。关于配额的具体操作说明,请参见关于配额。
若输入为NULL,则返回NULL。 Flink作业不支持使用CAST将“BIGINT”转换为“TIMESTAMP”,可以使用to_timestamp或者to_localtimestamp进行转换。 示例 将amount值转换成字符串,长度为转换后的实际长度,配置的长度无效。 insert into temp
uri uri的格式为:mongodb://username:pwd@host:8635/db 其中以下参数需要修改为实际值: “username”为创建的mongo(DDS)数据库用户名。 “pwd”为创建的mongo(DDS)数据库用户名对应的密码。 “host”为创建的mongo(DDS)数据库实例IP。