检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL属性参数说明。 图15 编辑DLI SQL节点属性 属性编辑完成后,单击“保存”,保存属性配置信息。 将这两个节点编排成一个pipeline。DataArt会按照编排好的pipeline顺序执行各个节点。然后单击左上角 “保存” 和 “提交”。 步骤5:测试作业运行 作业编排完成后,单击“测试运行”,测试运行作业。
DWS的连接地址,需要先创建跨源连接,管理控制台操作请参考《数据湖探索用户指南》。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,可以使用DWS提供的"JDBC连接字符串(内网)",或者内网地址和内网端口访问,格式为"协议头://内网IP:内网端口
NULL NULL NULL TRUE FALSE NULL NULL NULL NULL FALSE TRUE GREATEST和LEAST 这两个函数不是SQL标准函数,是常用的扩展。参数中不能有Null值。 greatest(value1, value2, ..., valueN)
所要分组的表必须是已经存在的表,否则会出错。 不同于ROLLUP,GROUPING SETS目前仅支持一种格式。 示例 根据group_id与job两个字段生成交叉表格行,返回每种聚合情况下的salary总和。 1 2 3 SELECT group_id, job, SUM(salary)
表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。
时,返回NULL。 当date1晚于date2时,返回值为正。当date2晚于date1时,返回值为负。 当date1和date2分别对应两个月的最后一天,返回整数月;否则计算方式为date1减去date2的天数除以31天。 date1或date2值为NULL时,返回NULL。 示例代码
datediff函数用于计算两个时间date1、date2的日期差值。 datediff1 datediff1(string date1, string date2, string datepart) BIGINT datediff1函数用于计算两个时间date1、date2的差
connector.url 是 jdbc连接地址,格式为:jdbc:postgresql://${ip}:${port}/${dbName} 。DWS数据库版本为8.1.0以后的版本时,格式为:jdbc:gaussdb://${ip}:${port}/${dbName}。 connector
'principal' ='krbtest')") 与未开启kerberos认证相比,开启了kerberos认证需要多设置三个参数,如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' = './krb5.conf' krb5.conf的地址。 'keytab'='
统一包年/包月资源的到期日 如果您持有多个到期日不同的资源,或者您的队列资源到期日不同,可以将到期日统一设置到一个日期,便于日常管理和续费。 图4展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图4 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。
"description": "", "is_partition_column": true }, { "column_name": "column2", "type": "string", "description": ""
String 子作业name,对应开源spark JobData的name。 description 否 String 子作业description,对应开源spark JobData的description。 submission_time 否 String 子作业submission_time,对应开源spark
使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
type 是 connector类型,需配置为'gaussdb' connector.url 是 jdbc连接地址,格式为:jdbc:postgresql://${ip}:${port}/${dbName} 。 connector.table 是 读取数据库中的数据所在的表名 connector
parameters) throws Exception {} @Override //业务数据处理逻辑具体实现 /*in包括两个值,其中第一个值为布尔型,为true或false,当true时表示插入或更新操作,为false时表示删除操作,若对接的sink端不支持删除
限为“DLI服务管理员”(DLI Service Administrator)的子账号用于管理和使用DLI服务。“基础平台组组长”按照公司两个业务对于数据分析的要求,创建了“队列A”分配给“数据工程师A”运行游戏数据分析业务,“队列B”分配给“数据工程师B”运行音乐数据分析业务,
示例2:指定单个筛选条件删除分区 本示例删除facultyNo为30的分区;在插入数据的过程中可以了解到,facultyNo为30的分区有两个。 如需按指定筛选条件删除分区请参考指定筛选条件删除分区(只支持OBS表)。 示例代码如下: ALTER TABLE student DROP
String connector类型,需配置为'mysql-cdc'。 hostname 是 无 String MySQL 数据库服务器的 IP 地址或主机名。 username 是 无 String 连接到 MySQL 数据库服务器时要使用的 MySQL 用户的名称。 password
resouce_name order by sum_amount desc 图4 查询结果 使用以下语句具体分析sql和flink这两个资源消费的时间段。 select * from spending where resource_id = 'd91d4616-b10c-4
使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource