检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse
[string <split1>,string <split2>,] string <key>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 待拆分的字符串。 split1、split2 否 STRING 用于作为分隔符的字符串,按照指定的两个分
B将A中所有和B重合的记录扣除,然后返回去重后的A中剩下的记录,EXCEPT默认不去重。与UNION相同,每一个SELECT语句返回的列数必须相同,列的类型和列名不一定要相同。 注意事项 不能在多个集合运算间(UNION,INTERSECT,EXCEPT)加括号,否则会出错 示例 先将“SELECT
rce函数,以实现特定的数据读写逻辑。 DLI提供的DWS Connector使用方法请参考表1 表1 DWS Connector支持类别 类别 操作指导 源表 DWS源表(不推荐使用) 结果表 DWS结果表(不推荐使用) 维表 DWS维表(不推荐使用) 父主题: DWS
rivilege支持的权限类型可参见数据权限列表。 resource可以是queue、database、table、view、column,格式分别为: queue的格式为:queues.queue_name queue支持的Privilege权限类型可以参考下表: 操作 说明 DROP_QUEUE
是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 作业ID。 job_type 否 String 作业类型,包含
Hudi表提供了数据更新和幂等写入能力,该能力要求Hudi表必须设置主键,主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键,两种主键类型均要求主键不能有null值和空值,可以参考以下示例设置主键: SparkSQL: // 通过primaryKey指定主键,如果是复合主键需要用逗号分隔
URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 data_path 是 String
参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str1 是 STRING 待向左补位的字符串。 length 是 STRING 向左补位位数。 str2 否 STRING 用于补位的字符串。 返回值说明 返回STRING类型的值。 如果length小于str1的位数,则
SHOW GRANT db或table的SHOW_GRANT权限 - Privilege在进行数据库和表赋权或回收权限时,DLI支持的权限类型如下所示。 DATABASE上可赋权/回收的权限: DROP_DATABASE(删除数据库) CREATE_TABLE(创建表) CREATE_VIEW(创建视图)
dow_time”。 在批计算模式,window_time 是 TIMESTAMP 或者 TIMESTAMP_LTZ 类型(具体哪种类型取决于输入的时间字段类型)的字段。 window_time 字段用于后续基于时间的操作,例如:其他的窗口表值函数,或者interval joins,over
登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击右上角“创建”可创建程序包。 在“创建程序包”对话框,配置如下参数: 包类型:PyFile。 OBS路径:选择1.aegg包所在的OBS路径。 分组设置和分组名称根据情况选择。 单击“确定”完成程序包上传。 在报错
print(e) return 请求参数说明如下,详细参数使用可以参考Python SDK概述下载样例代码。 kind:资源包类型,当前支持的包类型分别为: jar:用户jar文件 pyfile:用户Python文件 file:用户文件 modelfile:用户AI模型文件 o
定sql片段作为作业过滤条件进行查询。 如果需要则可以通过查询所有作业API接口指定该参数进行查询。 查询SQL类型作业 您可以使用该接口查询当前工程下的所有SQL类型作业的信息并获取查询结果。示例代码如下: def list_sql_jobs(dli_client): try:
待计算返回结果的表达式。 offset 否 偏移量,BIGINT类型常量,取值大于等于0。值为0时表示当前行,为1时表示前一行,以此类推。默认值为1。输入值为STRING类型、DOUBLE类型则隐式转换为BIGINT类型后进行运算。 default 是 常量,默认值为NULL。 当
怎样将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,“SQL队列”用于运行SQL作业,“通用队列”兼容老版本的Spark队列,用于运行Spark作业和Flink作业。 通过以下步骤,可以将老版本的“Spark队列”转换为新的“通用队列”。
Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的列数必须相同,列的类型一定要相同,列名不一定要相同。 UNION默认是去重的,UNION ALL是不去重的。 示例 输出Orders1和Orders2的并集,不包含重复记录。
max_pt(<table_full_name>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 table_full_name 是 STRING类型。 指定表名。必须对表有读权限。 返回值说明 返回STRING类型的值。 返回最大的一级分区的值。 如果只是用alter table的方式新加
BS桶。 使用fileSystem时必须开启checkpoint,保证作业的一致性。 format.type为parquet时,支持的数据类型为string, boolean, tinyint, smallint, int, bigint, float, double, map<string
待计算返回结果的表达式。 offset 否 偏移量,BIGINT类型常量,取值大于等于0。值为0时表示当前行,为1时表示前一行,以此类推。默认值为1。输入值为STRING类型、DOUBLE类型则隐式转换为BIGINT类型后进行运算。 default 是 常量,默认值为NULL。 当