检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 参数说明 参数 是否必选 默认值 类型 说明 connector 是 无 String 指定要使用的连接器,这里是'gaussdb' url 是 无 String jdbc连接地址 。
其他参数根据需要选择和配置。 参数配置完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成队列创建。
单击“设置”,在参数设置中选择“spark.sql.autoBroadcastJoinThreshold”参数,其值设置为“-1”。 重新单击“执行”,运行该作业,观察作业运行结果。 父主题: SQL作业开发类
参数获取方式请参考获取帐号、IAM用户、项目、用户组、区域、委托的名称和ID。
该参数设置为false: 不管子查询中数据重复与否,执行关联子查询时,都需要对子查询的结果去重,比如max(),min(),否则提示异常。
表1 参数说明 参数 是否必选 默认值 类型 说明 connector 是 无 String 指定要使用的连接器,这里是'gaussdb' url 是 无 String jdbc连接地址 。
命令格式 percent_rank() over([partition_clause] [orderby_clause]) 参数说明 表1 参数说明 参数 是否必选 说明 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。
参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。
表3 参数说明 参数 说明 参数格式 time_attr 表示相应的事件时间或者处理时间属性列。
表3 参数说明 参数 说明 参数格式 time_attr 表示相应的事件时间或者处理时间属性列。
参数a,b必须为正实数,p在区间[0,1]上。
表1 参数说明 参数 是否必选 说明 connector.type 是 connector类型,对于upsert kafka,需配置为'upsert-kafka' connector.version 否 Kafka版本,仅支持:'0.11' format.type 是 数据序列化格式
程序包管理页面 表2 程序包管理参数 参数 参数说明 分组名称 程序包所属分组的名称。如果不分组,则显示“--”。 名称 程序包名称。 所有者 上传程序包的用户名称。 包类型 程序包的类型。支持的包类型如下: JAR:用户jar文件。 PyFile:用户Python文件。
表1 参数说明 参数 是否必选 说明 connector.type 是 sink的类型,smn表示输出到消息通知服务中 connector.region 是 SMN所在区域 connector.topic-urn 否 SMN服务的主题URN,用于静态主题URN配置。
表1 参数说明 参数 是否必选 说明 connector.type 是 connector类型,对于redis,需配置为'redis'。
通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。
参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 obs桶多版本回收站目录 当前OBS表所在桶下的一个目录,您可以根据需要调整目录路径。
表1 参数说明 参数 是否必选 说明 connector.type 是 connector类型,对于redis,需配置为'redis'。
表1 参数说明 参数 必选 默认值 类型 描述 type 是 无 String Catalog的类型。
命令格式 get_json_object(string <json>, string <path>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 json 是 STRING 标准的JSON格式对象,格式为{Key:Value, Key:Value,...} path