检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此外,相同域名下,不允许重复的请求路径出现。路径参数作为通配符时,名称不具备唯一性,例如“/blogs/{blog_id}”和“/blogs/{xxxx}”,会被视作相同路径。 参数协议 用于传输请求的协议,共享版支持HTTP或HTTPS协议,专享版支持HTTPS协议。 推荐选择HTTPS协议,HTTP安全性欠佳,可能会存在安全风险。
符。 OBS路径 是 创建OBS桶或目录的路径。 创建桶:在“//”后输入OBS桶名称,OBS桶名称不允许重名。 创建OBS目录:选择需要创建目录的路径,在路径后输入“/目录名”,目录名不允许重名。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时
Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS,并创建MRS集群。 数据准备 下载Flink作业资源包"wordcount.jar",下载地址:https://github.com/huaweicloudDocs/
rk作业。 输入数据路径 否 选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如
CDM迁移作业的抽取并发数应该如何设置? CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某
此外,相同域名下,不允许重复的请求路径出现。路径参数作为通配符时,名称不具备唯一性,例如“/blogs/{blog_id}”和“/blogs/{xxxx}”,会被视作相同路径。 参数协议 用于传输请求的协议,共享版支持HTTP或HTTPS协议,专享版支持HTTPS协议。 推荐选择HTTPS协议,HTTP安全性欠佳,可能会存在安全风险。
长,当超时后任务会失败。 等待时间设置为0时,当源端路径下不存在标识文件,任务会立即失败。 单位:秒。 fromJobConfig.filterType 否 枚举 选择过滤器类型: WILDCARD:输入通配符作为过滤文件,满足过滤条件的路径或文件会被传输。 TIME:时间过滤器
个文件,默认为|。 fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“false”时,上传到OBS的对象使用的对象名,包含query参数。 fromJobConfig
URL导出数据,不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法,从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 https://bucket
启用密级。默认开启该字段。 名称长度:设置表名称和属性名称的长度。 表自定义项。在新建、编辑表时,可以在表的基本设置中设置自定义的字段。会影响业务表、维度(维度表)、事实表和汇总表等。 属性自定义项。在新建、编辑表字段时,可以在表字段中设置自定义的属性。会影响业务表、维度(维度表)、事实表和汇总表等。
rdcount.py为脚本存放路径; obs://obs-tongji/python/in.txt为wordcount.py的传入参数路径,可以把需要统计的单词写到里面; obs://obs-tongji/python/out为输出参数文件夹的路径,并且会在OBS桶中自动创建该目录(如已存在out目录,会报错)。
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的
基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。 开关打开,即只能通过SSL方式进行通信。 开关关闭,SSL通道加密和证书认证两种方式均可进行通信。 手动 是 选择连接模式。 使
入参定义 配置API请求中的参数,包含资源路径中的动态参数,请求URI中的查询参数和Header参数。 以配置资源路径中的动态参数为例进行说明,例如资源路径(请求Path)设置为: /v2/{project_id}/streams,资源路径中的{project_id}为动态参数,需要在此进行配置。
URL地址:配置为获取CDM作业的JSON中获取的URL,格式为https://{Endpoint}/cdm/v1.0/{project_id}/clusters/{cluster_id}/cdm/job。例如“https://cdm.cn-north-1.myhuaweicloud
驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5.1.48版本。 PostgreSQL驱动:获取地址https://mvnrepository
查询权限集中配置的url信息,例如obs、hdfs等组件中的url路径。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/datasource/urls 表1 路径参数 参数 是否必选 参数类型 描述 project_id
更新表的异常数据输出配置,包括是否生成异常数据、设置异常数据数据库或Schema、设置异常表表前缀/表后缀。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/{table_id}/qualities 表1 路径参数 参数 是否必选 参数类型 描述
ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ....”加到请求消息头即可,如下所示。 GET https://iam.cn-north-4.myhuaweicloud.com/v1/{project_id}/connections Content-Type:
path 是 String 作业路径 表5 Script字段数据结构说明 参数名 是否必选 参数类型 说明 name 是 String 脚本名称 path 是 String 脚本路径 请求示例 查询OBS上作业文件中的参数定义。作业定义文件在OBS上的路径为obs://aaaaa/DLF_myJob