检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cluster_id 是 String 集群ID。 job_name 是 String 作业名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。
linkConfig.endpoint 是 String 待连接DIS的URL,URL格式为https://Endpoint。 linkConfig.ak 是 String DIS服务端的AK。 linkConfig.sk 是 String DIS服务端的SK。
toJobConfig.kmsID 否 String 上传时加密使用的密钥。需先在密钥管理服务中创建密钥。 toJobConfig.projectID 否 String KMS密钥所属的项目ID。
fromJobConfig.regex 否 String 正则表达式,当选择使用正则表达式分割字段时,此参数有效。 fromJobConfig.fieldSeparator 否 String 字段分隔符,当文件格式为“CSV_FILE”时此参数有效,默认值为:“,”。
linkConfig.server 是 String OBS服务器的终端节点(Endpoint)。 linkConfig.port 是 String 数据传输协议端口,https是443,http是80。
fromJobConfig.database 否 String 待抽取数据的数据库,例如“default”。 fromJobConfig.table 是 String 待抽取数据的表名,例如“cdm”。
fromJobConfig.separator 否 String 字段分隔符。 fromJobConfig.appName 否 String 用户数据消费程序的唯一标识符。 父主题: 源端作业参数说明
name String 规格名称。 region String region。 typename String 类型名称。 clusterMode String 集群模式。 status String 规格状态。 str_id String 规格ID。
fromJobConfig.sql 否 String 可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 fromJobConfig.schemaName 是 String 数据库模式或表空间,例如:“public”。
linkConfig.username 是 String 登录FTP或SFTP服务器的用户名。 linkConfig.password 是 String 登录用户的密码。 父主题: 连接参数说明
linkConfig.sk 是 String 登录DLI数据库的SK。 linkConfig.region 是 String DLI服务所在的区域。 linkConfig.projectId 是 String DLI服务的项目ID。 父主题: 连接参数说明
fromJobConfig.maxPollRecords 否 String 每次向Kafka请求数据限制最大请求记录数。 fromJobConfig.maxPollInterval 否 String 每次poll之间的最大时间间隔。
表11 Task 参数 参数类型 描述 id String 任务id。 name String 任务名称。 表12 Datastore 参数 参数类型 描述 type String 类型,一般为cdm。 version String 集群版本。
type String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表8 extended-configs 参数 参数类型 描述 name String 名称。 value String 值。
linkConfig.uri 否 String 连接Apache Hadoop时的Namenode URI地址,格式为“ip:port”。 llinkConfig.host 否 String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。
linkConfig.accessKey 否 String 访问标识(AK)。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 linkConfig.securityKey 否 String 密钥(SK)。obs支持选是时需配置此参数。
id String 版本ID。 image String 版本镜像。 name String 版本名称。 packages String 版本的包。 datastore String 服务ID,用于区分不同服务。
linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig.password 是 String 连接MongoDB服务器的密码。
cluster_id 是 String 集群ID。 job_name 是 String 查询多个作业用all,查询单个作业输入作业名。
toJobConfig.separator 否 String 字段分隔符,默认为空格。 toJobConfig.identifierEnclose 否 String 连接引用表名或列名时的分隔符号,默认为空。 父主题: 目的端作业参数说明