检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
BizDatasourceRelationVO object 数据源信息,新建/更新时必填。 owner 是 String 资产责任人,新建/更新时必填。 obs_location 否 String 外表路径 table_type 否 String 表类型。 distribute 否 String DISTRIBUTE
由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,
由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,
问题描述 数据架构的数据建模方法有哪些。 解决方案 DataArts Studio数据架构支持的建模方法有以下三种: 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整
为二进制。适用于文件到文件的原样复制。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 说明: 当目的端为OBS数据源时,仅支持配置二进制格式。 CSV格式 JSON类型 当“文件格式”选择为“JSON格式”时,才有该参数。JSON文件中存储的JSO
status String 状态 枚举值:DISCOVERED、PROPOSED、IMPORTED、VALIDATED、DEPRECATED、OBSOLETE、OTHER。 create_user String 创建人。 expression String 表达式。 display_text
status 否 String 状态 枚举值:DISCOVERED、PROPOSED、IMPORTED、VALIDATED、DEPRECATED、OBSOLETE、OTHER。 create_user 否 String 创建人。 expression 否 String 表达式。 display_text
String 别名。 self_defined_fields Array of SelfDefinedFieldVO objects 自定义项。 obs_location String 外表路径 dev_version String 开发环境版本,只读,ID字符串。 prod_version
BizDatasourceRelationVO object 数据源信息,新建/更新时必填。 owner 是 String 资产责任人,新建/更新时必填。 obs_location 否 String 外表路径 table_type 否 String 表类型。 distribute 否 String DISTRIBUTE
tion/json" -H "X-Cluster-ID:$ID" -H "X-Auth-Token:$Token" -d '{ "jobs": [{ "job_type": "NORMAL_JOB", "name": "mysql2dws", "from-link-name":
String 别名。 self_defined_fields Array of SelfDefinedFieldVO objects 自定义项。 obs_location String 外表路径 configs String 其他配置 dev_version String 开发环境版本,只读,ID字符串。
请求参数、返回参数和排序参数的字段,分别添加到请求参数、返回参数和排序参数列表当中。 另外,专享版数据服务支持返回总条数,开启后可返回取值脚本执行结果数据的总条数。 图2 添加参数 编辑请求参数信息。 请求参数主要分为三部分,绑定参数、绑定字段、操作符。在请求参数列表中,需要设置绑定参数和操作符。
String 别名。 self_defined_fields Array of SelfDefinedFieldVO objects 自定义项。 obs_location String 外表路径 dev_version String 开发环境版本,只读,ID字符串。 prod_version
String 别名。 self_defined_fields Array of SelfDefinedFieldVO objects 自定义项。 obs_location String 外表路径 dev_version String 开发环境版本,只读,ID字符串。 prod_version
String 别名。 self_defined_fields Array of SelfDefinedFieldVO objects 自定义项。 obs_location String 外表路径 configs String 其他配置 dev_version String 开发环境版本,只读,ID字符串。
枚举值: "NO": 不压缩 "YES": 压缩 "LOW": 低等级压缩 "MIDDLE": 中等级压缩 "HIGH": 高等级压缩 obs_location String 外表路径。 pre_combine_field String 版本字段。 table_type String
BizDatasourceRelationVO object 数据源信息,新建/更新时必填。 owner String 资产责任人,新建/更新时必填。 obs_location String 外表路径 table_type String 表类型。 distribute String DISTRIBUTE
BizDatasourceRelationVO object 数据源信息,新建/更新时必填。 owner String 资产责任人,新建/更新时必填。 obs_location String 外表路径 table_type String 表类型。 distribute String DISTRIBUTE
需要抽取数据的列,列号之间使用“&”分割,列族与列之间用“:”分隔,例如:“cf1:c1&cf2:c2”。 toJobConfig.rowKeyColumn 是 String 作为rowkey的列,列号之间使用“&”分割,列族与列之间用“:”分隔,例如:“cf1:c1&cf2:c2”。