检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取schemas，目前只有DWS和采用postgresql驱动的RDS数据源支持schema，请在调用前确认该数据源是否支持schema字段。 12000 60 获取数据源中的表 获取数据源中的表。 12000 60 获取数据源中表的字段 获取数据源中表的字段。 12000 60 实例规格变更
字段分隔符 用于分隔CSV文件中的列的字符，支持单字符和多字符，也支持特殊字符，详见表1。 编码类型 文件的编码类型，默认是UTF-8，中文的编码有时会采用GBK。 如果源端指定该参数，则使用指定的编码类型去解析文件；目的端指定该参数，则写入文件的时候，以指定的编码类型写入。 使用包围符
PAUSED： 暂停调度 createUser 是 String 作业的创建者 createTime 是 Long 作业的创建时间 startTime 否 Long 作业的启动时间 endTime 否 Long 作业配置的结束时间 lastInstanceStatus 否 String
取决于源端数据源的性能。 如需优化，请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时，网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0
e}/start 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 job_name 是 String 作业名称。 请求参数 表2 请求Header参数
数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户，该用户拥有MySQL数据库的读、写和删除权限。 username 密码 访问MySQL数据库的用户密码。 DB_password DWS数据库 IP地址 DWS数据库的IP地址，CDM可通过内网访问该地址。
Parquet格式：以Parquet格式解析源文件，用于HDFS数据导到表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时，才有该参数。 打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），文件内容示例如下：
展开查看血缘的上下链路。 单击血缘图中的某一个节点，可以查看该节点的详情。 进入“作业”页签，单击“编辑”可跳转到数据开发的作业编辑页面。 图4 查看节点血缘 在数据资产搜索结果中，图标为表格的数据资产为表，单击某一表名称，可以查看表的详情。在详情页面，可以查看表的血缘信息。 单
请参考日期和时间模式。 将字符串类型的作业启动时间转换为秒格式。 #{DateUtil.parseDate(Job.getPlanTime("yyyy-MM-dd HH:mm:ss:SSS"),"yyyy-MM-dd HH:mm:ss")} 举例 以作业调度计划时间的前一天时间作
展开查看血缘的上下链路。 单击血缘图中的某一个节点，可以查看该节点的详情。 进入“作业”页签，单击“编辑”可跳转到数据开发的作业编辑页面。 图4 查看节点血缘 在数据资产搜索结果中，图标为表格的数据资产为表，单击某一表名称，可以查看表的详情。在详情页面，可以查看表的血缘信息。 单
String 发送的实体的MIME类型 表2 Body参数说明 参数名 是否必选 参数类型 说明 name 是 String 补数据任务的名称。 job_name 是 String 作业名称，即补数据任务需要补哪个作业的名称。 start_date 是 String 补数据的开始日期，格
配置、运行采集任务是构建数据资产的前提，下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一：仅添加新元数据 用户的数据库中新增的数据表，采集任务仅采集新增的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3 采集后的数据表元数据：t
确认：确认该条识别结果为有效状态，“未确认”或“无效”状态的规则可以进行确认操作。静态脱敏任务可以基于有效状态的识别规则进行脱敏。 忽略：确认该条识别结果为无效状态，“有效”状态的规则可以进行忽略操作。静态脱敏任务无法选择到未确认/无效状态的识别规则进行脱敏。 数据同步：如果在敏感数据发现
GBK 压缩格式 选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 需要解压缩的文件后缀名。当一批文件中以该值为后缀时，
数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。
obs://obs-tongji/python/in.txt为wordcount.py的传入参数路径，可以把需要统计的单词写到里面； obs://obs-tongji/python/out为输出参数文件夹的路径，并且会在OBS桶中自动创建该目录（如已存在out目录，会报错）。 单击“测试运行”，执行该脚本作业。
会在上图中生成相应的质量规则，您可以在质量作业中进行查看。 字段关联的数据标准生成的质量规则，示例如下： 图12 字段关联的质量规则 字段关联了数据标准，数据标准关联的码表生成的质量规则，示例如下： 图13 码表的质量规则 父主题： 通用操作
查询作业实例列表 功能介绍 查询作业实例列表。 对于配置了周期调度或事件触发调度的批处理作业，触发一次运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点，可以通过此接口查询节点所关联的子作业的实例列表，参数jobName格式为[实时作业名称]_[节点名称]。 调试
补数据作业名称，可能有依赖的作业，故会有多个作业的情况。 name 是 String 补数据名称 user_name 是 String 用户名称 type 是 int 触发补数据的类型，取值范围[0, 1]。0代表作业监控界面触发的补数据，1代表恢复动作触发的补数据。 start_date
不存在时创建：当目的端的数据库没有“表名”参数中指定的表时，CDM会自动创建该表。如果“表名”参数配置的表已存在，则不创建，数据写入到已存在的表中。 先删除后创建：CDM先删除“表名”参数中指定的表，然后再重新创建该表。 不自动创建 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
