检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题: 数据开发API(V1)
提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、SQL、Shell等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。 作业调度 支持单次调度、周期调度和
格式转换 否 工作流默认按照JSON字符串格式输出结果,支持将已映射的结果集数据导出为CSV、TXT、Excel或XML文件,一个数据集一个文件,最终打包成ZIP压缩文件进行导出。 注意导出时不支持断点续传。 父主题: 编排API
作业中源连接为HBase连接或CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如表1所示。 CloudTable或HBase作为源端时,CDM会读取表的首行数据作为字段列表样例,如果首行数据未包含
E_DEFAULT_DATA_DOWNLOAD_POLICY”的默认下载权限策略,放开所有用户的导出权限。默认策略允许修改和删除。 如果没有任何下载权限策略,则默认放开所有用户的导出权限。 如果存在一条或多条下载权限策略,用户的最终权限取决于多个策略中的用户权限并集。对于非授权对象的普通用户(即非DAYU
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适
mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速
用户在CDM上配置的连接和作业支持导出到本地保存,考虑到密码的安全性,CDM不会将对应数据源的连接密码导出。因此在将作业配置重新导入到CDM前,需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 不支持集群自动升级到新版本,需要用户通过作业的导出和导入功能,实现升级到新版本。
单击“确定”。 导出对账作业 系统支持批量导出对账作业,一次最多可导出200个对账作业。导出作业时,导出的单元格内容最大长度支持65534个字符。 选择“数据质量监控 > 对账作业”,选择要导出的对账作业。 单击“导出”,弹出“导出对账作业”对话框。 单击“导出”,切换到“导出记录”页签。
覆盖:删除OBS路径中已有的重名文件夹,重新创建自定义的文件夹。 存在即报错:系统返回错误信息,退出导出操作。 是否导出列名 否 是:导出列名 否:不导出列名 字符集 否 UTF-8:默认字符集。 GB2312:当导出数据中包含中文字符集时,推荐使用此字符集。 GBK:国家标准GB2312基础上扩容后兼容GB2312的标准。
图9 逆向结果 导出码表 Excel导出码表时,码表名称需要限制在32个字符以内。 在数据架构控制台,单击左侧导航树中的“码表管理”,进入码表管理页面。 导出码表。 导出码表 在码表列表中,选中所需导出的码表,然后单击“更多 > 导出”。 图10 码表列表 导出码表目录中的所有表
源端为数据库时该参数才显示,支持按大小分成多个文件存储,避免导出的文件过大,单位为MB。 1024 编码类型 文件编码类型,例如:“UTF-8”或“GBK”。“文件格式”为“二进制格式”时该参数值无效。 GBK 首行为标题行 从关系型数据库导出数据到OBS,“文件格式”为“CSV格式”时,才有该参数。
理中心配置数据搬迁。 当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务,数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据,并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。 父主题: DataArts Studio配置数据搬迁实践
目的端支持的数据源:HDFS(使用二进制格式传输时支持)。 下面分别以HDFS导出加密文件时解密、导入文件到HDFS时加密为例,介绍AES-256-GCM加解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时,源端数据源选择HDFS、文件格式选择二进制格式后,在“源
确后,再重新上传。 图9 上次导入 导出指标:您可以通过导出功能,导出已生成的业务指标。 在数据架构控制台,单击左侧导航树中的“业务指标”,进入业务指标页面。 在业务指标页面,找到需要导出的业务指标,然后单击“更多 -> 导出”。 图10 导出业务指标 如果在配置中心的指标配置页
目的端支持的数据源:HDFS(使用二进制格式传输时支持)。 下面分别以HDFS导出加密文件时解密、导入文件到HDFS时加密为例,介绍AES-256-GCM加解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时,源端数据源选择HDFS、文件格式选择二进制格式后,在“源
您谨慎操作! 删除集群前,请您确认如下注意事项: 待删除集群确认已不再使用。 待删除集群中所需的连接和作业数据已通过批量管理CDM作业中的导出作业功能进行备份。 对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。
比对版本 导出规则模板 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。 选择“数据质量监控 > 规则模板”,选择要导出的自定义规则模板。 单击“导出”,弹出“导出规则模板”对话框。 单击“导出”,切换到“导出记录”页签。 在导出文件列表中,单击最新导出文件对应
作业失败重试:如果作业执行失败,可选择是否自动重新启动作业。 作业分组:CDM支持对作业进行分组,分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行:可选择作业是否定时自动启动。 抽取并发数:可设置同时执行的抽取任务数。 是否写入脏数据:如果需要将作业执行过程中处理失
该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串,就全部导出。 fromJobConfig