检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像，并且使用ECS自带
数据质量配置数据搬迁 数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。 约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出，如有涉及，请您进行手动配置同步。 系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。
Apache Hive数据连接参数说明 表1 Apache Hive数据连接 参数 是否必选 说明 数据连接类型 是 Apache Hive连接固定选择为Apache Hive。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签
FTP/SFTP连接 介绍 通过FTP或SFTP连接，可以对FTP或SFTP服务器抽取或加载文件，支持CSV、二进制和JSON格式。 连接样例 { "links": [ { "link-config-values": {
Redis连接 介绍 通过Redis连接，可以对Redis服务器抽取或加载数据。 连接样例 { "links": [ { "link-config-values": { "configs": [
MongoDB连接 介绍 通过MongoDB连接，可以对MongoDB服务器抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
Cassandra连接参数说明 2.9.3.300以上版本不支持Cassandra。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON
步骤3：数据开发处理 本步骤通过电影信息和评分信息的原始数据，分析评分最高的Top10电影和最活跃的Top10电影，然后通过作业定期调度执行并将结果每日导出到表中，以支撑信息分析。 创建DWS SQL脚本top_rating_movie（用于存放评分最高的Top10电影） 评分最
SDK调用常见错误码/错误信息 表1 常见错误码/错误信息 错误码 错误信息 错误原因 解决方案 DLM.0 null 表示API调用成功。 表示调用成功，无需处理。 APIG.0101 The API does not exist or has not been published
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
HBase连接 介绍 通过HBase连接，可以对MRS、FusionInsight HD、Apache Hadoop的HBase抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
Kafka连接参数说明 MRS Kafka 连接MRS上的Kafka数据源时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的
跨Region通过云连接连通网络 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云，且与Migration资源组不同Reg
ORACLE数据连接参数说明 表1 Oracle数据连接 参数 是否必选 说明 数据连接类型 是 ORACLE连接固定选择为ORACLE。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
配置CDM作业字段映射 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段，也可单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，
数据开发应用示例 操作场景 数据治理中心DataArts Studio帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。 下面介绍如何调用创建脚本API创建脚本，API的调用方法请参见如何调用API。 前提条件 您
导出导入脚本 导出脚本 您可以在脚本目录中导出一个或多个脚本文件，导出的为开发态最新的已保存内容。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
