检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
公共消息头 公共请求消息头 公共请求消息头如表1所示。 表1 公共请求消息头 名称 描述 是否必选 示例 Content-Type 消息体的类型（格式），默认取值为“application/json”。 如果请求消息体中含有中文字符，则还需要通过charset=utf8指定中文字符集。
型的长度。 字段值：目的端DWS表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量 任意字符。 内置变量 源端host ip地址：source.host。 源端schema名称：source.schema。 源端table名称：source.table。 目的端schema名称：target
字段类型：目的端Hudi表新增字段的类型。 字段值：目的端Hudi表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量 任意字符。 内置变量 源端host ip地址：source.host。 源端schema名称：source.schema。 源端table名称：source.table。 目的端schema名称：target
CSS 功能 通过CSS节点执行云搜索请求，实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。
贸易数据上云场景介绍 使用云数据迁移（Cloud Data Migration，简称CDM）将本地贸易统计数据导入到OBS，再使用数据湖探索（Data Lake Insight，简称DLI）进行贸易统计分析，帮助H咨询公司以极简、极低成本构建其大数据分析平台，使得该公司更好地聚焦业务，持续创新。
表达式概述 数据开发模块作业中的节点参数可以使用表达式语言（Expression Language，简称EL），根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
认”。导出完成后，请到下载中心查看导出的内容。 如果没有配置默认存储路径，单击“批量导出”后，配置存储路径，可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M，超过30M系统会自动截断。 导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数
如何选择版本 请您根据您所需的功能和规格，慎重选择DataArts Studio版本。 购买版本后，无法直接降级版本。如已购买企业版，无法直接降级到初级版，您需要采取先备份数据，然后退订原有实例，购买新实例，最后迁移备份数据到新实例的方式来实现版本降级。 如果您的业务量不断增长，
步骤2：数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio，请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例（DataArts Studio企业版）、创建工作空间等一系列
日志提示解析日期格式失败时怎么处理？ 问题描述 在使用CDM迁移其他数据源到云搜索服务（Cloud Search Service）的时候，作业执行失败，日志提示“Unparseable date”，如图1所示。 图1 日志提示信息 原因分析 云搜索服务对于时间类型有一个特殊处理：
创建DataArts Studio数据连接 通过配置数据源信息，可以建立数据连接。DataArts Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。 配置开发和生产环境的数据连接后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。
调用API方式简介 创建API时，有三种认证方式可选，不同认证方式的API支持的调用方式也有所不同，详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 （推荐）APP认证 高 通过APP应用将API授权给应用后，
数据服务SDK概述 本文档指导API调用者通过数据服务SDK代码调用数据API，当前数据服务SDK代码仅支持调用API场景。 数据服务SDK介绍 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例，即可进行数
新建数据对账作业 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 数据质量监控中的对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 创建作业 在DataArts
数据开发 数据开发可以创建多少个作业，作业中的节点数是否有限制？ DataArts Studio支持自定义的Python脚本吗？ 作业关联的CDM集群删除后，如何快速修复？ 作业的计划时间和开始时间相差大，是什么原因？ 相互依赖的几个作业，调度过程中某个作业执行失败，是否会影响后续作业？这时该如何处理？
基线管理 为了保障重要任务能按时完成，用户可以使用基线管理功能将重要任务添加至基线上并设置承诺时间和预警余量时间。当系统判断基线任务可能无法在承诺时间前完成时，将发出告警。 创建基线 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS
配置方式生成API 本节介绍如何通过配置方式生成API。 使用配置方式生成数据API简单且容易上手，您不需编写任何代码，通过产品界面进行勾选配置即可快速生成API。推荐对API功能的要求不高或者无代码开发经验的用户使用。 前提条件 已在“管理中心 > 数据连接”页面，完成数据源的配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
