检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 仅支持Hash和String两种数据格式。
文件格式：文件的复制要选择“二进制格式”。 目的端作业配置 目的连接名称：选择上面创建的MRS HDFS连接。 写入目录：选择MRS HBase的目录，例如“/hbase/data/default/table_20180815/”。
fromJobConfig.fromCompression 否 枚举 压缩格式，当文件格式为“CSV_FILE”或“JSON”时此参数有效。选择对应压缩格式的源文件： NONE：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。
须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
图1 业务场景说明 需要额外说明的是，GES图数据格式包含三部分：点数据集、边数据集以及元数据，如果原始数据不符合GES指定的格式，则需要将数据整理为GES支持的格式。 点数据集用于存放点数据。 边数据集用于存放边数据。 元数据用于描述点数据集和边数据集中的数据格式。
fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。
数据安全 为什么运行静态脱敏任务后却没有按照规则脱敏？ 审批DWS权限申请时提示“缺少必要的请求参数”怎么办？ 启用细粒度认证时，DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办？ 启用细粒度认证后，在数据开发组件选择数据库时报错
数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖工厂
图7 作业配置 在源端、目的作业配置区域，单击“显示高级属性”，在“高级属性”中，系统提供了默认值，请根据实际业务数据的格式设置各项参数。 例如，本例中根据数据源准备中的样例数据格式，源端高级属性需注意以下参数的设置，其他参数均保留默认值即可，如图8所示。
fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.separator 否 String 字段分隔符。
点数据集和边数据集应符合GES图数据格式要求。图数据格式要求简要介绍如下，详情可参见一般图数据格式。 点数据集罗列了各个点的数据信息。一行为一个点的数据。格式如下所示，id是点数据的唯一标识。
当前脚本 ${脚本参数} 配置方法请参考：脚本参数 SQL脚本的变量格式有${}和${dlf.}两种，支持用户根据实际情况进行配置。配置的变量格式会作用于SQL脚本、作业中SQL语句、单节点作业，环境变量。配置脚本变量格式的操作请参见脚本变量定义。
Content-Type 否 String 消息体的类型（格式），有Body体的情况下必选，没有Body体无需填写。如果请求消息体中含有中文字符，则需要通过charset=utf8指定中文字符集，例如取值为：application/json;charset=utf8。
建议修改CDM集群对应的ECS主机（通过集群IP查找对应的ECS主机）中的“/etc/hosts”文件，为其添加Broker连接地址的自映射，以便客户端能够快速解析实例的Broker。
图5 选择Kafka Topic 数据格式 源端Kafka Topic中消息内容的格式，Migration当前支持对如下三种消息进行处理： JSON格式：支持对消息内容以JSON的层级格式进行解析。 CSV格式：支持对消息内容以CSV格式指定分隔符进行解析。
输出处理 必选 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换，以确定最终返回的数据格式。 输出处理算子的配置方法，详见配置输出处理算子。 父主题： 编排API
dateformat dateformat支持两种形式的参数： dateformat(format) format表示返回日期的格式，格式定义参考"java.text.SimpleDateFormat.java"中的定义。
dateformat dateformat支持两种形式的参数： dateformat(format) format表示返回日期的格式，格式定义参考"java.text.SimpleDateFormat.java"中的定义。
Content-Type 是 String 消息体的类型（格式），有Body体的情况下必选，没有Body体无需填写。如果请求消息体中含有中文字符，则需要通过charset=utf8指定中文字符集，例如取值为：application/json;charset=utf8。
value 是 String 时间格式，例如：“yyyy-MM-dd”。 父主题： 源端作业参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
