检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以迁移例如SFTP服务器上的数据。 Linux机器也可以通过IPTABLE实现端口映射。 内网中的FTP通过端口映射到公网时，需要检查是否启用了PASV模式。这种情况下客户端和服务端建立连接的时候是走的随机端口，所以除了配置21端口映射外，还需要配置PASV模式的端口范围映射，例
企业模式角色操作 企业模式业务流程 管理员操作 开发者操作 部署者操作 运维者操作 父主题： （可选）升级企业模式工作空间
日期和时间模式 EL表达式中的日期和时间可以按用户指定的格式进行显示，日期和时间格式由日期和时间模式字符串指定。日期和时间模式字符串由A到Z、a到z的非引号字母组成，字母的含义如表1所示。 表1 字母含义 字母 描述 示例 G 纪元标记 AD y 年 2001 M 年中的月份 July
名。 写入模式：选择数据写入模式。 UPSERT为批量更新入库模式，COPY为DWS专有的高性能批量入库模式。 批写最大数据量：根据表数据大小和作业内存使用，适当调整，数据范围1-10000000。 定时批写时间间隔：数据定时入库的间隔时间，时间1-1000， 单位为秒。 高级配
空间的描述信息。 空间模式 选择新建工作空间的模式。 简单模式：即传统的DataArts Studio工作空间模式，使用方便，但无法对数据开发流程和表权限进行强管控。 企业模式：企业模式下DataArts Studio数据开发组件以及对应管理中心组件数据连接支持设置开发环境和生产环境
API授权操作(授权/取消授权/申请/续约) 功能介绍 API主动授权： API审核人可发起，API主动授权成功后，在有效期内，APP即可访问该API。API授权包含授权和续约两部分功能。 授权：授权会给予APP在有效期内访问API的权利。 续约：续约会更新授权有效期，仅支持延长有效期，不能减少。
S、MySQL、Oracle、DIS、ECS），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务（即两个集群），且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。
改。 写入模式：选择数据写入模式。 UPSERT为批量更新入库模式，COPY为DWS专有的高性能批量入库模式。 批写最大数据量：根据表数据大小和作业内存使用，适当调整，数据范围1-10000000。 定时批写时间间隔：数据定时入库的间隔时间，时间1-1000， 单位为秒。 高级配
hh:mm:ss")) 如果当前字段值为“yyyy-MM-dd”格式的日期字符串，需要截取年，例如字段值为“2017-12-01”，转换后为“2017”。 表达式：StringUtils.substringBefore(value,"-") 如果当前字段值为数值类型，转换后值为当前值的两倍。 表达式：value*2
源端为Apache Kafka，目的端为MRS Kafka 该链路目前仅支持分库分表场景。 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 分库分表场景 源端配置。 Kafka配置。 数据格式：支持的数据格式。 目前支持JSON、CSV、TEXT格式。
源端为DIS JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
源端为Kafka JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
hh:mm:ss")) 如果当前字段值为“yyyy-MM-dd”格式的日期字符串，需要截取年，例如字段值为“2017-12-01”，转换后为“2017”。 表达式：StringUtils.substringBefore(value,"-") 如果当前字段值为数值类型，转换后值为当前值的两倍。 表达式：value*2
} 参数说明 参数 是否必选 类型 说明 fromJobConfig.hive 否 String 待抽取数据的数据源，作业源端为Hive时，这里为“hive”。 fromJobConfig.database 否 String 待抽取数据的数据库，例如“default”。 fromJobConfig
如何降低CDM使用成本？ 如果是迁移公网的数据上云，可以使用NAT网关服务，实现CDM服务与子网中的其他弹性云服务器共享弹性IP，可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下： 假设已经创建好了CDM集群（无需为CDM集群绑定专用弹性IP），记录下CDM集群所在的VPC和子网。
hh:mm:ss")) 如果当前字段值为“yyyy-MM-dd”格式的日期字符串，需要截取年，例如字段值为“2017-12-01”，转换后为“2017”。 表达式：StringUtils.substringBefore(value,"-") 如果当前字段值为数值类型，转换后值为当前值的两倍。 表达式：value*2
schemas”，选择“新建模式”。 在弹出的“新建模式”页面，配置如表1所示的参数。 表1 新建模式 参数 是否必选 说明 模式名称 是 数据库模式的名称。 描述 否 数据库模式的描述信息。 单击“确定”，新建数据库模式。 相关操作 修改数据库模式：在脚本开发导航栏，选择，展开
性编辑”中的配置，存在相同配置项时会被覆盖。 源表与目标表映射：Oracle为源端时，暂不支持迁移CLOB、NCLOB和BLOB类型。 图3 配置源表与目标表映射 Hudi表必须设置“同步主键”，在源端为非主键表时，必须在字段映射阶段手动勾选主键。 表属性编辑：单击操作列“表属性
件到目的端，则参数配置如下： 时间过滤器：选择为“是”。 起始时间：配置为2021-01-01 00:00:00（格式要求为yyyy-MM-dd HH:mm:ss）。 终止时间：配置为2022-01-01 00:00:00（格式要求为yyyy-MM-dd HH:mm:ss）。 图2
创建并配置简单模式工作空间 创建简单模式工作空间 设置工作空间配额 （可选）修改作业日志存储路径 父主题： 购买并配置DataArts Studio
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
