检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源管理等类型的节点,您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式,EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接:按顺序逐个执行节点,当A节点执行完成后,再执行B节点。 并行连接:A节点和B节点同时执行。 图1 连接示意图 父主题:
授权API调用 通过应用授权APP认证方式API 通过应用授权IAM认证方式API 通过白名单授权IAM认证方式API 父主题: 开发数据服务API
写入数据的表名。 car_detail 导入模式 选择导入模式。 TRUNCATE方式:会在导入前执行。 TRUNCATE方式:清空DLI表分区。 INSERT_OVERWRITE方式:使用分区覆盖的方式写入数据。 INSERT_OVERWRITE 空字符串作为null 如果设置为true,空字符串将作为null。
202,401,403,404。 数据源认证及其他功能配置 认证方式 是 认证方法。包括: NONE:无认证。 BASIC_AUTH:基础验证。 如果数据源API支持用户名和密码的方式进行验证,您可选择此种验证方式,并在选择完成后配置用于验证的用户名和密码,后续数据集成过程中对接数据源时,通过Basic
创建API 配置方式生成API 脚本/MyBatis方式生成API 注册API 父主题: 开发数据服务API
CDM作业实际启动时间-偏移量”。 TBL_E 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式,如果没有使用WHERE条件进行数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。
Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式,如果没有使用WHERE条件做数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。
选择作业或作业文件夹要移动到的目录,父级目录默认为根目录。 单击“确定”,移动作业。 方式二:通过拖拽的方式。 单击选中待移动的作业或作业文件夹,拖拽至需要移动的目标文件夹松开鼠标即可。 方式三:批量选中进行移动。 批量选择待移动的多个作业或作业文件夹,移动到目标文件夹下。 作业移动时,支持将作业移动到翻牌目录下。
HDFS读取方式时,支持按Hive文件分片。 JDBC读取方式时,不支持分片。 FusionInsight HDFS 支持按文件分片。 FusionInsight HBase 支持按HBase的Region分片。 FusionInsight Hive HDFS读取方式时,支持按Hive文件分片。
见什么是默认密钥。 数据源认证及其他功能配置 用户名 是 主机的登录用户名。 登录方式 是 选择主机的登录方式: 密钥对 密码 密钥对 是 “登录方式”为“密钥对”时,显示该配置项。 主机的登录方式为密钥对时,您需要获取并上传其私钥文件至OBS,在此处选择对应的OBS路径(OBS路径中不能存在中文字符)。
批量数据迁移增量包支持通过按需计费或套餐包方式计费两种方式购买: 按需计费方式购买数据集成集群:按需计费方式比较灵活,可以即开即停,按实际使用时长计费。 套餐包方式购买数据集成集群:套餐包方式相对于按需计费更优惠,对于长期使用者,推荐该方式。 数据服务专享集群增量包 数据服务定位于
移动脚本/移动目录参数 参数 说明 选择目录 选择脚本或脚本目录要移动到的目录,父级目录默认为根目录。 单击“确定”,移动脚本/移动目录。 方式二:通过拖拽的方式。 单击选中待移动的脚本或脚本文件夹,拖拽至需要移动的目标文件夹松开鼠标即可。 父主题: (可选)管理脚本
二进制格式适用于文件迁移场景。 CSV格式 换行符处理方式 指定在写入文本文件表的数据包含换行符,特指(\n|\r|\r\n)的情况下处理换行符的策略。 删除 不处理 替换为其他字符串 删除 换行符替换字符串 当换行符处理方式选择为替换时,指定替换的字符串。 - 高级属性 写入到临时文件
进入敏感数据分布页面 在敏感数据分布页面,您可以通过如下两种方式之一来查看敏感数据发现结果并进行手工修正。推荐您使用方式1,相比于方式2,方式1支持修改数据密级、分类,无需切换页面即可完成敏感数据查看与修正,并支持批量操作。 (推荐)方式1:在“敏感数据分布”页签,单击展开数据源详情,查看
可选参数,CDM只迁移满足过滤条件的数据。 当前仅支持通过Elasticsearch的query string(即q语法)方式对源数据进行过滤。q语法使用方式介绍如下: 精确匹配时,直接使用column:data格式进行匹配过滤。其中column表示字段名,data表示查询条件,
分别为付款方式、供应商、费率3个码表填写数值。 在“码表管理”页面,找到码表“付款方式”,然后在该码表所在行选择“更多 > 填写数值”。在填写数值页面,依次单击“新建”添加如表3所示的数值。 表3 付款方式码表的数值 付款方式编码 payment_type_id 付款方式值 payment_type_value
是 String 关系表行数据在Redis中的存储方式分为“string”和“hash”两种存储方式。 STRING:表示用字符串通过分隔符来表示一行数据的各列,可以有效节省存储空间。 HASH:表示一行数据通过“列名:列值”的方式存储在hash表中。 fromJobConfig.valueSeparator
分别为付款方式、供应商、费率3个码表填写数值。 在“码表管理”页面,找到码表“付款方式”,然后在该码表所在行选择“更多 > 填写数值”。在填写数值页面,依次单击“新建”添加如表4所示的数值。 表4 付款方式码表的数值 付款方式编码 payment_type_id 付款方式值 payment_type_value
的端恢复文件。 toJobConfig.duplicateFileOpType 否 枚举 重复文件处理方式,只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式: REPLACE:替换重复文件。 SKIP:跳过重复文件。 ABANDON:发现重复文件停止任务。 toJobConfig
支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量和函数。 作业开发 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、SQL