检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按表达式对象筛选：例如{'last_name': 'Smith'}，表示查找所有“last_name”属性值为“Smith”的文档。 按参数选项筛选：例如{ x : "john" }, { z : 1 }，表示查找x=john的所有z字段。 按条件筛选：例如{ "field" : { $gt:
终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 云数据迁移服务的终端节点如表1所示，请您根据业务需要选择对应区域的终端节点。 表1 CDM数据集成Endpoint 区域名称 区域ID 终端节点（Endpoint）
hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 待迁移数据的目录，将迁移目录下的所有文件（包括所有嵌套子目录及其子文件）。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期
不同规格集群，满足您快速创建集群、绑定集群EIP、重启集群、修改集群消息通知及用户隔离等需求。 创建集群 解绑/绑定集群的EIP 下载集群日志 查看集群基本信息 修改集群配置 查看监控指标 已发布区域：全部 创建连接 CDM有两种迁移方式，支持的数据源有所不同： 表/文件迁移：适
CDM支持从对象存储服务（Object Storage Service，简称OBS）导入、导出数据，同时CDM还利用OBS存储集群数据备份文件和日志。 云监控 CDM服务使用云监控（Cloud Eye）监控CDM服务集群中的多项性能指标，从而集中高效地呈现状态信息，具体如表1所示。 表1
“否”即可，不记录脏数据。 图9 任务配置 单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。 父主题：
https://bucket.obs.myhuaweicloud.com/object-key 列表文件 选择“是”，将待上传的文本文件中所有URL对应的文件拉取到OBS，文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中，这里需要选择已建立的OBS连接。 obs_link
支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。
“否”即可，不记录脏数据。 图9 任务配置 单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。 父主题：
自动备份功能的开关，该功能只备份作业，不会备份连接。 开 备份策略 所有作业：不管作业处于什么状态，CDM会备份所有表/文件迁移作业、整库迁移的作业。不备份历史作业。 分组作业：选择备份某一个或多个分组下的作业。 所有作业 备份周期 选择备份周期： 日：每天零点执行一次。 周：每周一零点执行一次。
格详情。 如何选择可用区？ 是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 区域和终端节点 终端节点（En
data2}。其中，“{”、“}”代表不包含该值，“[”、“]”代表包含该值，TO必须大写且前后要有空格，*代表所有。 例如：“time:{1636992000000 TO *]”,表示过滤time字段中大于1636992000000的所有数据。也可以配合时间宏变量使用，如“createTime:[${timest
定是否压缩存储。 否 存储模式 导入数据到DWS且选择自动创表时，用户可以指定存储模式： 行模式：表的数据将以行式存储，适用于点查询（返回记录少，基于索引的简单查询），或者增删改比较多的场景。 列模式：表的数据将以列式存储，适用于统计分析类查询（group、join多的场景），或
2的31次方~2的31次方-1范围内的所有整数。 INT INTEGER INT bigint bigint存储在8个字节中，其中一个二进制位表示符号位，其它63个二进制位表示长度和大小，可以表示-2的63次方~2的63次方-1范围内的所有整数。 BIGINT BIGINT NUMBER
2的31次方~2的31次方-1范围内的所有整数。 INT INTEGER INT bigint bigint存储在8个字节中，其中一个二进制位表示符号位，其它63个二进制位表示长度和大小，可以表示-2的63次方~2的63次方-1范围内的所有整数。 BIGINT BIGINT NUMBER
易详单数据和基础信息数据），基于CDM+OBS+DLI完成贸易统计分析。 图1 场景方案 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE
由于数据源限制，实际执行时并发的线程数可能小于等于此处配置的并发数，如CSS，ClickHouse数据源不支持多并发抽取。 1 是否写入脏数据 选择是否记录脏数据，默认不记录脏数据。 是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 obs_link
集群管理 查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群（待下线） 创建集群 查询集群列表 父主题： API
单击“导出”，弹出批量导出页面，如图1。 图1 批量导出页面 全部作业和连接：勾选此项表示一次性导出所有作业和连接。 全部作业：勾选此项表示一次性导出所有作业。 全部连接：勾选此项表示一次性导出所有连接。 按作业名导出：勾选此项并选择需要导出的作业，单击确认即可导出所选作业。 按分组导出：
“Where子句”为DS='${dateformat(yyyy-MM-dd,-1,DAY)}'，这样就可以在每天的凌晨0点导出前一天产生的所有数据。 数据库表中存在表示时间的列time，类型为“Number”，插入的时间格式为时间戳。 定时任务中，重复周期为1天，每天的凌晨0点执
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
