检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改，服务器返回此状态码时，不会返回任何资源。 305 Use Proxy 所请求的资源必须通过代理访问。
前一日分区： day='${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)}', 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE TABLE语句，用于优化Hive表查询速度。
数据开发作业执行成功后，单击右上角的“前往监控”，进入“作业监控”页面，查看生成的任务或实例是否符合需求，如图6所示。 图6 查看运行结果
用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择“云数据迁移服务”，进入CDM主界面查看集群，若未提示权限不足，表示“CDM ReadOnlyAccess”已生效。
脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。
图3 新建转换器 转换器类型选择“表达式转换”，目前表达式转换支持字符串和日期类型的函数，语法和Java的字符串和时间格式函数非常相似，可以查看表达式转换了解如何编写表达式。
图2 创建MRS Hive连接 单击“显示高级属性”可查看更多可选参数，这里保持默认，必填参数如下表所示。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。
图2 创建MRS Hive连接 单击“显示高级属性”可查看更多可选参数，这里保持默认，必填参数如下表所示。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。
用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
如果开启了用户隔离功能，即使华为账号下的其他IAM用户无法查看到组内作业，按组批量启动作业依然会将组内作业运行，因此在用户隔离场景不建议使用按组批量启动作业功能。 批量运行作业 勾选一个或多个作业后，单击“运行”可批量启动作业。
是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图3 任务配置 单击“保存并运行”，CDM立即开始执行作业。
作业执行完成后，可在作业的“历史记录”中查看详细的数据统计。 父主题： 车联网大数据零丢失搬迁入湖
是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。 作业运行完是否删除：可选择是否自动删除作业。
折扣套餐为按需资源包，当前不支持退订，具体详情可查看不可退订。 另外在删除集群或退订CDM后，对于在CDM使用过程中可能会产生费用的以下相关服务，请分别退订其资源，避免其依然计费。
写入文件大小 这个参数是针对数据库导出到CSV文件的场景，如果一张表的数据量比较大，那么导出到CSV文件的时候，会生成一个很大的文件，有时会不方便下载或查看。这时可以在目的端指定该参数，这样会生成多个指定大小的CSV文件，避免导出的文件过大。该参数的数据类型为整型，单位为MB。
数据湖探索（DLI） 用户需要具备DLI数据源所有字段的“查询表”权限，即SELECT权限。 MRS ClickHouse 数据仓库：MRS ClickHouse，数据湖探索（DLI） MRS ClickHouse建议使用的版本：21.3.4.X。
写入文件大小 这个参数是针对数据库导出到CSV文件的场景，如果一张表的数据量比较大，那么导出到CSV文件的时候，会生成一个很大的文件，有时会不方便下载或查看。这时可以在目的端指定该参数，这样会生成多个指定大小的CSV文件，避免导出的文件过大。该参数的数据类型为整型，单位为MB。
DWS：需要表的schema usage权限和数据表的查询权限。 SQL Server：用户需要有sysadmin权限。 PostgreSQL：角色拥有数据库下schema下表的select权限。
用户需要具备DLI数据源所有字段的“查询表”权限，即SELECT权限。 MRS ClickHouse 数据仓库：MRS ClickHouse，数据湖探索（DLI） MRS ClickHouse建议使用的版本：21.3.4.X。
用户需要具备DLI数据源所有字段的“查询表”权限，即SELECT权限。 MRS ClickHouse 数据仓库：MRS ClickHouse，数据湖探索（DLI） MRS ClickHouse建议使用的版本：21.3.4.X。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
