检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
上传存量数据 使用华为云专线，搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶，并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包
贸易数据上云场景介绍 使用云数据迁移（Cloud Data Migration，简称CDM）将本地贸易统计数据导入到OBS，再使用数据湖探索（Data Lake Insight，简称DLI）进行贸易统计分析，帮助H咨询公司以极简、极低成本构建其大数据分析平台，使得该公司更好地聚焦业务
数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在 问题描述 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在。 故障分析 查看日志报PG数据库表字段找不到所致，分析是字段命名使用小驼峰，而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置
上传增量数据 使用CDM将存量数据上传完后，单击该作业后的“编辑”，直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM
步骤4：查看作业运行结果 操作场景 作业完成后，可以查看作业执行结果及最近30天内的历史信息，包括写入行数、读取行数、写入字节、写入文件数和日志等信息。 操作步骤 在集群管理界面，找到步骤1：创建集群章节创建的集群“cdm-aff1”。 单击该CDM集群后的“作业管理”，进入作业管理界面
操作流程概述 流程介绍 使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤： 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务，每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据
CSV数据类型插入MySQL报错invalid utf-8 charater string '' 问题描述 迁移作业执行失败，提示invalid utf-8 charater string ''。 故障分析 考虑是数据格式问题，后端进一步分析日志确认。 解决方案 后台排查sqoop
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题： 贸易数据极简上云与统计分析
迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？ 问题描述 MySql-TO-DLI迁移报错，java.lang.NumberFormatException：For input string："false"。 故障分析 根据报错分析，
脏数据导致CSV数据类型问题插入MySQL报错 问题描述 客户作业失败，提示invalid utf-8 charater string ''。 故障分析 根据报错，考虑用户数据中存在脏数据，个别字段类型不匹配导致。 解决方案 后台排查客户sqoop日志，考虑客户源端数据类型格式问题导致异常
数据迁移前后数据量不一致是什么问题？ 问题描述 使用CDM进行数据迁移，迁移完成后，目标库数据要比原始库多，有的多十几条，有的多几千条。 故障分析 根据故障信息分析，考虑是作业配置限制，检查作业配置，发现目的端配置为导入开始前“不清除”，不清除可能存在多次操作，部分数据重复。 解决方案
MySQL数据迁移到MRS Hive分区表 MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。 其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、
MySQL数据迁移到MRS Hive分区表 MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。 其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、
如何查看审计日志 概述 云审计服务（Cloud Trace Service，CTS）可以记录CDM相关的操作事件，用于支撑安全分析、合规审计、资源管理和问题定位等常见应用场景。 在您开启了云审计服务后，系统开始记录CDM的相关操作，云审计服务的管理控制台保存最近7天的操作记录。 前提条件
审计与日志 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的CDM操作列表详见支持云审计的关键操作
云搜索服务（CSS）连接参数说明 华为云的云搜索服务（CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash，
迁移MySql到DWS，TINYINT类型迁移报错 问题描述 使用CDM从MySql迁移到DWS，运行作业报错“ERROR:value '-1'is out of range for 8 b-bit integer”。 故障分析 根据问题现象，目的端类型不支持值为“-1”插入，检查目的端字段映射
管理单个CDM作业 已存在的CDM作业支持查看、修改、删除、启动、停止等操作，这里主要介绍作业的查看和修改。 查看 查看作业状态 作业状态有New，Pending，Booting，Running，Failed，Succeeded，stopped。 其中“Pending”表示正在等待系统调度该作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
