检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
目的端为Elasticsearch/云搜索服务 JSON样例 "to-config-values": { "configs": [ { "inputs": [
户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。 父主题: 配置连接参数
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 公共数据结构
配置,在roma上建立数据连接能成功。 故障分析 查看后端日志,考虑用户Mysql侧有白名单限制,测试内网相通的另一台ECS Mysql客户端使用这个用户链接。 解决方案 再次核实账号密码无误,是用户使用Mysql账号没有给CDM集群授权,用户侧Mysql数据库需要对cdm集群的ip授权。
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容,手动配置库和表后字段可以显示,但报错hive 客户端初始化失败,无效的方案: get_table_req。 解决方案 用户的MRS集群是1.8.1,CDM为2.6.0。 报错看CDM封装的Hive
Administrator权限。 拥有VPC Administrator权限的CDM用户可以创建VPC或子网。 拥有云监控Administrator权限的CDM用户,可以查看CDM集群的监控指标信息。 系统角色 CDM FullAccess CDM管理员权限,拥有CDM服务所有权限。 系统策略
等问题,极大降低了开发维护成本。 CDM还提供了REST API,支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能,自行
SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 是 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。 Apache Kafka Apache
上传存量数据 使用华为云专线,搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。
服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 410 Gone 客户端请求的资源已经不存在。 返回该状态码,表明请求的资源已被永久删除。 411 Length Required 服务器无法处理客户端发送的不带Content-Length的请求信息。
Service,简称OBS)导入、导出数据,同时CDM还利用OBS存储集群数据备份文件和日志。 云监控 CDM服务使用云监控(Cloud Eye)监控CDM服务集群中的多项性能指标,从而集中高效地呈现状态信息,具体如表1所示。 表1 CDM的监控指标 指标名称 指标含义 取值范围 测量对象 网络流入速率 该指标用于统计每秒流入测量对象的网络流量。
任何大于1024的端口到FTP服务器的21端口(客户端初始化的连接)。 2. FTP服务器的21端口到大于1024的端口(服务器响应客户端的控制端口)。 3. FTP服务器的20端口到大于1024的端口(服务器端初始化数据连接到客户端的数据端口)。 4. 大于1024端口到FTP服务器的20端口(客户端发送ACK响应到服务器的数据端口)。
Linux机器也可以通过IPTABLE实现端口映射。 内网中的FTP通过端口映射到公网时,需要检查是否启用了PASV模式。这种情况下客户端和服务端建立连接的时候是走的随机端口,所以除了配置21端口映射外,还需要配置PASV模式的端口范围映射,例如vsftp通过配置pasv_m
通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作,与CDM迁移近一个月的数据相同,都是使用二进
会保留吗? 云服务进入宽限期/保留期后,华为云将会通过邮件、短信等方式向您发送提醒,提醒您续订或充值。保留期到期仍未续订或充值,存储在云服务中的数据将被删除、云服务资源将被释放。 宽限期:指客户的包周期资源到期未续订或按需资源欠费时,华为云提供给客户进行续费与充值的时间,宽限期内客户可正常访问及使用云服务。
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的
现有集群”,单击集群名称进入集群详情页面,单击“组件管理”。 单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”或“远端主机”,自定义文件保存路径后,单击“确定”开始生成客户端配置文件。 将生成的配置文件,保存到本地路径。 具体可参见MapReduce服务文档。
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题: 贸易数据极简上云与统计分析