检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发
清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
登录统一身份认证服务IAM控制台。 在左侧导航窗格中,选择“权限管理>权限”页签,单击右上方的“创建自定义策略”。 图2 创建自定义策略 在自定义策略配置页面,策略配置方式切换至JSON视图,然后按照如下策略内容,创建obs_dli-trans自定义策略。 { "Version": "1.1"
Kerberos:安全模式选择Kerberos鉴权。 linkConfig.properties 否 Map 属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值 父主题: 连接参数说明
部分数据清除操作。 是 where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 父主题: 配置CDM作业目的端参数
句。 说明: “导入前准备语句”格式是json,只有两个键值对,第一个键值对是配置操作类别,key是"type",value只支持"remove"和"drop"。第二个键值对是针对不同操作类别,需要配置的数据条件或者集合名称。 导入前准备语句的执行不会影响即将写入的数据内容。 {"type":"remove"
仅当“数据源列表”中某个后端数据库A未配置用户名密码时,该配置对A生效。如果后端数据库B已配置用户名密码,此处配置不对B生效。 cdm 密码 待连接数据库的用户密码。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时,该配置对A生效。如果后端数据库B已配置用户名密码,此处配置不对B生效。 - 使用Agent
CTS可记录的CDM操作列表详见支持云审计的关键操作。用户开通开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计,用户可查看CTS保存最近7天的审计日志。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表中
清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and
实际填的没有错 问题描述 创建Mysql链接,确认过用户名、密码没有错,同样的配置,在roma上建立数据连接能成功。 故障分析 查看后端日志,考虑用户Mysql侧有白名单限制,测试内网相通的另一台ECS Mysql客户端使用这个用户链接。 解决方案 再次核实账号密码无误,是用户使
Agent功能待下线,无需配置。 - 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“
STANDALONE 是否使用集群配置 用户可以在“连接管理”处创建集群配置,用于简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hbase_01 单击“显
开发调度即可,无需配置CDM定时任务。 定时任务功能原理:采用Java Quartz定时器,类似Cron表达式配置。对起始时间解析出分,小时,天,月。构造出cronb表达式。 以配置天调度为例:重复周期选择1天:若当前时间2022/10/14 12:00,配置起始时间为2022/10/14
AccessKeyID 访问日志服务的访问密钥,用于标识用户。 - accessKeySecret 访问日志服务的访问密钥,用来验证用户的密钥。 - 父主题: 配置连接参数
在创建CDM迁移作业的界面,迁移桶A的数据到桶B。 源端桶名配置为${bucket_1},目的端桶名配置为${bucket_2}。 图1 桶名配置为环境变量 如果下次要迁移桶C数据到桶D,则无需更改作业参数,只需要在“配置管理”界面将环境变量改为如下即可: bucket_1=C bucket_2=D
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
输出详细待迁移数据表、文件个数、大小,用于后续校验。 分批配置迁移任务,保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 D
您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级