检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Where子句 配置定时任务:重复周期为1天,每天的凌晨0点自动执行作业。 这样就可以每天0点导出前一天产生的所有数据。Where子句支持配置多种时间宏变量,结合CDM定时任务的重复周期:分钟、小时、天、周、月,可以实现自动导出任意指定日期内的数据。 父主题: 增量迁移原理介绍
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 请求成功。 400 请求错误。 401 鉴权失败。 403
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306
集群配置名:根据连接的数据源类型,用户可自定义便于记忆、区分的集群配置名。 上传集群配置:单击“添加文件”以选择本地的集群配置文件,然后通过操作框右侧的“上传文件”进行上传。 Principal:仅安全模式集群需要填写该参数。Principal即Kerberos安全模式下的用户名,需要与Keytab文件保持一致。
资产识别与管理 云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于CDM而言,标签作用于其集群上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个不同的应用构成
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dds_link 服务器列表 服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的DDS数据库名称。
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将CDM资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CDM服务的其它功能。
其中CDM相关操作,与CDM迁移近一个月的数据相同,都是使用二进制直接传输文件目录,2个集群并发执行作业。 注意事项 当迁移动作影响到客户的HDFS集群时,需要手动停止作业。 如果作业出现大批量的失败: 先检查DES盒子是否被写满。如果写满,需要清除最近写入的目录,保证后面写入的数据都是完整的。 再检查网络是否连通。
作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予CDM FullAccess的系统策略,但不希望用户拥有CDM FullAccess中定义的删除CDM集群权限,您可以创建一条拒绝删除CDM集群的自定义策略,然后同时将CDM
images state 在CDM的作业管理界面,找到HBase到DWS的作业,选择作业后面的“更多 > 编辑作业JSON”。 在CDM界面编辑作业的JSON文件。 修改源端的“fromJobConfig.columns”参数,配置为1获取的HBase的字段,列号之间使用“&”分隔,列族与列之间用“:”分隔,如下:
rts Studio的权限体系进行权限管理;在CDM控制台购买的CDM集群,按照云数据迁移CDM服务的权限体系进行权限管理。 使用场景:在DataArts Studio控制台购买的CDM集群按工作空间隔离,需要在关联的工作空间使用;在CDM控制台购买的CDM集群,不支持DataArts
计,用户可查看CTS保存最近7天的审计日志。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用CDM服务时,如果触发了监控列表中的关键操作,那么CTS会在记录操作日志的同时,向相关订阅者实时发送通知。
云搜索服务(CSS)连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 css_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。
制其对云资源的访问范围。例如您的员工拥有CDM的使用权限,但是不希望其拥有删除CDM集群等高危操作的权限,那么您可以使用IAM为员工创建IAM用户,通过授予仅能使用CDM服务,但是不允许删除CDM集群的权限策略,实现控制其对CDM的使用范围。 如果云账号已经能满足您的要求,不需要
配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后,基于华为公有云的大数据分析能力,可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程,使其客户人员可以全身心聚焦业务创新,盘活100T的存量数据,使资产最大化变现。 CDM和D
当CDM集群与其他云服务所在的区域不一致时,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 另外,如果创建了企业项目,则企业项目也会影响CDM集群与其他云服务的网络互
ase集群的数据: CDH → CDM(华为云) → MRS 使用云专线直接迁移时的优缺点: 优点:数据无需做多次的搬迁,缩短整体搬迁周期。 缺点:在数据大量传输过程中会占用专线带宽,对客户并行进行的业务存在影响,跨越多个交换机设备。 CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下:
CDM会迁移整个目录下的文件到OBS。 文件格式:选择“二进制格式”。这里的文件格式是指CDM传输数据时所用的格式,不会改变原始文件自身的格式。迁移文件到文件时,推荐使用“二进制格式”,传输的效率和性能都最优。 目的端作业配置: 目的连接名称:选择7创建的OBS连接“obslink”。
用户无法从VPC访问本地数据库或操作系统。 针对恶意用户的威胁:CDM对每个用户,使用单独的虚拟机来运行各自的CDM实例,用户之间的实例是完全隔离和安全的。恶意用户无法访问其他用户的实例。 针对数据暴露公网的威胁:CDM的抽取-写入模型下,即使CDM绑定了弹性IP,也不会开放端口
目前有两种方法可以看到。 进入云审计服务CTS主界面,事件来源选择“CDM”,资源类型选择“link”,就可以看到所有关于CDM连接管理的操作,更多详情请参见支持云审计的关键操作。 通过华为云开发工具调用API(API Explorer)方式查看连接,详情请参见查询连接。 父主题: 功能类