检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入云审计服务CTS主界面,事件来源选择“CDM”,资源类型选择“link”,就可以看到所有关于CDM连接管理的操作,更多详情请参见支持云审计的关键操作。 通过华为云开发工具调用API(API Explorer)方式查看连接,详情请参见查询连接。 父主题: 功能类
能,可以帮助您安全的控制华为云资源的访问。关于IAM的详细介绍,请参见IAM产品介绍。 权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖
作业失败重试:如果作业执行失败,可选择是否自动重新启动作业。 作业分组:CDM支持对作业进行分组,分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行:可选择作业是否定时自动启动。 抽取并发数:可设置同时执行的抽取任务数。 是否写入脏数据:如果
如何解决HANA集群只有部分节点和CDM集群网络互通? 问题描述 HANA集群只有部分节点和CDM集群网络互通,怎么办? 解决方案 如果HANA集群只有部分节点和CDM网络互通,为确保CDM正常连接HANA集群,则需要进行如下配置: 关闭HANA集群的Statement Rout
知功能后,数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密,所有华为云CDM的API调用都支持 HTTPS 来对传输中的数据进行加密。 父主题: 安全
多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 因此,在单表或整库导入到DWS/FusionInsight LibrA时,建议您在此处手动选择分布列,如果您没有选择,CDM会自动选择一个分布列。
审计与日志 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的CDM操作列表详见支持云审计的关键操
云数据迁移安全结论 访问控制 只有华为云统一身份认证服务(Identity and Access Management,简称IAM)授权的用户才能访问CDM控制台和API。推拉模式下,CDM在VPC上没有开放侦听端口,用户无法从VPC访问实例,具有高度的安全性。 数据传输安全 C
字节。该参数选择为“是”后,在DWS中自动创表时,会将字符类型的字段长度设置为原表的3倍,避免出现DWS表的字符字段长度不够的报错。 其他可选参数保持默认即可,详细说明可参见配置DWS目的端参数。 单击“下一步”进入字段映射界面,CDM会自动匹配源端和目的端的数据表字段,需用户检查字段映射关系是否正确。
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型,并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
索引:待写入数据的索引,这里可以选择一个云搜索服务中已存在的索引,也可以手动输入一个不存在的索引名称,名称只能全部小写,CDM会自动在云搜索服务中创建该索引。一次迁移多个索引时,该参数将被禁止配置,CDM自动在目的端创建索引。 导入前清空数据:如果上面选择的索引,在云搜索服务中已存在,这里可以选择导入数据前
索引:待写入数据的索引,这里可以选择一个云搜索服务中已存在的索引,也可以手动输入一个不存在的索引名称,名称只能全部小写,CDM会自动在云搜索服务中创建该索引。一次迁移多个索引时,该参数将被禁止配置,CDM自动在目的端创建索引。 导入前清空数据:如果上面选择的索引,在云搜索服务中已存在,这里可以选择导入数据前
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。
各参数说明如表3所示。 表3 任务配置参数 参数 说明 取值样例 作业失败重试 如果作业执行失败,可选择自动重试三次或者不重试。 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 说明: 如果通过DataArts Studio数据开发使用
过滤及在字段映射页面添加新字段。 说明: 源端为Hive数据源且使用JDBC方式读取数据时,CDM不支持多并发,即后续操作中抽取并发数只能设置为1。 HDFS 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“
每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - OBS测试路径 “OBS支持”设置为“是”时,呈现此参数。 请填写完整的文件路径,将调用元数据查询接口来校验路径的访问权限。
”且表中有数据,则数据会追加到已有的表中。 是 自动创表 只有当源端为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。
扩大字符字段长度:当目的端和源端数据编码格式不一样时,自动建表的字符字段长度可能不够用,配置此选项后CDM自动建表时会将字符字段扩大3倍。 导入前清空数据:任务启动前,是否清除目的表中数据,用户可根据实际需要选择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。
扩大字符字段长度:当目的端和源端数据编码格式不一样时,自动建表的字符字段长度可能不够用,配置此选项后CDM自动建表时会将字符字段扩大3倍。 导入前清空数据:任务启动前,是否清除目的表中数据,用户可根据实际需要选择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。
效且作业会运行失败。 MRS Hive 用户具有MRS Hive连接的表的访问权限时,才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS Hive的连接参数如表1所示。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2