检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Integer 当前表中字段记录数。 columns Array of ColumnsList objects 字段列表。 表5 ColumnsList 参数 参数类型 描述 comment String 字段注解。 column_name String 字段名称。 column_type
对于新建的表,用户可以在已有的源表字段基础上添加附加字段,可以自定义字段名(如custom_defined_col)、选择字段类型、填写字段值。 用户可同时添加多个附加字段。 自动建表:单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。 分库分表场景
数据库名称 是 配置为要连接的数据库名称。 使用本地API 否 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_infile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性
加自定义字段,附加字段会成为一个新的字段加入到Hudi表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 字段变量 - 对于新建的表,用户可以在已有的源表字段基础上添加附加字段,可以自定义字段名(如custom_defined_col)、选择字段类型、填写字段值。 用户可同时添加多个附加字段。
操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select
计算数据表中指定字段的最大值。 字段最小值 计算数据表中指定字段的最小值。 字段长度校验 DLI、DWS、GBASE、HETUENGINE 通过输入字段长度范围,校验表中字段是否在允许范围内。 字段值范围校验 通过输入字段值范围,校验表中字段值是否在允许范围内。 字段时间校验 通过输入
操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select
调用创建连接API创建MySQL连接,连接名称为mysql_link。这里假设本地MySQL数据库信息如下: IP地址为1xx.120.85.24。 端口为3306。 数据库名称为DB_name。 登录用户为username。 密码为DB_password。 如果返回状态码为200,则说明创建命令执行成功。
修改连接 功能介绍 修改连接接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
nd:在节点属性中,选择图名称后,边数据集和点数据集分别填写为“edge_friends”边表和“vertex_user”点表。另外,应配置为不允许重复边,否则定期调度后将产生大量重复边。 注意,“元数据来源”需要选择为“新建元数据”,然后单击“元数据”参数后的生成按钮,弹出新建
只能包含英文字母、数字和下划线,且以英文字母开头。 描述 描述信息。支持的长度为0~600个字符。 在“建表配置”中添加所需要的表字段,单击“新建”或可以添加新的字段,单击某个字段后的按钮可删除该字段。 图4 建表配置 单击“发布”,在提交发布对话框中,选择审核人,再单击“确认提
对于新建的表,用户可以在已有的源表字段基础上添加附加字段,可以自定义字段名(如custom_defined_col)、选择字段类型、填写字段值。 用户可同时添加多个附加字段。 自动建表:单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。 父主题: 配置源端和目标端参数
数据长度”中填写“10”。 是否分区 填写“Y”表示该字段为分区字段,填写“N”表示不是分区字段。 是否主键 填写“Y”表示该字段为主键,填写“N”表示不是主键。 不为空 填写“Y”表示该字段不为空,填写“N”表示字段允许为空。 引用的数据标准编码 填写需要引用的数据标准的编码。
S表中增加自定义字段,附加字段会成为一个新的字段加入到DWS表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 对于新建的表,用户可以在已有的源表字段基础上添加附加字段,可以自定义字段名(如custom_defined_col)、选择字段类型、填写字段值。 用户可同时添加多个附加字段。
String 字段分隔符,当文件格式为“CSV_FILE”时此参数有效,默认值为:“,”。 fromJobConfig.quoteChar 否 Boolean 是否使用包围符,选择“true”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。 fromJobConfig
添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能,要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器,或者目的端为HBase连接器。
添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能,要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器,或者目的端为HBase连接器。
感数据分布”页面中修正敏感数据字段的数据状态为“有效”,则系统会认为表中无敏感字段,也就不会按照规则进行脱敏。 解决方案 创建静态脱敏任务前,必须先创建敏感数据发现任务,并在运行成功发现敏感字段后,在“敏感数据分布”页面中修正敏感数据字段的数据状态为“有效”。 父主题: 数据安全
单表高级配置:单击“单表高级配置”为列表中的topic配置对应属性。 auto-compaction:数据会先被写入临时文件,当checkpoint完成后,该配置控制检查点产生的临时文件是否被合并。 目标字段编辑:单击操作列“目标字段编辑”可为迁移后的目标表中自定义字段。 表1 目标字段值支持情况 类型
String 字段分隔符,当文件格式为“CSV_FILE”时此参数有效,默认值为:“,”。 fromJobConfig.quoteChar 否 Boolean 是否使用包围符,选择“true”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。 fromJobConfig