-
Spark Python脚本如何引用Python脚本? - 数据治理中心 DataArts Studio
__name__ == '__main__': # 创建一个名为"myj"的SparkSession对象 odps = create_spark_session() odps.execute_sql=execute_sql # 执行sql # sql_str="""select
-
字段转换器配置指导 - 数据治理中心 DataArts Studio
字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 创建表达式转换器时,表达式的功能是对该字段的数据进行处理,故不建议使
-
字段转换器配置指导 - 数据治理中心 DataArts Studio
字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 创建表达式转换器时,表达式的功能是对该字段的数据进行处理,故不建议使
-
为什么关系建模或维度建模修改字段后,数据库中表无变化? - 数据治理中心 DataArts Studio
为什么关系建模或维度建模修改字段后,数据库中表无变化? 关系建模或维度建模修改字段更新表后,但实际上数据库中物理表并无变化,这是因为未对数据表更新方式做配置,此选项默认为“不更新”。 配置数据表更新方式操作如下: 在DataArts Studio控制台首页,选择实例,单击“进入控
-
新增字段操作指导 - 数据治理中心 DataArts Studio
映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列:
-
配置字段映射 - 数据治理中心 DataArts Studio
映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列:
-
新增字段操作指导 - 数据治理中心 DataArts Studio
映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列:
-
是否支持字段转换? - 数据治理中心 DataArts Studio
是否支持字段转换? 支持,CDM支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
-
指定字段采集概要 - 数据治理中心 DataArts Studio
参数类型 描述 column_name 否 String 字段名称。 description 否 String 字段描述。 type 否 String 字段类型。 is_partition_column 否 Boolean 是否是分区字段。 表5 OBSCommonConfig 参数 是否必选
-
新建规则模板 - 数据治理中心 DataArts Studio
计算数据表中指定字段的平均值。 字段汇总值 计算数据表中指定字段的汇总值。 字段最大值 计算数据表中指定字段的最大值。 字段最小值 计算数据表中指定字段的最小值。 字段长度校验 通过输入字段长度范围,校验DWS表和DLI表中字段是否在允许范围内。 字段值范围校验 通过输入字段值范围,校验D
-
字段映射界面无法显示所有列怎么处理? - 数据治理中心 DataArts Studio
面的“编辑”,进入字段映射界面,如图1所示。 图1 字段映射03 单击添加字段,在弹出框中选择“添加新字段”,如图2所示。 图2 添加字段04 添加完字段后,新增的字段在界面不显示样值,这个不影响字段值的传输,CDM会将字段值直接写入目的端。 这里“添加新字段”的功能,要求源端数
-
查看码表字段值 - 数据治理中心 DataArts Studio
查看码表字段值 功能介绍 查看码表字段值。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/code-tables/{id}/values 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
-
获取质量报告子规则字段评分 - 数据治理中心 DataArts Studio
获取质量报告子规则字段评分 功能介绍 获取质量报告子规则字段评分 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/report/sub-rule/results 表1 路径参数 参数 是否必选 参数类型 描述 project_id
-
编辑码表字段值 - 数据治理中心 DataArts Studio
String 字段名,英文。 最大长度:600 name_ch String 字段名,中文。 最大长度:200 description String 描述。 最大长度:600 data_type String 字段类型。 domain_type String 字段类型所属域。 枚举值:
-
查询目的表和字段(待下线) - 数据治理中心 DataArts Studio
查询目的表和字段(待下线) 功能介绍 查询目的表和字段(待下线)。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/{model_id}/table-model/relation/fields 表1 路径参数 参数 是否必选 参数类型
-
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? - 数据治理中心 DataArts Studio
这种情况一般是源表与目标表类型不匹配导致,例如源端dli字段为string类型,目标端dws字段为varchar(50)类型,导致精度缺省,就会报:value too long for type character varying。类似的问题还有string转bigint,bigint转int。 解决方案
-
新建码表 - 数据治理中心 DataArts Studio
码表的描述信息。支持的长度0~600个字符。 *字段名称 字段名称。只能包含中文、英文字母、数字、左右括号、空格、中划线和下划线,且以中文或英文字母开头。 *字段编码 字段编码。只能包含英文字母、数字、下划线,且以英文字母开头。 *字段数据类型 支持的数据类型有:STRING、BI
-
获取数据源中表的字段 - 数据治理中心 DataArts Studio
Integer 当前表中字段记录数 columns Array of ColumnsList objects 字段列表 表5 ColumnsList 参数 参数类型 描述 comment String 字段注解 column_name String 字段名称 column_type
-
导入导出 - 数据治理中心 DataArts Studio
例如,DWS连接类型,如果字段类型为CHAR(10),需要在“数据类型”中填写“CHAR”,在“数据长度”中填写“10”。 是否分区 填写“Y”表示该字段为分区字段,填写“N”表示不是分区字段。 是否主键 填写“Y”表示该字段为主键,填写“N”表示不是主键。 不为空 填写“Y”表示该字段不为空,填写“N”表示字段允许为空。
-
不支持数据类型转换规避指导 - 数据治理中心 DataArts Studio
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select