-
Import GES - 数据治理中心 DataArts Studio
生成元数据xml文件是手动单击“生成元数据”触发的,如果在该节点在后续的作业调度运行中,点表和边表结构发生变化,元数据xml文件并不会随之更新,需要手动进入新建元数据窗口,再次单击“生成元数据”重新生成新的元数据xml文件。 生成的元数据xml文件,属性(Property)中的数
-
配置HBase连接 - 数据治理中心 DataArts Studio
连接MRS上的HBase数据源时,相关参数如表1所示。 新建MRS连接前,需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密码,然后使用该新建用户创建MRS连接。 如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS
-
创建识别规则 - 数据治理中心 DataArts Studio
策略创建时间。 最小值:0 最大值:2147483647 updated_by String 策略更新人。 最小长度:1 最大长度:128 updated_at Long 策略更新时间。 最小值:0 最大值:2147483647 builtin_rule_id String 内置规则ID。
-
导入模型,关系建模,维度建模,码表,业务指标以及流程架构 - 数据治理中心 DataArts Studio
detable)和数据标准(import_datastandard)时生效,选填。 skip-exist 否 Boolean 是否需要覆盖更新已有的实体。 缺省值:false 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
-
配置HDFS连接 - 数据治理中心 DataArts Studio
HDFS 连接MRS上的HDFS数据源时,相关参数如表1所示。 新建MRS连接前,需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密码,然后使用该新建用户创建MRS连接。 如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS
-
配置Redis连接 - 数据治理中心 DataArts Studio
配置Redis连接 Redis连接适用于用户在本地数据中心或ECS上自建的Redis,适用于将数据库或文件中的数据加载到Redis。 Redis连接不支持SSL加密的Redis数据源。 连接本地Redis数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或
-
配置DWS数据连接 - 数据治理中心 DataArts Studio
Arts Studio支持的数据源。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 手动 是 选择连接模式。
-
查询数据标准模板 - 数据治理中心 DataArts Studio
update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 create_by String 创建人。 update_by String 更新人。 状态码: 400 表8
-
物理模型设计 - 数据治理中心 DataArts Studio
GRESQL模型的表有效。 *队列 DLI队列。仅当“数据连接类型”选择“DLI”时,该参数有效。 更新已有表 如果从其他数据源逆向过来的表,在物理表中已存在同名的表,选择是否更新已有的物理表。 名称来源 逆向后表名称/字段名称的来源,可以是描述或者是相应英文名,如表/字段未指定描述则固定使用英文名。
-
配置队列权限 - 数据治理中心 DataArts Studio
admin-queue:管理队列任务权限 委托用户 如果需要让待授权用户/用户组管理本条策略,可开启此选项,使这些用户成为当前策略管理员,当前策略管理员可以更新、删除本策略。 图6 MRS Yarn队列详情 DLI队列 在DLI队列详情页面,单击“授权”,在弹出的窗口中参考表2填写策略相关参数,完成后单击保存,完成队列授权。
-
贯标与评估流程 - 数据治理中心 DataArts Studio
差距分析:贯标启动,进行差距分析。 能力提升:建立数据管理组织,完善制度,内部运行并开展自评估。 评估确认:组建评估队伍,开展第三方评估,获取评估报告和能力证书。 图1 DCMM贯标流程 评估流程 DCMM评估流程分为如下步骤: 评估工作部遴选试点评估单位。 入选的试点评估单位向评估机构提交有效的申请材料。
-
开发实时处理单任务Flink SQL作业 - 数据治理中心 DataArts Studio
Shift-Left:选择行首 Alt + Shift-Right:选择行尾 支持脚本参数。 在SQL语句中直接写入脚本参数,然后在编辑器右侧的“参数”处选择“更新脚本参数”。也可以直接配置该作业脚本的参数与常量。 脚本示例如下,其中str1是参数名称,只支持英文字母、数字、“-”、“_”、“<”和“
-
新建DWS连接 - 数据治理中心 DataArts Studio
Arts Studio支持的数据源。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 手动 是 选择连接模式。
-
配置DMS Kafka连接 - 数据治理中心 DataArts Studio
Kafka SASL_SSL 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。当DMS Kafka实例的连接信息中启用的安全协议为“SASL_SSL”时需要开启。 开启Kafka SASL_SSL,则数据加密传输,安全性更高,但性能会下降。 说明: 启用SSL认证后,Kafka会将Kafka
-
DMS Kafka连接 - 数据治理中心 DataArts Studio
Boolean 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。 开启Kafka SASL_SSL,则数据加密传输,安全性更高,但性能会下降。 linkConfig.user 否 String 开启Kafka SASL_SSL时显示该参数,表示连接DMS Kafka的用户名。
-
新建MRS Hive连接 - 数据治理中心 DataArts Studio
os鉴权。 用户名 是 MRS集群的人机用户,通过代理连接时是必选项。如果使用新建的MRS用户进行连接,您需要先登录Manager页面,并更新初始密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的
-
发现敏感数据 - 数据治理中心 DataArts Studio
允许有多个。 敏感数据识别任务运行后,会为识别到的敏感字段生成相应密级和分类,默认不会生成数据表密级。在手动勾选任务中的“根据数据识别结果更新数据目录/数据地图中数据表密级”选项后,才会生成数据表密级,数据表密级取敏感字段的最高密级。 当前敏感数据同步仅支持同步到数据地图组件。不
-
配置MRS ClickHouse连接 - 数据治理中心 DataArts Studio
用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - SSL加密 可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 否 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。
-
配置数据仓库服务(DWS)连接 - 数据治理中心 DataArts Studio
模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 SSL加密 可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 是 说明: 启用SSL加密需确保DWS本身已启用SSL加密。 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接
-
查询API信息 - 数据治理中心 DataArts Studio
求 create_user String API创建者。 create_time Long 创建时间。 update_time Long 更新时间。 manager String API审核人名称。 status String API的状态(共享版)。 枚举值: API_STATUS_CREATED:API创建状态