-
数据迁移进阶实践 - 数据治理中心 DataArts Studio
数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
-
解析响应消息体中的流 - 数据治理中心 DataArts Studio
200) { String filePath = "d:"; String fileName = "job.zip"; FileOutputStream fileOutputStream = new FileOutputStream(filePath
-
新建维度 - 数据治理中心 DataArts Studio
在新建维度之前,如果您尚未添加主题信息,请先参考主题设计添加主题信息。 在“新建维度”页面,根据页面提示配置参数。 “基本配置”和“物化配置”,设置如下: 图2 配置参数 表1 基本配置 参数名称 说明 *所属主题 下拉框中选择相应的主题。 *维度名称 只能包含中文、英文字母、数字、左
-
关键操作指导 - 数据治理中心 DataArts Studio
关键操作指导 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题: 数据集成组件
-
迁移到DWS时出现value too long for type character varying怎么处理? - 数据治理中心 DataArts Studio
迁移到DWS时出现value too long for type character varying怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA时,如果迁移作业失败,且执行日志中出现“value too long for type
-
管理中心组件 - 数据治理中心 DataArts Studio
管理中心组件 DataArts Studio管理中心提供了统一的配置和管理入口,可以管理数据连接、资源迁移等,根据需要定制个性化的入口和展示。 DataArts Studio支持的数据源 管理数据连接 资源迁移 配置企业模式环境隔离 使用教程
-
为什么权限同步到DLI中,会提示权限不够? - 数据治理中心 DataArts Studio
为什么权限同步到DLI中,会提示权限不够? 权限同步到DLI的任务通过云服务委托(dlg_agency)完成,因此需要委托拥有IAM认证服务相关权限,具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限(二者选其一配置即可) IAM权限 系统获取用户或用户组、创建角色时,需要该权限。
-
权限管理接口 - 数据治理中心 DataArts Studio
查询权限集成员列表 批量删除权限集成员 添加权限集的权限 查询权限集的权限列表 删除权限集的权限 更新权限集的权限 查询数据源可配置权限 查询权限集中配置的url信息 查询数据操作信息 父主题: 数据安全API
-
传统周期调度依赖和自然周期调度依赖对比 - 数据治理中心 DataArts Studio
成功与否。 自然天:[00:00:00-23:59:59] 自然小时: [00:00-59:59] 图2 自然周期调度作业依赖关系全景图 如何确认当前的周期调度依赖是传统周期调度依赖还是自然周期调度依赖? 自然周期调度在2023年6月开始全网使用,在之后购买的实例支持自然周期调度。
-
查询实例运行状态 - 数据治理中心 DataArts Studio
running_count 否 Integer 运行中的实例数量 running_exception_count 否 Integer 异常的实例数量。 skip_count 否 Integer 跳过的实例数量 success_count 否 Integer 运行成功的实例数量 waiting_confirm_count
-
场景介绍 - 数据治理中心 DataArts Studio
公司屏蔽大数据基础设施复杂的构建、维护过程,使其客户人员可以全身心聚焦业务创新,盘活100T的存量数据,使资产最大化变现。 CDM和DLI服务按需收费,帮助H公司客户释放了维护人员并降低了专用带宽成本,使得维护成本相比线下数据中心降低了70%,且使用门槛低,可实现已有数据的平滑迁
-
提交版本 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,双击已开发完成的作业名称,进入作业开发页面。 在作业画布或编辑器上方单击“提交”,提交版本。选择审批人,描述内容长度最多为128个字符,并勾选是否在下个调度周期使用新版本,不勾选则无法单击确认。在提交版本
-
用户已添加权限,还是无法查看工作空间? - 数据治理中心 DataArts Studio
User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了DAYU User系统角色,未配置工作空间角色,则会出现无法查看工作空间的报错。请查看该工作空间下是否已添加用户,如果没有,请参考以下步骤添加该用户。 添加成员和角色
-
新建时间限定 - 数据治理中心 DataArts Studio
(可选)在数据架构控制台,单击左侧导航树中的“配置中心”,在功能配置下选择是否开启“时间限定生成使用动态表达式”功能,默认关闭。 图2 功能配置 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“时间限定”页签。 进入时间限定页面后,单击“新建”按钮。 在新建时间限定页面,参考表1配置参数,然后单击“发布”。
-
解锁作业 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,双击已开发完成的作业名称,进入作业开发页面。 提交作业后在作业画布或编辑器上方单击“解锁”,解除锁定,便于后续其他开发者对此脚本进行修改更新。 图2 解锁 父主题: (可选)管理作业
-
添加审核人 - 数据治理中心 DataArts Studio
s Studio将自动在消息通知服务(SMN)中创建对应的主题。 主题的显示名格式为:DataArts_主题_审核人_项目名称_项目ID-dlg_ds_审核人名称。 图2 添加审核人 根据需要,可以添加多个审核人。 相关操作 进入数据架构的“配置中心 > 审核人管理”页面,可以对审核人进行管理。
-
解锁脚本 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,双击已开发完成的脚本名称,进入脚本开发页面。 提交脚本后在脚本编辑器上方单击“解锁”,解除锁定,便于后续其他开发者对此脚本进行修改更新。 图2 解锁 父主题: (可选)管理脚本
-
主题设计 - 数据治理中心 DataArts Studio
> 导入”按钮,弹出导入主题对话框。 图5 导入主题设计 在“导入主题”对话框中,根据页面提示配置如下参数,然后先单击“添加文件”后,再单击“上传文件”。 图6 导入配置 表2 导入配置参数说明 参数名 说明 更新已有数据 在导入时是否更新已有的主题信息(主题域分组、主题域或业务
-
备份管理 - 数据治理中心 DataArts Studio
通过还原功能,您可还原已备份的资产,包含作业、脚本、资源和环境变量。 约束限制 该功能依赖于OBS服务。 当前备份内容不会自动老化删除,您需要定期手动清理备份文件。 前提条件 已开通对象存储服务,并在OBS中创建文件夹。 备份资产 在DataArts Studio控制台首页,选择对应工
-
新建码表 - 数据治理中心 DataArts Studio
目录中。 在目录树中单击刚建好的目录,然后单击“新建”按钮新建一个码表。 在“新建码表”页面中,做如下配置: 在“基础配置”区域,配置如下参数: 图4 基础配置 表2 基础配置 参数名称 说明 *表名 码表名称。 只能包含中文、英文字母、数字、中英文括号、中英文逗号以及以下特殊字