-
OCR - 数据治理中心 DataArts Studio
OCR 功能 OCR节点支持识别图片上的文字信息, 识别结果将存储到用户指定的OBS目录下。 OCR节点仅支持在华北-北京四使用。 参数 用户可参考表1和表2配置OCR节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”
-
节点参考 - 数据治理中心 DataArts Studio
MapReduce CSS Shell RDS SQL ETL Job Python ModelArts Train Http Trigger OCR Create OBS Delete OBS OBS Manager Open/Close Resource Data Quality Monitor
-
敏感数据简介 - 数据治理中心 DataArts Studio
35273-2020 信息安全技术个人信息安全规范》为例,个人敏感数据有: 个人财产信息 (存款、信贷、消费流水) 个人健康生理信息(体检信息、医疗记录) 个人生物识别信息(指纹、面部特征) 个人身份信息(身份证、社保卡、驾驶证) 其他信息(宗教信仰、精准定位) 敏感数据的保护方式 敏感数据识别与添加标签
-
撤回审批单 - 数据治理中心 DataArts Studio
credentials = BasicCredentials(ak, sk, projectId) \ client = dataartsstudioClient.new_builder() \ .with_credentials(credentials)
-
审批单处理 - 数据治理中心 DataArts Studio
credentials = BasicCredentials(ak, sk, projectId) \ client = dataartsstudioClient.new_builder() \ .with_credentials(credentials)
-
获取审批单 - 数据治理中心 DataArts Studio
credentials = BasicCredentials(ak, sk, projectId) \ client = dataartsstudioClient.new_builder() \ .with_credentials(credentials)
-
新冠疫情数据治理思考 - 数据治理中心 DataArts Studio
中共中央政治局常务委员会2020年2月3日召开会议强调:这次疫情是对我国治理体系和能力的一次大考。全民抗疫的过程中,缺乏有效数据支持就是缺乏对于疫情的快速响应机制、缺乏对于医疗资源合理调配的能力。 通过数据治理,我们可以构建开放通用的数据采集接口,提高数据采集效率;统一数据标准,轻松融合数据;建立跨平台的数据提取
-
Create OBS - 数据治理中心 DataArts Studio
Create OBS OBS路径不支持s3a://开头的日志路径。 约束限制 该功能依赖于OBS服务。 功能 通过Create OBS节点在OBS服务中创建桶和目录。 参数 用户可参考表1和表2配置Create OBS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是
-
JavaScript - 数据治理中心 DataArts Studio
JavaScript 操作场景 使用JavaScript语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考API调用示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本、搭建Node.js开发环境为例介绍。 准备环境 已获取API的域名
-
审批中心(待下线) - 数据治理中心 DataArts Studio
在此页面查看当前需要用户审批的申请单。 单击操作栏的“审批”,查看申请单的详细信息并进行审批。 填写审批意见后,根据实际情况同意或拒绝该申请。 我已审批 选择“数据权限 > 审批中心”,单击“我已审批”页签。 单击操作栏中的“查看”,即可查看申请单的审批记录和申请内容等详细信息。 我的申请
-
查看质量报告 - 数据治理中心 DataArts Studio
如图3所示。 图3 查看规则评分 规则名称为运行实例名称,如果作业被运行多次,取最新时间运行实例的结果。如果同一运行实例中,有多个子实例检验该表,则每个子实例一条记录。 单击“规则评分”列的评分值链接,展开该规则关联的字段评分,如图4所示。 图4 表关联规则评分界面 查看业务报告业务质量评分
-
步骤6:数据开发 - 数据治理中心 DataArts Studio
truncate table dim_vendor; INSERT INTO dim_payment_type VALUES ("1","Credit card"); INSERT INTO dim_payment_type VALUES ("2","Cash"); INSERT
-
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? - 数据治理中心 DataArts Studio
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数
-
通过数据质量对比数据迁移前后结果 - 数据治理中心 DataArts Studio
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例,介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。
-
停止脚本实例的执行 - 数据治理中心 DataArts Studio
/v1/{project_id}/scripts/{script_name}/instances/{instance_id}/stop 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 script_name
-
查询脚本信息 - 数据治理中心 DataArts Studio
/v1/{project_id}/scripts/{script_name}?version={version} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 script_name 是 String
-
MD5校验文件一致性 - 数据治理中心 DataArts Studio
端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中,CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件,是否与源文件一致。 该功能由源
-
删除脚本 - 数据治理中心 DataArts Studio
DELETE /v1/{project_id}/scripts/{script_name} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 script_name 是 String 脚本名称。
-
MD5校验文件一致性 - 数据治理中心 DataArts Studio
端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中,CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件,是否与源文件一致。 该功能由源
-
新建对账作业 - 数据治理中心 DataArts Studio
间可支持配置1~360分钟,连续次数可支持配置1~10次。 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式,周期调度的相关参数配置请参见表3。配置完成后单击“提交”。 单次调度会产生手动任务的实例,手动任务的特点是没有调度依赖,只需要手动触发即可。 周期调度会产生周