检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建数据库 数据连接创建完成后，您可以基于数据连接，通过可视化模式或SQL脚本方式新建数据库。 （推荐）可视化模式：您可以直接在DataArts Studio数据开发模块通过No Code方式，新建数据库。 SQL脚本方式：您也可以在DataArts Studio数据开发模块或对
绑定Agent 是 通过代理连接时，是必选项。 MRS为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建MRS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。
配置空间权限集 在数据访问权限管理的实际场景下，通常会有一级部门、二级部门、三级部门等多级权限的划分。为此，数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限，在此基础上，将其向下拆分出新的子权限集，提供进一步的细分权限管理。 空间权限集作为DataArts
元数据实时同步接口(邀测) 功能介绍 元数据实时同步接口，支持批量。该接口功能处于邀测阶段，后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/metadata/async-bulk 表1 路径参数 参数 是否必选 参数类型
见什么是默认密钥。 绑定Agent 是 MRS为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建MRS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。
选择“数据质量监控 > 规则模板”，单击“导入”，弹出“导入规则模板”对话框。 图10 导入规则模板 在“导入配置”页签，选择模板名称重名策略。 终止：如果模板名称有重复，则全部导入失败。 跳过：如果模板名称有重复，会忽略后继续导入。 单击“上传文件”，选择准备好的数据文件。 可通过如下两种方式填写数据文件：
} } 图2 调用接口获取Token 获取返回的响应消息头Header中“x-subject-token”值，此即为用户Token。有了Token之后，您就可以在调用API的时候将Token加到请求消息头，从而通过身份认证，获得调用API的权限。 图3 获取Token 调用API
步骤2：数据开发处理 本步骤通过BI报表原始数据，分析10大用户关注最多的产品和10大用户评价最差的商品，然后通过作业定期调度执行并将结果每日导出到表中，以支撑信息分析。 分析10大用户关注最多的产品 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
failure_policy 否 String 失败策略。 枚举值： SKIP：跳过, 即不做处理 INTERRUPT_AND_EXCEPTION：中断并抛出异常 SET_NULL：置空 DEFAULT_VALUE：默认值 表5 DatasourceConfig 参数 是否必选 参数类型 描述
发送消息，消息通知服务的使用可能会产生费用，具体请咨询消息通知服务。 一个作业支持配置多个消息主题，当作业运行成功或失败，可同时向多个订阅了消息主题的终端发送通知。 编辑通知 通知新建完成后，用户可以根据需求修改通知的参数。 在数据开发主界面的左侧导航栏，选择“运维调度 > 通知管理”。
开发一个Hive SQL作业 本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可
配置实时集成作业 完成数据连接、网络、资源组等准备工作的配置后，您可创建并配置实时集成作业，将多种输入及输出数据源搭配组成同步链路，进行数据的实时同步。 前提条件 已开通华为账号，并授权使用实时数据集成服务，详情请参考注册华为账号并开通华为云和授权使用实时数据集成。 已购买资源组，详情请参见购买数据集成资源组。
开发一个DWS SQL作业 介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。 场景说明 本教程通过开发一个DWS作业来统计某门店的前一天销售额。 环境准备 已开通DWS服务，并创建DWS集群，为DWS SQL提供运行环境。 已开通CDM增量包，并创建CDM集群。 CD
Hive连接 介绍 通过Hive连接，可以对MRS的Hive数据源进行抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 { "links":
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
DAYU的核心主要是华为智能数据湖FusionInsight，包含数据库、数据仓库、数据湖等各计算引擎和数据治理中心DataArts Studio平台，提供了数据使能的全套能力，支持数据的采集、汇聚、计算、资产管理、数据开放服务的全生命周期管理。 华为FusionInsight解决方案，对应的各服务如下：
批作业监控 批作业监控提供了对批处理作业的状态进行监控的能力。 批处理作业支持作业级别的调度计划，可以定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。
息，会存在数据不一致的风险。 表名和列名长度限制为30个字符。Oracle日志读取采用Oracle logminer，logminer限制了表名和列名在30个字符以内，详情请参见LogMiner分析日志相关介绍。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中
选择“是”后，迁移对象文件时会复制源文件的Content-Type属性，主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性，所以如果开启了该参数，目的端选择写入的桶时，必须选择非归档存储的桶。 toJobConfig.quoteChar 否 Boolean “toJobConfig
查询连接 功能介绍 查询连接接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
