检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。
Manager的密码。 - OBS支持 是否支持OBS存储，如果hudi表数据存储在OBS，需要打开此开关。 是 访问标识（AK） “OBS支持”设置为“是”时，呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。
同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。
创建数据集成作业 本章节将介绍如何创建DataArts Studio数据集成作业。 本例中，需要创建如下三类集成作业： OBS到MySQL迁移作业：为方便演示，需要将OBS中的CSV格式的样例数据导入到MySQL数据库中。 MySQL到OBS迁移作业：正式业务流程中，需要将MyS
视情况而定，需谨慎设置，以免造成数据丢失。 图7 作业配置 在源端、目的作业配置区域，单击“显示高级属性”，在“高级属性”中，系统提供了默认值，请根据实际业务数据的格式设置各项参数。 例如，本例中根据数据源准备中的样例数据格式，源端高级属性需注意以下参数的设置，其他参数均保留默认
"error_code": "IAM.0011" } 其中，error_code表示错误码，error_msg表示错误描述信息。 父主题： 如何调用API
模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“互斥配置”。 单击“新建”进入“互斥组设置”的界面。 设置“组名称”。 单击“添加作业”，至少选择两个作业。单击“删除”可以删除已添加的作业。 单击“确定”。 更多操作 编辑：单击“编辑”，可以对已配置的互斥组信息进行修改。
内容是可枚举的维度。 层级维度：属性之间具有层级结构的维度。 高级配置 设置自定义项，以对表进行描述。自定义项设置完成后仅可用于在表详情中进行查看，无特殊需求时无需设置。 例如您需要标识该表的来源时，可以设置自定义项配置名为“来源”，值为对应的表来源信息。配置完成后可以在表详情中查看该信息。
如何创建数据库和数据表，数据库对应的是不是数据连接? 问题描述 用户对于创建数据库和数据表，数据库与数据连接的关系不清楚，需要具体解释下，便于用户理解。 解决方案 数据库和数据表可以在DataArts Studio服务中创建。 数据库对应的不是数据连接，数据连接是创建DataArts
情请参见数据目录章节。数据地图包含业务资产和技术资产，业务资产就是指逻辑实体和业务对象，技术资产就是指数据连接、数据库对象等。 本章节介绍如何在DataArts Studio数据目录中查看业务资产和技术资产。例如，在技术资产的事实表中，您可以查看数据血缘等详细信息，在技术资产的汇总表中，您可以查看预览结果等详细信息。
配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提，下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一：仅添加新元数据 用户的数据库中新增的数据表，采集任务仅采集新增的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3
配置行级访问控制 在业务开发过程中，存在多个开发者共同访问和维护同一张DWS表的场景，需要针对不同开发者设置不同行数据的访问权限。在这种场景下，您可以配置行级访问控制策略，为不同开发者按照行数据进行授权。 在数据安全组件新建行级访问控制策略后，通过策略同步，会将行级访问控制策略同
目标字段赋值：单击操作列“目标字段赋值”可自定义MongoDB到DWS的字段映射情况。同时用户可以为所有DWS目标端的字段，设置对应的源表映射字段，或者设置手动赋值的字符串内容。 列名：目的端DWS表字段的名称。 类型：目的端DWS表字段的类型。 字段值：目的端DWS表字段的取值来源。
支持。 单击右上角的，设置相关脚本的环境变量。举例如下所示： 设置Hive SQL脚本的环境变量： --hiveconf hive.merge.mapfiles=true; --hiveconf mapred.job.queue.name=queue1 设置Spark SQL脚本的环境变量：
FTP/SFTP连接 介绍 通过FTP或SFTP连接，可以对FTP或SFTP服务器抽取或加载文件，支持CSV、二进制和JSON格式。 连接样例 { "links": [ { "link-config-values": {
父作业的环境变量读取替换。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试
DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。 INTEGER TYPES：TINYINT，SMALLINT
MAX（单分区数据量大小（G）/2G*2，再后向上取整，1）。 其中，要注意的是： 需要使用的是表的总数据大小，而不是压缩以后的文件大小。 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 changelog.enabled boolean false - Hudi changelog功能
导出资源 功能介绍 该接口用于数据质量导出操作，可通过该接口导出质量作业或者对账作业等属于数据质量服务的资源数据。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/quality/resource/export 表1 路径参数 参数 是否必选
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
