检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图10 导入质量作业 在“导入配置”页签,选择模板名称重名策略。 终止:如果质量作业名称有重复,则全部导入失败。 跳过:如果质量作业名称有重复,会忽略后继续导入。 覆盖:如果质量作业名称有重复,会覆盖现有同名作业。 如果选择覆盖,请在导入文件前,停止所有作业调度,否则调度中的作业会导致上传文件失败。
数据血缘的产生: DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自
终端节点Endpoint 获取终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口:cdm.{region_id}.myhuaweicloud
如果您使用的是数据服务专享版,则不涉及此项费用。 使用数据服务专享版时,共享版API网关按实际使用量计费,包含API调用量(次数)和流量费用(下行流量)两个维度。退订DataArts Studio服务后不会再产生API调用,您也可以直接删除发布到APIG网关上的API。 父主题: 企业版:基于MRS
保存AppKey和AppSecret信息 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的API,并单击API名称查看API的完整信息,保存调用地址、请求方法和入参信息。 调用地址:专享版支持内网地址和外网地址(外网地址需要您在创建集群时绑定弹性IP),如果需
创建Migration实时网络连接(对等连接)。 为了连通中转VPC和实时资源组VPC网络,可以通过DataArts Studio资源管理功能来创建两个VPC间的对等连接。 登录DataArts Studio控制台,进入实例,单击“资源管理”进入资源管理页面。 图5 新建网络连接 在“实时
用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
身份认证与访问控制 身份认证 用户访问DataArts Studio的方式有多种,包括控制台、开放API等,无论访问方式封装成何种形式,其本质都是通过DataArts Studio提供的REST风格的API接口进行请求。 DataArts Studio的接口均需要进行认证鉴权以此
群,请参考创建CDM集群进行创建。 数据集成配置 域名 是 表示通过内部网络访问集群数据库的访问地址,可填写域名。内网访问域名地址在创建集群时自动生成,您可以通过管理控制台获取访问地址: 根据注册的账号登录DWS云服务管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进
URI 是 使用集群配置为否时,是必选项。 NameNode URI地址。例如:hdfs://nn1_example.com/ Hive元数据地址 是 使用集群配置为否时,是必选项。 设置Hive元数据地址,参考 hive.metastore.uris配置项。例如:thrift
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 连接地址前缀 是 适用组件勾选数据集成时显示该参数。 连接地址前缀,测试以及作业时调用接口,会自动拼接此前缀。https仅支持TLSv1.2协议。 例如: https://xxx
写入数据时所用的文件格式(二进制除外),支持以下文件格式: CSV_FILE:按照CSV格式写入数据。 BINARY_FILE:二进制格式,不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式。 当选择“BINARY_FILE”时,源端也必须为文件系统。 toJobConfig
准备工作 添加审核人 管理配置中心 主题设计 主题设计 标准管理 新建码表并发布 新建数据标准并发布 关系建模 数仓规划:新建SDI层和DWI层两个模型 维度建模 维度建模:在DWR层新建并发布维度 维度建模:在DWR层新建并发布事实表 指标设计 指标设计:新建并发布技术指标 数据集市建设
调用API方式简介 创建API时,有三种认证方式可选,不同认证方式的API支持的调用方式也有所不同,详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 (推荐)APP认证 高 通过APP应用将API授权给应用后,
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 待连接的数据库的访问地址,可填写为IP或域名,其中公网IP和内网IP地址均支持。 端口 是 待连接的数据库端口。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。
录。 从当前节点测试运行 仅在批作业下显示该选项。选择“从当前节点测试运行”,则测试运行当前节点以及后续节点。 添加/删除连线 可以选择为两个不同的节点添加或删除连线, 编辑CDM作业 仅CDM Job节点显示该选项。选择CDM集群和作业后,可以跳转到CDM作业编辑页面,进行作业修改。
在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明: 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
可用区(AZ,Availability Zone)是同一区域内,电力和网络互相隔离的物理区域,一个可用区不受其他可用区故障的影响。一个区域内可以有多个可用区,不同可用区之间物理隔离,但内网互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 图1阐明了区域和可用区之间的关系。
ials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK)
在弹出的导出窗口中,确认选择无误后单击“导出”,导出规则模板。 图2 规则模板导出确认 导出成功后,在导出记录中单击“下载”,即可通过浏览器下载地址,获取到导出的xlsx文件。 图3 获取规则模板导出结果 导出质量作业 单击左侧导航上的“质量作业”,进入质量作业列表。 在质量作业列表,