检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可单击属性后的“删除”按钮进行删除。 Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka,其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时,相关参数如表2所示。 表2 Apache
数据治理评分卡对各维度度量是按5分制进行评分,每一个度量细项只有得分0或得分1,如果满足度量细项要求得分1,否则得分0。 图2 数据治理评分卡数据执行维度度量评分计算范例 如上示例,针对流程7.10交付项目管理,数据执行维度有6个度量细项,则这一度量维度的总体得分就是SUM(度量细项得分)*5/6。所以
Studio实例,提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、数据质量监控作业和元数据采集作业的调度次数之和计算的,您可以在新商业模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用量。当您的每日作业节点调度的已使用次数
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的
步骤3:数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。 可以将离线或历史数据集成到云上。提供同构/异构数据源之间数据集成的服务,支持单表/文件迁移、整库迁移、增量集成,支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
不同版本的DataArts Studio实例,默认提供了不同的数据模型数量规格限制。该规格是以数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的数据模型数量接近或达到
已购买资源组,详情请参见购买数据集成资源组。 已购买并配置云专线,与云上的至少一个虚拟私有云VPC连通。若未开通云专线请参考通过云专线实现云下IDC访问云上VPC和其他云对应官网资料进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段(包含数据源、中转VPC、资源组),为便于理解,本章节将举例为您进行介绍。
条规则,然后设置告警条件,设置完所有规则的告警条件后单击“确定”。 在“告警条件”输入框中,请输入告警条件表达式,在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。 告警条件表达式由告警参数和逻辑运算符组成。
用于连通数据源和资源组网络的中间桥梁,本方案中需要使用当前租户下的一个虚拟私有云。若未开通VPC请参考创建虚拟私有云进行配置。 VPC:10.186.0.0/19 子网:10.186.0.0/24 资源组VPC Migration实时计算资源组所属VPC,由于资源组创建在用户账户下属的资源租户,使
的服务器IP、端口、用户名和密码。 如果Elasticsearch服务器是在本地数据中心或第三方云上,需要确保Elasticsearch可通过公网IP访问,或者是已经建立好了企业内部数据中心到华为云的VPN通道或专线。 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集
技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例,默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的技术资产数量接近或达到
Studio实例,默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的。其中数据开发作业的每天调度次数,是以节点(包含Dummy节点)为粒度进行度量的,另外补数据任务也会计入度量次数,但测试运行、失败重试不
DateUtil内嵌对象 DateUtil内嵌对象提供了一系列时间格式化、时间计算方法。 方法 表1 方法说明 方法 描述 示例 String format(Date date, String pattern) 将Date类型时间按指定pattern格式为字符串。 将作业调度计划的时间,转换为毫秒格式。
丰富数据引擎支持 支持对接所有华为云的数据湖与数据库云服务,也支持对接企业传统数据仓库,比如Oracle等。 简单易用 图形化编排,即开即用,轻松上手。 图1 一站式数据运营治理平台 云上数据平台快速搭建 快速将线下数据迁移上云,将数据集成到云上大数据服务中,并在DataArts
application/json X-Language = en-us 其他参数保持默认即可。 图5 删除CDM作业节点配置 如果需要在迁移完后进行计算操作,可在后续添加各种计算节点,完成数据计算。 配置DLF作业参数。 配置DLF作业参数,如图6所示。 startTime = $getTaskPlanTime(plantime
CUs为DLI计费单位,一个CU是1核4G的资源配置。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。 说明: 并发数不能大于计算单元(CUs-1)的4倍。 异常自动启动 否 设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。 表3 Flink OpenSource
已获取Oracle数据库的IP、数据库名、用户名和密码。 如果Oracle数据库是在本地数据中心或第三方云上,需要确保Oracle可通过公网IP访问,或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了Oracle数据库驱动。
捷自助消费。 衍生指标:是原子指标通过添加限定、维度卷积而成,限定、维度均来源于原子指标关联表的属性。 复合指标:由一个或多个衍生指标叠加计算而成,其中的维度、限定均继承于衍生指标。 注意,不能脱离衍生指标、维度和限定的范围,去产生新的维度和限定。 数据集市:在DM层新建并发布汇总表。
本。 权重 设置规则的权重,支持按照字段级别设置权重。权重范围:【1-9】,整数。默认值为5。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”,默认为全表扫描。 当仅需计算一部分数据,或需周期性按时间戳运行质量作业时,建议通过设置where条件进行条件扫描。 数据质量
据源的私网连通。 前提条件 已购买资源组,详情请参见购买数据集成资源组。 已购买并配置云专线,与云上的至少一个虚拟私有云VPC连通。若未开通云专线请参考通过云专线实现云下IDC访问云上VPC进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段(包含数据源、中转VPC、资源组