检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情可参考本实践。 通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致
否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp 否 Long 开始时间戳。 end_timestamp
对于租户下新增的用户,需要在MRS集群列表的界面找到对应的MRS集群实例,手动单击同步。 操作如下: 进入MRS控制台,查看现有集群,单击对应的集群名称进入概览页。 图1 MRS集群实例 在“IAM用户同步”处,单击同步。 图2 单击同步 在操作日志处查看操作结果。 图3 操作日志 如果经
若一天多次运行该作业,当天的质量评分为最后一次的得分。 单击“表评分”列的评分值链接,展开该表关联的规则评分,如图2所示。 图2 查看规则评分 规则名称为运行实例名称,如果作业被运行多次,取最新时间运行实例的结果。如果同一运行实例中,有多个子实例检验该表,则每个子实例一条记录。 单击“规则评分”列
参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 job_name 是 String 作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设
格和方式进行付费,这决定了数据能否形成稳定、持续的收益。目前数据交易所主要以API、数据包或数据模型的方式来交付数据产品。如果走无形资产路线,卖的就不是数据本身而是数据服务,可选择数据模型或数据软件服务的形式,以特许经营、软件授权等方式来产生可持续现金流。 数据产品的结算系统搭建
该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置,请参考以下内容: 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 实例所属Region
可添加额外描述。 通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 对数据资产,可以从业务角度定义分类或标签。 父主题: 数据目录
SQL代理模式均支持查看目录树,其他数据连接均不支持。 如果您在使用数据开发前,已创建了数据连接和对应的数据库和数据表,则可跳过数据管理操作,直接进入脚本开发或作业开发。 数据管理的使用流程如下: 图1 数据管理流程 创建数据连接,连接相关数据湖底座服务。具体请参见新建数据连接。 基于相应服务,新建数据库。具体请参见新建数据库。
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,右键单击作业名称,选择“删除”。 图1 删除作业 在弹出的“删除作业”页面,单击“确定”,删除作业。 批量删除 在数据开发主界面的左侧导航栏,选择“数据开发
建完成,请等待5~10分钟后查看监控数据。 前提条件 CDM集群正常运行。 重启失败、不可用状态的集群,无法查看其监控指标。当集群再次启动或恢复后,即可正常查看。 CDM集群已正常运行一段时间(约10分钟)。 对于新创建的集群,需要等待一段时间,才能查看上报的监控数据和监控视图。
project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 connection_name 是 String 连接名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设
参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 job_name 是 String 作业名称。 instance_id 是 Long 作业实例ID, 获取方法请参见查询作业实例列表 请求参数 表2 请求Header参数 参数名 是否必选
行数上限为300。 当作业节点调度次数/天配额>80000时,节点运行的并行数上限为400。 当您的每日作业节点调度次数接近、达到该规格,或需要扩充数据开发作业节点运行的并行数上限时,建议购买作业节点调度次数/天增量包,以避免作业调度和运行并发数受限。 说明: 当作业节点调度的已
单击,进入连接目录列表。 在连接目录中,右键单击对应的连接,选择“查看引用”,弹出“引用列表”窗口。 在引用列表窗口,可以查看该连接被作业或脚本引用的情况。 图1 引用列表 父主题: 数据管理
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,右键单击脚本名称,选择“删除”。 在弹出的“删除脚本”页面,单击“确认”,删除脚本。 批量删除 参考访问DataArts Studio实例控制台,登录DataArts
数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间(包含该值),格式为“yyyy-MM-dd
数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间(包含该值),格式为“yyyy-MM-dd
在左侧选择“API目录”,进入API列表页,勾选需要删除的API,单击“删除”。 只有未发布状态(如已创建、已下线)的API可以删除,已停用或发布状态不可删除。 批量删除API最多同时删除1000个API。 单击“确定”,完成API删除。 相关操作 批量下线API:您可以在专享版的“开发API
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 否 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填