检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗? CDM集群是否支持升级操作? CDM迁移性能如何? CDM不同集群规格对应并发的作业数是多少? 是否支持增量迁移? 是否支持字段转换? Hadoop类型的数据
如果您已购买DataArts Studio实例,请进入续费管理页面,在实例列表中查找所需续费的DataArts Studio实例,单击其所在行的“开通自动续费”,然后请根据页面提示完成自动续费的开通。 您也可以进行手动续费,请进入续费管理页面,在列表中查找所需续费的DataArts Studio实例,单击其
的端写入速度,在排除目的端因素后再排查上游。 目的端写入慢 检查目的端负载是否已达到目的端数据源上限,如DWS、Doris,优先查看目的端监控指标,查看CPU、内存、IO等参数是否处于高负载状态。 在排除目的端负载的情况下,加大作业并发,以提高写入速度。 如果第2步也无法有效提升
性。 查看连接JSON:选择操作列的“更多 > 查看连接JSON”,以JSON文件格式查看连接参数的配置。 编辑连接JSON:选择操作列的“更多 > 编辑连接JSON”,以直接修改JSON文件的方式,修改连接参数。 查看后端连接:选择操作列的“更多 > 查看后端连接”,查看该连接对应的后端连接。
户无权限操作。 敏感数据识别过程中,如果规则为内容识别类型(即内置规则和内容识别类型的自定义规则),则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值(默认80%)时,才认为该字段为敏感字段,并为之匹配相应密级和分类。 被引用的数据识别规则无法直接删除,需要先解除引用关系后才能删除。
这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数,适当的抽取并发数可以提升迁移效率,配置原则请参见性能调优。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前
查询概要 功能介绍 查询概要。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/asset/profile 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2
获取数据的模式。 枚举值: SQL:SQL取数方式 ROW_KEY:ROW_KEY取数方式 仅适用于HBASE PREFIX_FILTER:PREFIX_FILTER取数方式仅适用于HBASE access_type String 取数方式(已弃用)。 枚举值: SCRIPT:脚本方式
SQL时,配置该参数。选择了资源队列以后,单击可以查看队列性能,系统支持查看DLI运行作业数和队列CU使用量,系统显示队列近24小时性能情况。 说明: 当队列选择为“default”时,会提示“暂不支持"default"队列性能展示”。 还未选择资源队列时,图标灰化不可查看队列性能。 如需新建资源队列,请参考以下方法:
物理模型要确保数据的一致性及数据的质量。 新业务或新功能增加时能够以较少的改动或不改动就能够满足需求的扩展。 新建物理模型 数仓分层和模型管理相关功能已迁移至数仓规划页面。创建物理模型请参见数仓规划。 新建表并发布 当您在数仓规划中完成关系模型的创建之后,您就可以在关系建模中新建业务表(物理表)。
息。 12 查看日志 对于Flink SQL和Flink JAR两种实时处理的单任务作业,作业运行完成后,可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。 说明: MRS集群版本为不支持时,界面不显示查看日志,则系统不支持通过一键跳转查看日志。 单击作
配额使用量”查看使用量。当您的数据模型数量接近或达到该规格时,建议购买数据模型数量增量包,以避免新建数据模型受限。 背景信息 不同版本的DataArts Studio实例的规格请参见版本规格说明。 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。
析待迁移的数据。 查看历史记录 查看作业执行结果及最近30天内的历史信息,包括历史执行记录、读取和写入的统计数据,在历史记录界面还可查看作业执行的日志信息。 查看作业日志 在历史记录界面可查看作业所有的日志。 也可以在作业列表界面,选择“更多 > 日志”来查看该作业最近的一次日志。
查询服务目录 功能介绍 查询服务目录。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/{catalog_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
任务组的名称。任务组名称不能重名。 最大并发数 当前任务组作业节点最大并发数。 最大节点并发数即为当前DataArts Studio实例的并发数。 当前DataArts Studio实例的节点并发数上限为1000,请不要超过该上限。 最大并发数与DataArts Studio实例规格
单击“取消”,取消节点输入功能的参数配置。 编辑 单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,
称指的是Hetu引擎的资源队列名称。查看Hetu引擎的资源队列名称,需要登录MRS的FusionInsight Manager系统,单击左侧导航的HetuEngine,在基本信息区域,单击HSConsole WebUI链接,在计算实例列表中查看Hetu引擎的资源队列名称。 规则模板
逆向数据库 逆向数据库成功后,单击“关闭”。逆向后的表为草稿状态,在单击“发布”后,在列表中可查看导入并发布的表。 图27 查看表 请参照以下步骤,新建一个“标准出行数据”的标准化的业务表。 在“数仓规划”页签中,单击新建的DWI关系模型,进入到“关系建模”页面,展开主题后,选中DWI模型中的业务对象“城市交通
在数据地图中,可通过关键词搜索数据资产,支持模糊搜索,快速检索,定位数据。 使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。获得数据详细信息后,可添加额外描述。 通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 对数据资产,可以从业务角度定义分类或标签。 父主题:
”模块,进入数据目录页面。 选择“元数据采集 > 任务管理”。 在采集任务页面,可查看所有已创建的采集任务。 表6 管理采集任务 参数名 说明 任务名称 采集任务的名称。 单击采集任务名称,可查看该采集任务的采集策略和调度属性。 数据源类型 数据连接的名称。 调度状态 显示采集任务的调度方式,单击,可进行筛选。