检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持可视化和DDL方式管理数据库表。 注意,在MRS API连接方式下,不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。 单击可以查看数据连接目录树下的数据库、数据表以及字段信息。DWS SQL、DLI SQL、MRS Hive SQL代理模式均支持查看目录树,其他数据连接均不支持。
查看权限报告 本章主要介绍如何查看资源配置权限策略及详情。 前提条件 已完成权限策略配置,未配置请参考配置资源权限。 查看策略及详情 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“权限报告”,进入权限报告页面。
查看同步日志 Migration实时集成服务底层依托于Flink开发而来,同样对外开放了Flink的JobMamager和TaskManager日志,便于用户查看实时同步情况,并通过日志定位或排查异常问题。 前提条件 实时集成作业已启动、启动过。 实时集成作业已正常运行一段时间(约5分钟)。
后查看监控数据。 前提条件 使用实时集成作业监控功能,需获取CES相关权限。 监控指标对应的实时集成作业需要正常运行,停止或异常的作业仅支持查看7天内的监控指标。 实时集成作业已正常运行一段时间(约10分钟)。 支持的监控指标 实时处理集成作业支持的监控指标如表1所示。 表1 实时处理集成作业支持的监控指标
在控制台左上方,单击“服务列表”按钮,选择“数据治理中心”,进入DataArts Studio控制台。 购买DataArts Studio基础包 进入购买DataArts Studio实例界面。 配置DataArts Studio实例参数,各参数说明如表1所示。 表1 DataArts Studio实例参数
在控制台左上方,单击“服务列表”按钮,选择“”,进入DataArts Studio控制台。 购买DataArts Studio基础包 进入购买DataArts Studio实例界面。 配置DataArts Studio实例参数,各参数说明如表1所示。 表1 DataArts Studio实例参数
对于需要事务模式迁移的用户,可以配置“先导入到阶段表”参数,实现迁移失败时数据回滚。 极端情况下,可能存在创建的阶段表或临时表无法自动删除,也需要用户手工清理(阶段表的表名以“_cdm_stage”结尾,例如:cdmtet_cdm_stage)。 CDM访问用户本地数据中心数据源
vies_item和ratings_item表数据是否符合预期。 查看movies_item表数据: SET SEARCH_PATH TO dgc; SELECT * FROM movies_item; 查看ratings_item表数据: SET SEARCH_PATH TO dgc;
查找事实表 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间分页查找事实表信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/fact-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id
_id。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 Resource参数说明
费用按“按需计费”计费,购买套餐包之后的费用按“套餐包”计费。 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 数据集成CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面:
展示实例运行状态。 成功:表示实例运行成功。 失败:表示实例运行失败。 运行中:表示实例正在运行中。 运行结果 展示实例运行是否正常结束。 正常:表示实例正常结束,且执行结果符合预期。 告警:表示实例正常结束,但执行结果不符合预期。 异常:表示实例未正常结束。 --:表示实例正在运行中,无执行结果。
判断使用分区表还是非分区表。 根据表的使用场景一般将表分为事实表和维度表: 事实表通常整表数据规模较大,以新增数据为主,更新数据占比小,且更新数据大多落在近一段时间范围内(年或月或天),下游读取该表进行ETL计算时通常会使用时间范围进行裁剪(例如最近一天、一月、一年),这种表通常可以
以便后面查看,可通过该参数配置,写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图8 任务配置 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
登录数据服务专享版页面,选择集群,选择日志转储,选择LTS云服务日志。 图2 LTS转储 查看访问日志 当您配置了访问日志,可以查看访问日志的详细信息。 通过“云日志服务”控制台,进入日志主题界面,选择相应日志主题名称,在“原始日志”页签下,可查看访问日志。 日志显示格式如下,不支持修改日志格式。 图3 日志显示格式
CONDITION_TYPE_LE:小于等于 CONDITION_TYPE_LIKE:模糊查询如:%like% CONDITION_TYPE_LIKE_L:模糊查询如:%like CONDITION_TYPE_LIKE_R:模糊查询如:like% 表9 ApiResponsePara 参数 参数类型 描述 name
已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台,在服务列表中选择“云审计服务 CTS”,进入云审计服务控制台。 在云审计服务控制台,默认展示事件列表,您可以通过筛选来查询对应的操作事件。 其中,DataArts Studio的相关事件在“事件来源”中包含如下分类:
自定义SQL的运行结果展示最多300条,超出部分会自动截断。 对账作业结果 对账作业运行结果中,左侧表示源端表行数规则运行结果,右侧表示目的端表行数规则运行结果,误差率表示两端数据行数的差异比率,误差率为0表示两端一致。 更多 > 处理&记录 对当前规则实例进行进一步处理。支持填写处理意见,关闭问题和移交他人。
0”错误。 图1 报错信息 原因分析 查看日志提示报错信息为“Array element access needs an index starting at 1 but was 0”,即数组下标必须从1开始,a[1]表示数组中的第一个元素。 查看该CDM实时作业:配置源端为Kafk
key前缀,对应关系表的表名。 Redis和关系表的映射:用关系表的“表名+分隔符”来对应Redis的Key;关系表的一行数据对应Redis的Value。 fromJobConfig.keySeparator 是 String key分隔符,一般用来分割关系表和主键。 fromJobConfig