检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。
multiLevelDir.enabled(OBS表的指定目录或OBS表分区表的分区目录下有子目录时,是否查询子目录的内容;默认不查询) dli.sql.dynamicPartitionOverwrite.enabled(在动态分区模式时,只会重写查询中的数据涉及的分区,未涉及的分区不删除)
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
查找维度表 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间分页查找维度表信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimension-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述
SQL脚本,以通过DWS SQL语句来创建数据表。 图6 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,并单击“运行”来创建数据表。其中,movies_item、ratings_item为原始数据表,具体数据将在之后通过CDM由OBS迁移到表中;top_rating_movie
String 源表ID,ID字符串。 target_table_id String 目标表ID,ID字符串。 name String 关系名称。 source_table_name String 源表名称。 target_table_name String 目的表名称。 role
展示实例运行状态。 成功:表示实例运行成功。 失败:表示实例运行失败。 运行中:表示实例正在运行中。 运行结果 展示实例运行是否正常结束。 正常:表示实例正常结束,且执行结果符合预期。 告警:表示实例正常结束,但执行结果不符合预期。 异常:表示实例未正常结束。 --:表示实例正在运行中,无执行结果。
已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台,在服务列表中选择“云审计服务 CTS”,进入云审计服务控制台。 在云审计服务控制台,默认展示事件列表,您可以通过筛选来查询对应的操作事件。 其中,DataArts Studio的相关事件在“事件来源”中包含如下分类:
项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页查询条数,即查询Y条数据。默认值50,取值范围[1,100]。 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limi
查看维度颗粒度 功能介绍 查询维度颗粒度,依据tableId查询涉及所有维度,不传tableId查询所有维度组颗粒度。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimension/groups 表1 路径参数 参数 是否必选
substringBetween(Job.getNodeOutput("shell_job1"),"<name>","<name1>")} 参数 用户可以参考表1和表2配置Shell节点的参数。 表1 属性参数 参数 是否必选 说明 Shell或脚本 是 可以选择Shell语句或Shell脚本。 Shell语句 单击
查询关系 功能介绍 通过关系名称(支持模糊查询)、创建人、开始时间、结束时间等分页查找关系信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/relation 表1 路径参数 参数 是否必选 参数类型 描述 project_id
血缘查询 功能介绍 血缘查询。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/entities/{guid}/lineage 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
登录数据服务专享版页面,选择集群,选择日志转储,选择LTS云服务日志。 图2 LTS转储 查看访问日志 当您配置了访问日志,可以查看访问日志的详细信息。 通过“云日志服务”控制台,进入日志主题界面,选择相应日志主题名称,在“原始日志”页签下,可查看访问日志。 日志显示格式如下,不支持修改日志格式。 图3 日志显示格式
查询概要 功能介绍 查询概要。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/asset/profile 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2
jobType=NORMAL_JOB:表示查询表/文件迁移的作业。 jobType=BATCH_JOB:表示查询整库迁移的作业。 jobType=SCENARIO_JOB:表示查询场景迁移的作业。 不指定该参数时,默认只查询表/文件迁移的作业。 请求参数 表3 请求Header参数 参数
查询连接 功能介绍 查询连接接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
质量作业或对账作业运行阻塞,不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时,选择“运维管理”,单击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。 图1 作业运行日志 父主题: 数据质量
移量”。 说明: 表名支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。例如: table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。 *table*表示表名中只要有“table”字符串,就全部导出。
文件格式:传输文件到数据表时,这里选择“CSV格式”或“JSON格式”。 高级属性里的可选参数保持默认。 目的连接名称:选择创建DLI连接中的“dlilink”。 资源队列:选择目的表所属的资源队列。 数据库名称:写入数据的数据库名称。 表名:写入数据的目的表。CDM暂不支持在DL