检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 yashan_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 1688 数据库名称
查看溯源结果:在数据水印溯源页面,找到需要查看溯源结果的任务,单击对应任务操作栏中的“查看结果”,即可查看溯源结果。注意,只有溯源成功的任务才会显示溯源信息。 图3 溯源信息 删除任务:在数据水印溯源页面,单击对应任务操作栏中的“删除”,即可删除任务。当需要批量删除时,可以在勾选任务后,在任务列表上方单击“批量删除”。
置数据目录中元数据的更新方式。 需要注意的是配置的更新、删除策略是作用在用户配置的数据库、数据表的范围内的。 勾选“仅更新数据目录中的元数据”:采集任务仅更新数据目录已经采集到的元数据 勾选“仅添加新元数据”:采集任务仅采集数据源中存在,但是数据目录中不存在的元数据 勾选“更新数
strings 需要物化的逻辑实体的ID列表,ID字符串。 dw_type 是 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 connection_id
云搜索服务(CSS)连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 css_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。
展示敏感发现任务识别出的表的密级分布,密级和用户定义的一致。右侧显示用户定义的密级及其关联的敏感表数目。 敏感数据识别任务的创建和运行,参考创建敏感数据发现任务。 图3 敏感表密级分布图 敏感字段密级分布图 展示敏感发现任务识别出的表敏感字段,密级和用户定义的一致。右侧显示用户定义的密级及其关联的敏感字段数目。
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
通过不同方式调用API 调用API方式简介 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题: 调用数据服务API
获取当前目录下所有类型列表(包括API和目录,均以目录的数据格式形式展示)。 2400 120 获取当前目录下的API列表 获取当前目录下的API列表。 2400 120 获取当前目录下的目录列表(全量) 获取当前目录下的目录列表(全量数据,不分页,推荐仅用于生成目录树等无法分页的场景)。 2400 120
obs://dlf-test/lkj_test/input/word.txt为wordcount.jar的传入参数路径,可以把需要统计的单词写到里面; obs://dlf-test/lkj_test/output.txt为输出参数文件的路径(如已存在output.txt文件,会报错)。 单击“测试运行”,执行该MRS
数据集成(离线作业) 离线作业概述 支持的数据源 新建离线处理集成作业 配置离线处理集成作业 配置作业源端参数 配置作业目的端参数 字段转换器配置指导 新增字段操作指导
CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 TSDB_link OpenTSDB链接地址 OpenTSDB的ZK链接地址。 opentsdb-sp8afz7bgbps5ur.cloudtable
将后文提供的各样例数据分别复制粘贴到不同CSV文件中,然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一: 使用文本编辑工具(例如记事本等)新建一个txt文档,将后文提供的样例数据复制进文档中。注意复制后检查数据的行数及数据分行的正确性(注意,如果是从PDF文
配置调度身份 数据开发模块的作业执行中会遇到如下问题: 数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业,当启动该作业的IAM账号在调度周期内被停用或删除后,系统无法获取用户身份认证信息,导致作业执行失败。 如果作业被低权限的用户启动,也会因为权限不足导致作业执行失败。
质量组件之外的其他组件操作权限。 为了解决此问题,项目管理员可以按照如下解决方案进行权限最小化配置,这样既能满足实际业务使用,也避免了权限过大的风险。 为数据运营工程师IAM账号授予DAYU User系统角色权限,然后删除IAM账号中的依赖服务权限,再赋予依赖服务的最小权限合集。
色实现授权的能力。为使IAM用户权限正常,IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色,另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。
Elasticsearch作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引 待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。 index 类型 待写入数据的Elasticsearch的类型,
同步场景,支持的数据源请参见分库分表同步支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体同步场景,支持的数据源请参见整库同步支持的数据源类型。 因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 不同CDM集群支持的数据源程度不一样,以实际为准。
作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。 原因分析 当同时存在多个不同版本的集群,先在低版本CDM集群创建数据连接或保存作业时后,再进入高版本CDM集群时,会偶现此类故障。 解决方案 需手动清理浏览器缓存,即可避免此类问题。