检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题描述 在使用CDM时,可能遇到如下权限相关的问题: 跳转到CDM首页,获取到的集群列表为空。 提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问 图2 不允许创建连接 原因分析 以上所列的问题均属于权限配置问题。
创建并配置简单模式工作空间 创建简单模式工作空间 设置工作空间配额 (可选)修改作业日志存储路径 父主题: 购买并配置DataArts Studio
start_time 否 Long 最近运行时间查询区间的开始时间,13位时间戳(精确到毫秒)。 end_time 否 Long 最近运行时间查询区间的结束时间,13位时间戳(精确到毫秒)。 limit 否 Integer 每页显示的条目数量,最大值为100。 offset 否 Integer
关于CDM服务的计费详情可参见CDM用户指南。 免费版不支持购买增量包,例如无法购买批量数据迁移增量包或作业节点调度次数/天增量包。 免费版数据开发组件的脚本数和作业数的配额限制分别为20。 免费版仅用于试用场景,在业务负荷大的场景下,无法保证免费版实例上业务的正常运行。 免费
请求消息的时间间隔,默认是0,不发送请求。然而ClientAliveInterval 300表示五分钟发送一次,然后客户端响应,这样就保持长连接了。ClientAliveCountMax的默认值3。ClientAliveCountMax表示服务器发出请求后客户端没有响应的次数达到
获取质量报告评分体系 功能介绍 获取质量报告评分体系。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/report/scoring 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
在“空间信息”中,单击“作业日志OBS路径”和“DLI脏数据OBS路径”后的“请选择”按钮,选择日志和DLI脏数据存储路径,可选择某个具体的目录。 图2 修改日志和DLI脏数据存储路径 修改完成后,单击“确定”,即完成作业日志和DLI脏数据存储路径的修改。 父主题: 管理工作空间
在“空间信息”中,单击“作业日志OBS路径”和“DLI脏数据OBS路径”后的“请选择”按钮,选择日志和DLI脏数据存储路径,可选择某个具体的目录。 图2 修改日志和DLI脏数据存储路径 修改完成后,单击“确定”,即完成作业日志和DLI脏数据存储路径的修改。 父主题: 创建并配置简单模式工作空间
Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图2 空间信息 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添加”或“按用户组添加”,然后从“成员账号”的下拉选项中选择用户或用户组,并设置角色。
度或者依赖作业未执行完成。 解决方案 在“运维调度 > 作业监控”界面确认作业的调度状态是否是调度中,只有调度中的作业到了调度周期后才会调度。 图1 查看作业调度状态 如果作业有依赖于其他作业,在“运维调度 > 实例监控”界面,查看依赖作业的运行状态。如果作业有自依赖,扩大搜索时
ID,在项目列表中查看项目和项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取,接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可参考IAM文档获取。 接口的认证鉴权请参见认证鉴权。
L不同。当DWS的主键字段在MySQL 中是非主键字段时且该字段在MySQL中出现null值,那么写入到DWS中将会报错。 解决方案 在DWS写入数据前,对DWS的主键字段进行过滤,如果是null,则打印warning日志提示同时不写入该行数据。 父主题: 数据集成(实时作业)
需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量及增量、实时数据集成。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。 通过购买一个套餐包方式的数据集
00:59],依赖策略是调度周期长的作业,往前推一个调度周期找依赖实例。 A依赖B,在同自然小时内,无论A、B设置在什么时间点执行,A永远在B的前一周期完成后执行。 举例:A在每小时5分0秒执行,B在12分执行,A会在每小时5分时依赖B上一小时生成的实例。 小时依赖天 规则:小时作业依赖自然天的天作业,需等天作业的前一周期执行完成后再执行。
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口:cdm.{region_id}.myhuaweicloud.com,具体如表1所示。 DLF数据开发V1接口:dayu-dlf
Studio底层计算引擎配置的管理能力。为实现多角色协同开发,管理员可将相关用户加入到工作空间,并赋予DataArts Studio预设的项目管理员、开发者、运维者、访客等角色,其他账号也只有在加入工作空间并被分配权限后,才可具备管理中心、数据集成、数据架构、数据开发、数据目录、数据质量、数据服务、数据安全组件的操作权限。
消息头和消息体。 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头
服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 410 Gone 客户端请求的资源已经不存在。返回该状态码,表明请求的资源已被永久删除。 411 Length Required 服务器无法处理客户端发送的不带Content-Length的请求信息。
Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图2 空间信息 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添加”或“按用户组添加”,然后从“成员账号”的下拉选项中选择用户或用户组,并设置角色。
示例二 某项目数据开发工程师通过DataArts Studio进行数据开发工作,被项目管理员赋予了“开发者”的预置角色。但该数据开发工程师还需要修改数据架构的配置中心的DDL模板用于数据开发,而“开发者”的预置角色不具备该权限。管理员如果直接赋予该数据开发工程师“管理员”的预置角色,则会出现权限过大的风险。