检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据目录支持采集哪些对象的资产? 数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS
中心到云服务平台的VPN通道或专线。 已创建CDM集群。 新建MySQL连接器 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > 连接管理 > 驱动管理”,进入驱动管理页面。 在“驱动管理”页面,单击MySQL驱动“建议版本”列中的资料链接,按照相应指导获取驱动文件。
类型为DLI时,该参数需要填写为DLI。 cluster_name String 集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时,该参数需要填写为DLI。 database_name String 数据库名称。获取方法请参见获取数据源中的表。 table_id
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
ject id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 DLI DLI计费说明 DLI服务未购买专属队列时,涉及存储收费和扫描量计费。扫描量收费是在使用默认default队列提交作业时计费的,后续不使用队列不收费;存储收费需要您在DLI服务数据管理中删除相关数据。
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Py
DataArts Studio支持自定义的Python脚本吗? 问题描述 DataArts Studio自定义的Python脚本是否支持。 解决方案 支持。 父主题: 数据开发
否 boolean status为success的时候使用,true则筛选出强制成功的作业实例 默认值:false ignore_success 否 boolean status为success的时候使用,true则筛选出忽略失败的作业实例 默认值:false 请求参数 表2 请求Header参数
怎样查看质量规则模板关联的作业? 可能原因 质量规则模板关联的作业不清楚如何查看。 解决方案 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
DataArts Studio实例仅支持包周期计费。您可以根据需要参考云服务退订退订DataArts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费,套餐包暂不支持退订。本例中使用按需计费,完成后删除新建的存储桶即可;另外,DataArts Studio作
Query参数名=Query参数值”的形式添加到调用地址的最后,则此处会自动生成Query Params的值,否则就需要手动输入。 图3 Params 如果您需要对调用结果进行自定义调整,则还可以配置如下Query参数: (可选)分页配置:默认情况下,对于配置方式和默认分页的脚本/MyBatis
application/json”为消息头Header。{}内的内容为请求body体。 注意,请求中加粗的斜体字段需要根据实际值填写: IAM endpoint为IAM服务的终端节点。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。Endpoint您可以从终端节点及区域说明获取。
查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 biz_catalog_id_list 否 Array of strings 所属主题的ID列表,ID字符串。 biz_type_list 是 Array of strings 查询的表类型,必填。 枚举值: TABLE_MODEL_LOGIC:
此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。 如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境:
查询不合理的权限配置 功能介绍 查询不合理的权限配置。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/unreasonable-permissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 Success,返回查询的表的列表。 400 BadRequest。 500 Internal
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
可选,有Body体的情况下必选,没有Body体则无需填写和校验。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data data object 返回的数据信息。 表5 data 参数 参数类型 描述 value String 接口导出的表的DDL语句。 状态码:
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK 400 Bad Request 父主题: 数据密级接口