检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HIVE_3_X linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码,使用集群配置时不用配置 linkConfig.uri 否 String 连接Apache
面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 父主题: 配置CDM作业目的端参数
获取方法请参见实例ID和工作空间ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 String 每次查询的数据连接条数的限制量。 offset 否 String 每次查询的数据连接条数的分页页码。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
DCMM评估包含的内容也较多,且向下兼容,所以申请高等级评估同时需要满足低等级的要求。简易评估要点主要包含企业规模、数据管理人员、数据管理制度和数据管理工具与平台等维度。 图3 简易评估要点 父主题: 数据管理能力成熟度模型DCMM
One平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 count Integer 当前工作空间用户记录数。 total_page Integer 查询结果总页数。
源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DataArts Studio操作列表详见如何查看审计日志。用户开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计,用户可查看CTS保存最近7天的审计日志。
地址,获取到导出的zip文件。 图3 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图4 导出作业 导出环境变量 单击左侧导航上的“配置”,进入环境变量页面。 单击环境变量配置下的“导出”,导出环境变量。 图5
本章节主要介绍数据目录权限管理。 约束与限制 仅管理员角色的用户支持创建、删除、修改数据目录权限规则和设置数据目录权限生效状态。 开发者、运维者和访客角色的用户仅支持查看数据目录权限规则和规则列表。 管理数据目录权限规则 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
说明 流控策略 查询集群详情 查询集群详情接口。 cdm_common 删除集群 删除集群接口。 cdm_b 查询所有可用区 查询CDM集群的所有可用区。 cdm_common 查询支持的版本 查询CDM集群支持的版本。 cdm_c 查询版本规格 按版本ID查询所有兼容规格。 cdm_common
发布历史”,然后进入“发布日志”标签页查看日志。 请根据错误日志定位失败原因,问题解决后,再返回“关系建模”页面,在列表中勾选需同步的表,然后选择“更多 > 同步”尝试重新同步。如果仍同步失败,请联系技术支持人员协助解决。 图33 查看表状态 在列表中单击表名,可以查看表的详情,其中“数据源”显示了表的位置。
集群管理 查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: 数据集成API
Hive目的端作业参数。 图4 作业配置 配置作业字段映射及任务配置,单击“保存并运行”,执行CDM作业。 在“表/文件迁移”作业列表中,查看作业执行情况。 图5 查看作业运行情况 创建数据连接 登录DataArts Studio控制台,单击相应工作空间后的“管理中心”。 在DataArts
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。
权限管理接口 创建权限集 查询权限集列表 查询权限集 删除权限集 更新权限集 添加权限集成员 查询权限集成员列表 批量删除权限集成员 添加权限集的权限 查询权限集的权限列表 删除权限集的权限 更新权限集的权限 查询数据源可配置权限 查询权限集中配置的url信息 查询数据操作信息 父主题:
数据安全诊断接口 执行数据安全诊断 查询不合理的权限配置 查询数据权限控制模块诊断结果 查询敏感数据保护模块诊断结果 查询未进行静态脱敏任务的表信息 查询数据源防护模块诊断结果 父主题: 数据安全API
FI_hbase_link Manager IP FusionInsight Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口 与FusionInsight对接的CAS Server的端口。
表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页查询条数,即查询Y条数据。默认值50,取值范围[1,100]。 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 请求参数
关系建模接口 查找表模型列表 创建表模型 更新表模型 删除表模型 查询关系 查看关系详情 查询模型下所有关系 查看表模型详情 获取模型 新建模型工作区 更新模型工作区 删除模型工作区 查询模型详情 查询目的表和字段(待下线) 导出模型中表的DDL语句 父主题: 数据架构API
集群管理接口 查询集群概览信息列表 查询集群详情信息列表 查询集群详情信息 查询数据服务集群访问日志列表 开启数据服务集群OBS日志转储 开启数据服务集群LTS日志转储 父主题: 数据服务API