检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 实时集成作业监控 在详情页面,选择“监控信息”,在页面最下方可直接查看作业的部分关键指标数据。 图2 关键指标 单击“查看监控指标”,跳转至云服务监控详情页面,查看图形化监控指标。 图3 查看监控指标 更多关于监控指标的信息,请参见云监控用户指南。 父主题: 实时集成任务运维
申请单张表/列权限。 勾选自己当前无权限但需要使用的表权限/列权限。 申请多张表/列权限。 批量选择多张表后,在权限信息页面依次勾选需要使用的表/列权限。 图1 申请表/列权限信息 单击“确定”,系统弹出提交对话框。配置审批人后,单击“确定”。 等待审批人审批。待审批人审批后,权限即生效。
注意,在MRS API连接方式下,不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。 单击可以查看数据连接目录树下的数据库、数据表以及字段信息。DWS SQL、DLI SQL、MRS Hive SQL代理模式均支持查看目录树,其他数据连接均不支持。 如果您在使用数据开发前,已创建
什么是数据仓库? 随着数据库的大规模应用,使信息行业的数据爆炸式的增长。为了研究数据之间的关系,挖掘数据隐藏的价值,人们越来越多的需要使用联机分析处理OLAP(On-Line Analytical Processing)进行数据分析,探究一些深层次的关系和信息。但是不同的数据库之间很难做到数
单击“下一步”,进入“规则配置”页面。单击子作业的打开图标,进入子作业配置页面。 图2 进入子作业配置 单击子作业的打开图标,进入子作业的配置页面,配置规则信息。 基本信息:非必填项,保持默认即可。 来源对象: 规则类型:选择“表级规则”。 数据连接:选择在管理中心组件中创建的数据源连接。 数据对象:选择待统计的数据表。
复合指标是由一个或多个衍生指标叠加计算而成,其中的维度、时间周期均继承于衍生指标。 时间周期用于确定需要统计的时间范围。例如,一个自然日,最近一年等。 创建指标的详细信息如下: 创建原子指标,详情请参见原子指标。 创建衍生指标,详情请参见衍生指标。 创建复合指标,详情请参见复合指标。 创建时间周期,详情请参见时间周期。
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 GET /v2/0833a5
参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 无 响应示例 无 状态码 状态码 描述 200 下载的资源文件。 500 INTERNAL SERVER ERROR 父主题:
务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具
仓支持的更新表的能力不同,在数据架构中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和数据架构中的表是一致的。例如,DLI类型的表更新操作不支持删除表字段,如果在数据架构的表中删除了表字段,则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法,可以在DD
凭证(密码和访问密钥)。 在项目ID和账号ID下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
Hive的出租车出行的数据治理流程 MRS Hive 企业版 数据集成+数据开发+数据治理 需求全功能数据治理能力,适用于有完善的数据管理团队和体系,要进行企业信息架构、数据标准、数据模型、数据指标的落地,匹配完整的DAYU数据治理方法论。
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
如果安全控制原因不能使用相同子网和安全组,则可以修改安全组规则,允许CDM访问RDS。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问本地MySQL数据库。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
)时,您需要重新编辑并保存该连接。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过
> 新建连接”,进入连接器类型的选择界面,选择“Apache HDFS”。 图1 选择连接器类型 单击“下一步”,配置连接参数,依次填写相关信息。URI格式为“hdfs://NameNode IP:端口”,若CDH没有启动Kerberos认证则“认证类型”选择“SIMPLE”。 单
格式转换,以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码,支持映射为自定义信息。 例如,将“DLM.0”错误码映射为“OK”。 结果集映射 是 针对工作流中查询到的所有普通API结果集,支持对一个或多个节点的结果集名
参数类型 描述 entity 否 Entity object 资产信息。 referred_entities 否 Object 关联资产信息,结构体Map<String, Entity>。key:资产guid,value:资产信息。 表4 Entity 参数 是否必选 参数类型 描述 version