检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项目ID可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 图1 设置可见 通过“服务目录可见性”参数修改API可见范围 在DataArts Stu
数据治理组织架构框架 数据治理可以采用集中化(全时投入)和虚拟化(部分投入)混合的组织模式。结合具备专业技能的专职数据治理人员和熟悉业务和IT系统的已有人员,在运作上实现数据治理团队的快速构建和能力导入,捆绑业务、IT开发和数据团队利用已有人员熟悉度快速切入重点工作。 在工作内容和责任上具体到三层的工作组织:
D对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 - 单次写入行数
时,可以在勾选策略后,在列表上方单击“删除”。 删除操作无法撤销,请谨慎操作。 查看策略详情:在hetu权限同步页面,找到需要查看的策略,单击对应任务操作栏中的“详情”,即可查看策略详情。 图3 查看策略详情 父主题: 数据权限访问控制
用率、内存使用率、磁盘利用率、失败作业率等信息。 关于DataArts Studio支持的监控指标,以及如何创建监控告警规则等内容,请参见查看监控指标。 父主题: 安全
运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,
是 String 工作空间ID ,获取方法请参见实例ID和工作空间ID。 user_id 是 String 用户id,可在IAM侧用户信息中查询。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用
枚举值: HASH: 对指定的列进行Hash,通过映射,把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点(DN)中,即每个数据节点都有完整的表数据 distribute_column 否 String DISTRIBUTE BY HASH column. alias
抢锁”功能获取锁定后,才能继续编辑、保存或提交。 当前脚本/作业的锁定状态可以通过脚本/作业的目录树查看。 对于已被他人锁定状态的脚本/作业,您需要通过重新打开该脚本/作业,查看最近的保存/提交时的内容。已打开的脚本/作业内容不会实时刷新。 在DataArts Studio更新编
”模块,进入数据目录页面。 选择“元数据采集 > 任务管理”。 在采集任务页面,可查看所有已创建的采集任务。 表6 管理采集任务 参数名 说明 任务名称 采集任务的名称。 单击采集任务名称,可查看该采集任务的采集策略和调度属性。 数据源类型 数据连接的名称。 调度状态 显示采集任务的调度方式,单击,可进行筛选。
抢锁”功能获取锁定后,才能继续编辑、保存或提交。 当前脚本/作业的锁定状态可以通过脚本/作业的目录树查看。 对于已被他人锁定状态的脚本/作业,您需要通过重新打开该脚本/作业,查看最近的保存/提交时的内容。已打开的脚本/作业内容不会实时刷新。 在DataArts Studio更新编
如下步骤进行获取。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 DLI脏数据OBS路径 用于指定DataArts Studio数据开发中DLI SQL执
权限集页签。 在子权限集页签,您可以查看到当前权限集下的子权限集。 图9 查看子权限集 日志:在权限集详情页面,单击“日志”进入日志页签。 在日志页签,当权限同步失败后,您可以查看到日志详情。系统每天0点定时删除30天前的日志。 图10 查看日志 权限集配置完成后,权限管控并不会
数据治理实施方法论 数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。 图1 数据治理实施方法论 这也遵循了PDCA(Plan-Do-Check-Action)循环的科学程序,
权限集页签。 在子权限集页签,您可以查看到当前权限集下的子权限集。 图9 查看子权限集 日志:在权限集详情页面,单击“日志”进入日志页签。 在日志页签,当权限同步失败后,您可以查看到日志详情。系统每天0点定时删除30天前的日志。 图10 查看日志 权限集配置完成后,并不会直接生效
以便后面查看,可通过该参数配置,写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图6 任务配置 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
此时可按以下步骤依次排查: 确认失败作业为调度中的作业。测试运行的作业是不发通知的,只有调度中的作业才会发SMN通知。 在“运维调度 > 通知管理”中查看此作业的通知配置开发是否为打开状态。 登录SMN页面,排查对应的SMN主题是否有被订阅。 排查对应SMN主题的订阅终端中是否有自己的终端名,还需确认订阅的状态是“已确认”。
周期调度依赖原理的理解有误导致的。 如下图,月周期的作业依赖天周期的作业。为什么在天周期的作业还未跑完,月周期的作业已经开始运行? 图1 查看作业调度周期及依赖属性 解决方案 事实上,月周期的作业依赖天周期作业指的是当月的月周期作业是否运行取决于上月的天周期作业是否全部运行完成,而不是由当月的天周期作业决定。
称指的是Hetu引擎的资源队列名称。查看Hetu引擎的资源队列名称,需要登录MRS的FusionInsight Manager系统,单击左侧导航的HetuEngine,在基本信息区域,单击HSConsole WebUI链接,在计算实例列表中查看Hetu引擎的资源队列名称。 规则模板
Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“调用API > 服务目录”,可查看到所有已发布的API信息。 单击待绑定应用的API名称,进入API信息页面。 在“调用信息”页面,单击“申请权限”。 在申请权限页面,设置