检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
置的表已存在,则不创建,数据写入到已存在的表中。 说明: Hbase自动建表包含列族与协处理器Coprocessor信息。其他属性按默认值设置,不跟随源端。 不自动创建 Row key拼接分隔符 可选参数,用于多列合并作为rowkey,默认为空格。 , Rowkey冗余 可选参数
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。单击“默认项设置”,设置“作业告警通知主题”配置项。按责任人配置工作空间作业告警通知主题的详细操作请参见作业告警通知主题。如果已配置,请忽略。 图1 配置作业告警通知主题
标列表和维度定义。 如果您需要查看CDM相关的监控指标,请参见查看CDM监控指标。 如果您需要在监控数据满足指定条件时发送报警通知,可参见设置CDM告警规则。 前提条件 使用CDM监控功能,需获取CES相关权限。 命名空间 SYS.CDM 监控指标 CDM集群支持的监控指标如表1所示。
功能总览 功能总览 全部 数据集成 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成 数据集成提供30+同构/异构数据源之间数据集成的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
开关机设置 是 选择开关机类型: 开 关 开关机对象 是 选择需要开机/关机的具体对象,例如开启某个CDM集群。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行
数情况来设置入参。例如,在用户表中根据用户ID查询用户信息时,请求Path设置为:/getUserInfo。可按照如下不同场景来配置入参: API调用时请求参数为用户id,需要返回对应id的用户信息。 单击“添加”,参数名配置为id。 参数位置选择Query。 类型设置为Number。
数据指标概述 在DataArts Studio数据指标的使用中,指标定义用于指导指标开发,用于定义指标的设置目的、计算公式等,并不进行实际运算,可与指标开发进行关联。而指标开发是指标定义的具体实现,定义了指标如何计算。 数据指标功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。
异常问题。 是否设置周期补数据 是,补数据时会按照设置的周期进行补数据任务。 第一个值表示具体的值。 第二个值表示按指定周期补数据,例如:小时、天,周、月。 说明: 设置周期后,将会按照周期进行补数据任务调度。对于调度周期为分钟,间隔小时以及天的任务,将按照新设置的周期去调度补数
配置行级访问控制 在业务开发过程中,存在多个开发者共同访问和维护同一张DWS表的场景,需要针对不同开发者设置不同行数据的访问权限。在这种场景下,您可以配置行级访问控制策略,为不同开发者按照行数据进行授权。 在数据安全组件新建行级访问控制策略后,通过策略同步,会将行级访问控制策略同
当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实
分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行可开启。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数,适当的抽取并发数可以提升迁移效率,配置原则请参见性能调优。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行
实例ID和工作空间ID 获取DataArts Studio实例ID和工作空间ID DataArts Studio的实例ID和工作空间ID可以从DataArts Studio控制台的URI链接中获取。 在DataArts Studio控制台首页,选择对应工作空间,并单击任一模块,如“管理中心”。
Manager页面。 在Manager页面的“系统设置”中,单击“密码策略配置”,修改密码策略。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中,单击“用户管理”,在用户管理页面,
模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“互斥配置”。 单击“新建”进入“互斥组设置”的界面。 设置“组名称”。 单击“添加作业”,至少选择两个作业。单击“删除”可以删除已添加的作业。 单击“确定”。 更多操作 编辑:单击“编辑”,可以对已配置的互斥组信息进行修改。
如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“local_infile”设置为“ON”,开启该功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,
重新启动 输入数据路径 否 设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 否 设置输出数据路径,系统支持从HDFS或OBS的目录路径进行配置。 表2 配置高级参数 参数 是否必选 说明 作业状态轮询时间(秒) 是 设置轮询时间(30~60秒、12
作业未修复前,可以设置间隔时间发送告警通知。 说明: 最大通知次数可设置为1~50。默认为1时,最小通知间隔不显示。 最小通知间隔可设置为5~60。 运行成功:作业的状态为“成功”时,发送通知。 未完成:该功能仅支持按天调度的作业配置。如果作业执行时间超过设置的未完成时间,则发送通知。
单击待绑定应用的API名称,进入API信息页面。 在“调用信息”页面,单击“申请权限”。 在申请权限页面,设置使用截止时间、选择应用,然后单击“确认”,完成API的权限申请。 如果生成API时设置入参位置为Static,则还需设置静态参数值。如果未配置Static参数值,则SDK调用时会使用API入参默认值
发责任人、运维管理员设置为管理员角色。 开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客
管理API API版本管理 设置API可见 停用/恢复API 下线/删除API 复制API 同步API 全量导出/导出/导入API 父主题: 开发数据服务API