检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成(CDM作业)
号。补数据时,配置的补数据的业务日期就会替换作业计划时间。 Job.planTime会把作业计划时间通过表达式转化为yyyy-MM-dd格式的时间。 配置补数据作业的调度周期。单击界面右侧的调度配置,配置补数据作业的调度周期,该使用指导配置周期设置为天。 图3 配置调度周期 作业
送至API网关专享版、ROMA-APIC、或不发布网关。 发布请求的发起者若非审核人,需要API的审核人完成申请的审核。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/publish
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图3 循环执行子作业 配置完成SQL语
义策略配置后,单击“确定”完成MRS和CDM相关自定义策略创建。 创建自定义策略时,暂不支持同时选全局级云服务和项目级云服务,需要拆分为两条策略。因此本例先配置IAM相关策略,再配置MRS和CDM相关策略。 名称:DataArtsIamUserGroup_MRS 策略配置方式:单
无需自定义工作空间角色,直接将用户添加到工作空间成员、配置预置角色即可;否则,请您创建自定义角色,再将用户添加到工作空间成员、配置自定义角色。自定义工作空间角色的具体操作请参见(可选)自定义工作空间角色,添加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。
连接参数 参数 是否必选 类型 说明 linkConfig.deploymentMode 是 枚举 Redis部署方式: Single:表示单机部署。 Cluster:表示集群部署。 linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。
(可选)在标签列表中,单击标签操作列“删除”,删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中,选择资源搜索条件,单击“搜索”即可筛选出所配置标签的资源。 在集群列表中,单击标签搜索,筛选出所配置标签的资源。 父主题: 创建并管理CDM集群
实时集成任务运维 查看监控指标 查看同步日志 配置告警规则 动态修改任务配置 父主题: 数据集成(实时作业)
(可选)管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发
CDM可以通过批量导入的功能,实现批量创建作业,方法如下: 手动创建一个作业。 导出作业,将作业的JSON文件保存到本地。 编辑JSON文件,参考该作业的配置,在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群,实现批量创建作业。 您也可以参考通过CDM算子批量创建分表迁移作业,配合For
300及以上版本。 MRS Hive数据连接中的用户账号需要同时满足如下条件: 需要配置至少具备Cluster资源管理权限的角色(可直接配置为默认的Manager_operator角色)。 需要配置hive用户组。 为实现DWS数据源的数据访问审计,需要满足如下条件: 已开启DWS
在新建维度之前,如果您尚未添加主题信息,请先参考主题设计添加主题信息。 在“新建维度”页面,根据页面提示配置参数。 “基本配置”和“物化配置”,设置如下: 图1 配置参数 表1 基本配置 参数名称 说明 *所属主题 下拉框中选择相应的主题。 *维度名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。
图5 新建规则 选择“业务指标监控 > 业务场景管理”。 单击“新建”,在弹出的对话框中,配置相关参数,新建场景。 图6 基本配置 图7 规则组配置 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式。 在业务场景管理列表中,单击操作列的“运行”,再跳转到运维管理模块。
在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 在“空间信息”中,单击“数据服务专享版API配额”中对应配额的“设置”按钮,对已分配配额进行配置。配置完成后单击“保存”,保存当前配置。 已分配配额表示分配给
号。补数据时,配置的补数据的业务日期就会替换作业计划时间。 Job.planTime会把作业计划时间通过表达式转化为yyyy-MM-dd格式的时间。 配置补数据作业的调度周期。单击界面右侧的调度配置,配置补数据作业的调度周期,该使用指导配置周期设置为天。 图3 配置调度周期 作业
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图3 循环执行子作业 配置完成SQL语
步骤3:服务退订 本开发场景中,DataArts Studio、OBS和DLI服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN服务:如果您在使用DataArts Studio各组件过程中开启了消息通知功能,则会产生消息通知服务费用,收费标准请参见SMN价格详情。
Studio数据目录模块中对数据库进行元数据采集,以便同步数据目录时可以同步成功,否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作,请参见配置元数据采集任务。 逆向数据库导入表到维度模型中 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。
敏感数据治理 敏感数据治理流程 定义数据密级 定义数据分类 定义识别规则(部分高级特性) 定义识别规则分组 配置数据入湖检测规则(高级特性) 发现敏感数据 配置推荐识别(高级特性) 检测文件敏感数据(高级特性) 查看敏感数据分布 管控敏感数据 父主题: 数据安全