检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量创建作业任务:可以先手工创建一个作业,导出作业配置(导出的文件为JSON格式),然后参考该作业配置,在JSON文件中批量复制出更多作业,最后导入CDM以实现批量创建作业。 操作步骤 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表,提供以下批量操作:
批通过,才能将修改后的作业同步到生产环境。 自定义角色:如果预置角色不能满足您的需求,您也可以创建自定义角色。自定义角色的权限可自由配置,实现业务操作权限最小化。 背景信息 如果创建的IAM用户被授权DAYU User权限,则还需要添加工作空间成员和角色,否则会导致IAM用户无法查看已有的DataArts
计费方式:当前仅支持套餐包。 增量包规格:请根据您的业务情况选择合适的增量包规格。 购买时长:表示此套餐包的有效时长。 自动续费:勾选自动续费前的复选框,可实现自动按月或者按年续费。购买时长为按月购买时,自动续费周期为1个月;购买时长为按年购买时,自动续费周期为1年。 单击“立即购买”,确认规格后提交订单。
因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 不同CDM集群支持的数据源程度不一样,以实际为准。 表/文件同步支持的数据源类型 表/文件同步可以实现表或文件级别的数据同步。 支持单表同步的数据源如表1 离线作业不同数据源读写能力说明所示: 表1 离线作业不同数据源读写能力说明 数据源分类
批通过,才能将修改后的作业同步到生产环境。 自定义角色:如果预置角色不能满足您的需求,您也可以创建自定义角色。自定义角色的权限可自由配置,实现业务操作权限最小化。 背景信息 如果创建的IAM用户被授权DAYU User权限,则还需要添加工作空间成员和角色,否则会导致IAM用户无法查看已有的DataArts
计费方式:当前仅支持套餐包。 增量包规格:请根据您的业务情况选择合适的增量包规格。 购买时长:表示此套餐包的有效时长。 自动续费:勾选自动续费前的复选框,可实现自动按月或者按年续费。购买时长为按月购买时,自动续费周期为1个月;购买时长为按年购买时,自动续费周期为1年。 单击“立即购买”,确认规格后提交订单。
源端为Kafka JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
下参数解析格式为#{parameter},支持if、choose、when、foreach和where等标签语法,您可以借助标签语法来灵活实现空值校验、多值遍历、动态查表、动态排序及聚合等复杂查询逻辑。 MyBatis方式当前在“华南-广州”区域公测,公测结束后会陆续在其他区域上线。
写入数据到OBS服务器的目录,目录前面不加“/”。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度
源端为DIS JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
CDM和DLI服务按需收费,帮助H公司客户释放了维护人员并降低了专用带宽成本,使得维护成本相比线下数据中心降低了70%,且使用门槛低,可实现已有数据的平滑迁移,使新业务上线周期相比之前缩短了50%。 场景任务 根据客户原始数据采集处理系统中已有的H公司的数据(例如:贸易详单数据
如何选择可用区? DataArts Studio实例中的数据集成CDM集群所在可用区。DataArts Studio实例通过数据集成CDM集群与其他服务实现网络互通。 第一次购买DataArts Studio实例或增量包时,可用区无要求。再次购买DataArts Studio实例或增量包时,是
关于控制策略的描述。 单击“确定”,完成流量控制策略的创建。 创建成功后,策略信息页面增加显示新创建的策略,您可以将相关API绑定到该策略,以实现流量控制。 绑定API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选
工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts Studio底层计算引擎配置的管理能力。为实现多角色协同开发,管理员可将相关用户加入到工作空间,并赋予DataArts Studio预设的项目管理员、开发者、运维者、访客等角色,其他账
批量授权应用:您可以在专享版的“开发API > API管理”页面,勾选需要授权应用的API后,依次单击API列表上方的“批量操作 > 批量授权应用”,实现多个API的批量授权应用。 批量授权应用时,不支持同时授权多种认证类型API。 图3 批量操作 父主题: 授权API调用
配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式: JSON:以JSON格式解析源数据。 CSV格式:以CSV格式解析源数据。 JSON格式
表现。 业务指标用于指导技术指标,用于定义指标的设置目的、计算公式等,并不进行实际运算,可与技术指标进行关联。而技术指标是对业务指标的具体实现,定义了指标如何计算。 前提条件 在新建业务指标之前,您需要先完成流程设计,具体操作请参见流程设计。 新建业务指标并发布 在DataArts
计费方式:当前仅支持套餐包。 增量包规格:请根据您的业务情况选择合适的增量包规格。 购买时长:表示此套餐包的有效时长。 自动续费:勾选自动续费前的复选框,可实现自动按月或者按年续费。购买时长为按月购买时,自动续费周期为1个月;购买时长为按年购买时,自动续费周期为1年。 单击“立即购买”,确认规格后提交订单。
批量授权应用:您可以在专享版的“开发API > API管理”页面,勾选需要授权应用的API后,依次单击API列表上方的“批量操作 > 批量授权应用”,实现多个API的批量授权应用。 批量授权应用时,不支持同时授权多种认证类型API。 图2 批量操作 父主题: 授权API调用
统一权限治理 统一权限治理基于MRS、DWS、DLI服务,提供数据权限管理能力。您可以创建空间权限集、权限集或角色,并通过这些权限配置模型实现MRS、DWS、DLI数据的访问控制,按需为用户、用户组分配最小权限,从而降低企业数据信息安全风险。 敏感数据治理 敏感数据识别通过用户创