检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群均能访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互
基于网络隔离、安全组规则以及一系列安全加固项,实现租户隔离和访问权限控制,保护系统和用户的隐私及数据安全。 用户权限策略 基于角色的访问控制,用户通过角色与权限进行关联,并支持细粒度权限策略,可满足不同的授权需求。针对不同的用户,DataArts Studio提供了管理者、开发者、部
是否将tinyint(1)解析成boolean类型,默认为true。 数据源认证及其他功能配置 用户名 是 开启Kafka SASL_SSL时的必选项。 连接DMS Kafka的用户名。 密码 是 开启Kafka SASL_SSL时的必选项。 连接DMS Kafka的密码。 父主题:
Hive配置的白名单,需要配置以下配置项参数,单击保存,滚动重启后让配置生效。请在MRS服务的Hive组件的集群运维管理页面,在基础配置里面配置该参数。具体操作如下: 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“Hive
doop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 MapReduce服务(MRS Hudi) Hudi是一种数据湖的存储格式,在H
6及以上版本的数据服务专享版集群支持API编排。 API工作流发布前,需确保其中的普通API均已处于已发布状态。 算子和工作流简介 在API工作流编排页面,您可以自由拖拽各类算子到画布中,然后基于特定的业务逻辑和流程通过连线编排工作流,最后配置算子,完成后即可保存、调试及发布工作流。 API
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以
购买DataArts Studio实例 购买DataArts Studio基础包 (可选)购买DataArts Studio功能增量包 (可选)购买规格增量包
#{expr} 其中,“expr”指的是表达式。“#”和“{}”是数据开发模块EL中通用的操作符,这两个操作符允许您通过数据开发模块内嵌对象访问作业属性。 举例 在Rest Client节点的参数“URL参数”中使用EL表达式“tableName=#{JSONUtil.path(Job
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以
已在数据仓库服务创建DWS集群,确保与DataArts Studio实例网络互通,并且具有KMS密钥的查看权限。 已在MapReduce服务创建MRS集群,确保与DataArts Studio实例网络互通。 已创建CDM集群,详情请参见购买批量数据迁移增量包章节。 创建数据迁移连接 登录DataArts Studio
数据目录”模块,进入数据目录页面。 在左侧导航栏单击“数据目录”,选择“业务资产”页签,然后在筛选条件中选择业务对象,将显示符合条件的业务资产。 选择“技术资产”页签,然后在筛选条件中“数据连接”选择所需查看的连接,“类型”选择“Table”,右侧页面将显示符合条件的所有的元数据。
Jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 用户可以在SQL中调用插入Jar包中的自定义函数。 DLI队列 是 默认选择“共享队列”,用户也可以选择自定义的独享队列。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。 当前由于DL
任务实例接口 批量停止实例 父主题: 数据质量API
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以
环境变量、作业参数、脚本参数有什么区别和联系? 问题描述 环境变量、作业参数、脚本参数之间的区别与联系,需要具体举例说明下,便于用户理解。 解决方案 工作空间环境变量参数、作业参数、脚本参数均可以配置参数,但作用范围不同;另外如果工作空间环境变量参数、作业参数、脚本参数同名冲突,调用的优先级顺序为:作业参数
本步骤通过BI报表原始数据,分析10大用户关注最多的产品和10大用户评价最差的商品,然后通过作业定期调度执行并将结果每日导出到表中,以支撑信息分析。 分析10大用户关注最多的产品 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个DLI SQL脚本,以通过DLI
您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包,功能增量包用于拓展DataArts Studio实例的功能,规格增量包用于增加DataArts Studio实例的配额。当DataArts Studio实例使用配额接近或达到规格的情况下,您可以购买如下规格增量包:
行失败是否重试。用户可以定义Shell的返回结果码中哪些返回码可以重跑。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。
标库为字节长)。 Oracle为源端时全量+增量或增量作业,如果需要同步PDB库中的表,Oracle连接中需要填写CDB库的用户名和密码,不能为PDB用户名和密码,因为Oracle日志统一在存储在CDB库中,同时Oracle logminer只能运行在CDB库中。 操作步骤 本小