检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
制。但免费版不限制使用时长,可以长期使用。 试用初级版 您可以进入“大数据福利专场 0元试用”或“免费试用专区”活动页面,找到DataArts Studio的试用活动,配置DataArts Studio的区域后(不同区域的资源之间内网不互通,请根据您的实际需要慎重选择区域),单击购买即可进入DataArts
CDM集群已经创建成功后,支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源,后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。
段不用设置。 如果表中的字段数据来源于同一个关系模型中的多个表,您可以新建一个映射。 在该映射的“源表”中,您可以将多个表设置Join,然后在“字段映射”区域依次为表中的字段设置源字段,所选择的源字段应与表中的字段代表相同含义,一一对应。 例如,假设当前表的字段都来源于关系模型d
formation API的结果集内的第1行、对应列名为area的字段值。此处配置为如果该值等于“area1”,就执行并行处理分支。 零售商信息RetailerInformation分支的条件类型配置为“不满足其他条件时”,表示如果不满足并行处理分支的条件,则执行零售商信息RetailerInformation分支。
Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 当前用户已锁定该脚本,否则需要通过“抢锁
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图3 循环执行子作业 配
为什么执行完HIVE任务什么结果都不显示? 可能原因 执行完HIVE任务结果不显示,可能是由于连接方式引起的。 解决方案 清理缓存数据,采用直连方式,数据就可以显示出来了。 父主题: 数据开发
隐私数据保护简介 隐私数据保护是数据安全提供的一项用于敏感数据保护的功能。在隐私数据保护模块,您可以通过数据静态脱敏、动态脱敏、数据水印、文件水印和动态水印等方式来防止敏感数据遭到有意或无意的误用、泄漏或盗窃,从而帮助企业采取合理措施来保护其敏感数据的机密性和完整性、可用性。 保护方式 隐私数据保护提供以下敏感数据保护方式:
实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。 实时处理集成作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多个文件名(最多50个),文件名之间默认使用“|”分隔,您也可以自定义文件分隔符,从而实现文件列表迁移。
SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通MapR
管理资产标签 标签是用来标识数据的业务含义,是相关性很强的关键字,可以帮助您对资产进行分类和描述,以便于检索。 为方便管理技术资产,可以从业务角度定义标签,并与技术资产关联,比如标识某个表是SDI贴源数据层、DWI数据整合层等。 标签和分类 “标签”是相关性很强的关键字,帮助用户对资产进行分类和描述,以便于检索。
数据集成操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
数据架构操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 资源名称 事件名称 查看主题设计 DAYU_DS dsSubject
数据服务操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建API DLMApi createApi 更新API
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 可能原因 可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。 解决方案 建议您通过以下措施解决此问题: 检查CDM集群是否被关机。 是,将CDM集群开机后,确认管理中心的数据连接恢复正常。 否,跳转至步骤2。
用户、用户组、策略类型、策略状态来搜索相关策略的功能。您只需单击权限报告页面右上角的“高级搜索”即可弹出搜索框。 图1 高级搜索 策略状态过滤: 在服务的策略列表中,策略状态栏提供了过滤功能,您可以单击策略状态栏的来过滤所需要查看的策略。 图2 策略状态过滤 父主题: Ranger权限访问控制
"false"} 表达式的含义是:获取当前的时间点,往后推一天,判断是不是1号,如果是,则表明当前是每个月的最后一天,执行后续节点。如果不是,则跳过后续的业务节点。 图3 条件表达式 如果用户的作业是每个月的最后一天执行,可以按照上面的方法进行配置。 如果用户的作业是每月7号执行,可以按照下面的方法进行配置。
"false"} 表达式的含义是:获取当前的时间点,往后推一天,判断是不是1号,如果是,则表明当前是每个月的最后一天,执行后续节点。如果不是,则跳过后续的业务节点。 图3 条件表达式 如果用户的作业是每个月的最后一天执行,可以按照上面的方法进行配置。 如果用户的作业是每月7号执行,可以按照下面的方法进行配置。
实时作业监控提供了对实时处理作业的状态进行监控的能力。 实时处理作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。