检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
理服务(简称TMS)通过标签识别、管理多种云资源,使资源管理变得更加轻松。 当拥有多个DataArts Studio实例时,您可以按使用者、维护者或用途等各类维度为各实例添加标签,然后在DataArts Studio实例列表页面,可以通过标签搜索、识别DataArts Studio实例。
系统默认脚本变量格式为${}。 ${}格式:识别脚本中${}格式的定义,解析其中的字段为变量名,如${xxx},识别为变量名:xxx。 ${dlf.}格式:识别脚本中${dlf.}格式的定义,解析其中的dlf.字段为变量名,其他${}格式定义不再识别为变量,如${dlf.xxx},识别为变量名:dlf.xxx。
current[1]}。 图5 主作业样例 而For Each节点中所选的子作业,则需要定义For Each节点中的子作业参数名,以便让主作业识别参数定义,作业如图6所示。 图6 子作业样例 配置方法 开发子作业 登录DataArts Studio控制台,找到所需要的DataArts
current[1]}。 图5 主作业样例 而For Each节点中所选的子作业,则需要定义For Each节点中的子作业参数名,以便让主作业识别参数定义,作业如图6所示。 图6 子作业样例 配置方法 开发子作业 登录DataArts Studio控制台,找到所需要的DataArts
理服务(简称TMS)通过标签识别、管理多种云资源,使资源管理变得更加轻松。 当拥有多个DataArts Studio实例时,您可以按使用者、维护者或用途等各类维度为各实例添加标签,然后在DataArts Studio实例列表页面,可以通过标签搜索、识别DataArts Studio实例。
队列管理”下查看已有队列。另外,当前DLI队列分为SQL队列和通用队列两类,SQL队列用于运行SQL作业,通用队列用于运行Flink、Spark Jar作业。 描述 为更好地识别队列权限,此处加以描述信息。 图2 添加队列资源 单击队列权限目录中的队列,进入队列详情页面。 其中MRS Yarn队列可配置队列属性,主
BZIP2:压缩为BZIP2格式。 LZ4:压缩为LZ4格式。 SNAPPY:压缩为SNAPPY格式。 SNAPPY 换行符 文件中的换行符,默认自动识别“\n”、“\r”或“\r\n”。“文件格式”为“二进制格式”时该参数值无效。 \n 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。
“确定”即可。 表1 参数设置 参数名 参数设置 *权限集名称 标识权限集,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需权限集。 *父权限集 选择对应的父权限集,父权限集可以是空间权限集或其他权限集。注意选择父权限集后,当前权限集的权限也为其父权限集的子集。
数据权限 数据权限简介 数据安全 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。在数据安全模块,您可以进行访问权限管理、敏感数据识别、隐私保护管理等操作。 统一权限治理 权限治理使用流程 敏感数据治理 敏感数据治理流程 隐私保护管理 隐私数据保护简介 数据服务 统一管理
据的快速响应交互场景。如果为大量数据开放的场景,更适于通过数据共享交换或其他方案实现,这种情况下,建议您通过数据安全进行权限管控、敏感数据识别、数据脱敏、数据水印等手段保护数据安全。 API开放方使用流程 您作为API提供者,需要实现一个或一组API的开放,那么您需要先后完成以下工作:
表1 新建空间权限集参数设置 参数名 参数设置 *权限集名称 标识权限集,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需权限集。 *管理员 选择管理员。当前权限集管理员支持最多选2个,且管理员类型必须同为用户或者用户组。 管理员为当前权限集的负责人,具有
度CDM作业。 通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。本文以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程 通过CDM节点批量创建分表迁移作业
当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。
数的场景。 API测试 完成API参数的配置并保存后,单击左下角的“开始测试”,可进入API测试环节。 填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。 测试过程中,如果数据服务API查询及返回数据的总时长超过默认60秒,会报超时错误。
管理资产标签 标签是用来标识数据的业务含义,是相关性很强的关键字,可以帮助您对资产进行分类和描述,以便于检索。 为方便管理技术资产,可以从业务角度定义标签,并与技术资产关联,比如标识某个表是SDI贴源数据层、DWI数据整合层等。 标签和分类 “标签”是相关性很强的关键字,帮助用户对资产进行分类和描述,以便于检索。
文件格式为CSV格式时支持此参数。 是否使用rfc4180解析器解析CSV文件。 否 换行符 文件格式为CSV格式时支持此参数。 文件中的换行符,默认自动识别"\n"、"\r"或"\r\n"。 \n 使用包围符 文件格式为CSV格式时支持此参数。 使用包围符来括住字符串值。包围符内的字段分隔符被
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务(MRS
当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。
并由小到大排序,例如:“1&3&5”。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。
当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 /0521/Lists.txt 高级属性 换行符 文件中的换行符,默认自动识别“\n”、“\r”或“\r\n”。当“文件格式”选择为“CSV格式”时,才有该参数。 \n 字段分隔符 文件中的字段分隔符,使用Tab键作