检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 详情请参见什么是可用区。 企业项目 default DataArts Studio实例默认工作空间关联的企业项目。企业项目管理是一种按企业项目管理云资源的方式,具体请参见《企业管理用户指南》。 如果已经创建了企业
资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 详情请参见什么是可用区。 企业项目 default DataArts Studio实例默认工作空间关联的企业项目。企业项目管理是一种按企业项目管理云资源的方式,具体请参见《企业管理用户指南》。 如果已经创建了企业
高。因此在使用数据安全前,需要提前为dlg_agency委托授予相关权限,所需权限如表1所示。 表1 待授予权限合集 权限名称 配置目的 是否必选 授权项/系统权限(二者选其一配置即可) IAM权限 系统获取用户或用户组、创建角色时,需要该权限。 例如用户或权限同步时,如果无此权限会导致操作失败。
可直接选择该地址进行调用。 入参:本调用样例中创建了一个具备各类入参位置的API,以便为您介绍各类入参应如何在调用时输入。由于Static是不随API调用者的传值变化的静态参数,因此无需在调用时输入,不需要关注。 图2 保存调用地址、请求方法和入参信息 获取JavaScript SDK包
母、数字、下划线(_)和通配符(*),例如 匹配规则为test_*时,表示匹配以“test_”开头的表。您也可以通过测试窗口,验证匹配规则是否符合预期。 通配符匹配适用于规则较多、结果表较多的情况。 全部:无需筛选或输入规则,直接选择当前数据库下的所有表作为任务目标表。 选择全部,适用于所选数据库下所有表的检索。
、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。 如图1和表1所示,DataArts Studio的IAM系统角色包括DAYU Administrator和DAYU User;工作空间角色是基于IAM角色DAYU User进一
参数描述可参考表1。 编辑时如果不涉及修改密码,可不填写此项,系统会自动带入上次连接创建时的密码。 完成修改后,单击“测试”去测试数据连接是否可以正常连接,如果可以正常连接,单击“保存”。如果测试连接无法连通,数据连接将无法创建,请根据错误提示重新修改连接参数后再进行重试。 删除
导入汇总表成功 导入成功后,请单击“发布”,使其处于“已发布”状态。 搬迁后验证 在新空间的表数据导入完成后,您可以在新空间查看并验证模型和表数据等是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘,是在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意手动
环境变量中支持定义变量和常量,环境变量的作用范围为当前工作空间。 变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图1 环境变量
支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘,是在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意手动
ls.parseDate函数来解析,语法是:DateUtils.parseDate(String value, String format)。 将日期对象格式化成目标格式的字符串,可以使用DateUtils.format函数来格式化,语法是DateUtils.format(Date
对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。 - 数据消费开始时间 数据消费的开始时间位点,即日志数据到达LogHub(LTS)的时间,该参数为时间范围(左闭右开)的左边界。
TO_NULL_STRING TO_NULL 导入前清空数据 选择目的端表中数据的处理方式。 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 换行符处理方式 对于写入Hive textfile格式表的数据中存在换行符的场景,指定对换行符的处理策略。
当配置为60时,如果消费者60s内从Kafka拉取数据返回一直为空(一般是已经读完主题中的全部数据,也可能是网络或者Kafka集群可用性原因),则立即停止任务,否则持续重试读取数据。单位:秒。 60 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。
依据DDL更新模板:依据DDL模板管理中配置的DDL更新模板,更新数据库中的表,但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同,在数据架构中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和数据架构中的表是一致的。例如,DLI类型的表更新操作不支持删除表字段,如果在
用户在关系建模过程中,可以从数仓规划去设计物理模型。 物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或MRS_Hive。 维度建模 维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服务
关系建模:基于关系建模,新建SDI层和DWI层两个模型。 SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来
inconsistent”: fixMeta命令是校验HDFS和HBase元数据一致性,出现这个提示是正常情况,继续执行fixAssignments命令即可。 执行完fixAssignments命令后,报错显示“xx inconsistent”: fixAssignments是让所有Region上线,偶
据会从数据目录获取,否则会从数据源获取元数据。已完成元数据采集的场景下推荐开启快速模式。 值得注意的是,库、表、列的权限是分层管理的,例如仅授予库权限后,则被授权用户对表和列依然是无权限的,如需对表或列授权,要再次按照对应层级进行授权。 例如,选择数据库授权,当手动填写数据表表名