检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
f6:表示cdm.small规格,2核CPU、4G内存的虚拟机。适合PoC验证和开发测试。 fb8fe666-6734-4b11-bc6c-43d11db3c745:表示cdm.medium规格,4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。 5ddb1071-
Studio官方网站下载。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输
writeToLink 否 String 脏数据要写入的连接,目前只支持写入到OBS连接或HDFS连接。例如:“obslink”。 throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称,只有当脏数据要写入OBS连接的时候,此参数才生效。例如:“dirtyData”。
如果生成API时设置入参位置为Static,则还需设置静态参数值。如果未配置Static参数值,则SDK调用时会使用API入参默认值,API工具调用时会导致缺少Static参数值的报错。 图2 添加授权 授权成功后,可以在应用管理详情页面查看已绑定的API。 如果已绑定API列表中
数据集成API 集群管理 作业管理 连接管理 附:公共数据结构
则需要使用账号给当前用户添加“查看委托列表”的权限。 先创建自定义策略(查询指定条件下的委托列表),再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面,鼠标移动至右上方的账号名,在下拉列表中选择“统一身份认证”。 在左侧导航窗格中,单击“角色授权”>“创建自定义策略”。
在解决方案目录中,右键单击解决方案名称,选择“导出”,导出zip格式的解决方案文件至本地。 导入解决方案 导入解决方案功能依赖于OBS服务,如无OBS服务,可从本地导入。 在解决方案目录中,右键单击根目录“解决方案”,选择“导入解决方案”,导入已上传到OBS或者本地的解决方案文件。 在硬锁策略下,如果锁在其他人手中
提交作业版本 “提交”会将当前开发态的最新作业保存并提交为版本,并覆盖之前的作业版本。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
city2(code varchar(10),name varchar(32)); 在CDM集群下,创建连接到MySQL的连接,例如连接名称为“mysqltestlink”。创建连接到DWS的连接,例如连接名称为“dwstestlink”。 运行下述代码,依赖HttpClient包,建议使用4.5版本。Maven配置如下:
数据管理 数据管理流程 新建数据连接 新建数据库 (可选)新建数据库模式 新建数据表 父主题: 数据开发
Spark(Hudi)、MRS ClickHouse、DORIS。 从下拉列表中选择已创建的数据连接。 说明: 规则都是基于数据连接的,所以在建立数据质量规则之前需要先到管理中心模块中建立数据连接。 针对通过代理连接的MRS Hive,需要选择MRS API方式或者代理方式提交: MRS API方式:通过MRS
安装PHP插件 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输
产品优势 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台,提供全域数据集成、标准数据架构、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等,帮助企业构建完整的数据中台解决方案。 全链路数据治理管控 数据全生命周期管控,提供数据架构定义及可视化的模型
附:公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明 父主题: 数据集成API
split(StringUtil.split(Job.getNodeOutput("count95"),"]")[0],"[")[0],"\\"")[0]} 配置方法 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 选择
安装Go插件 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输
系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。 密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。
页面,重新关联可用的脚本。 前提条件 删除脚本前,请确保该脚本未被作业使用。 普通删除 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
数据集成 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考