检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表名称、字段名称、责任人、描述信息、创建时间等 标签的使用场景是什么? 本示例不涉及 标签是相关性很强的关键字,帮助用户对资产进行分类和描述,方便用户进行查询 7 数据安全 需要对哪些数据源进行访问管理? 本示例不涉及 支持DLI、DWS和Hive等数据源 需要支持静态脱敏? 本示例不涉及 支持对DLI、DWS和Hive数据源数据进行静态脱敏
访客等角色,其他账号也只有在加入工作空间并被分配权限后,才可具备管理中心、数据集成、数据架构、数据开发、数据目录、数据质量、数据服务、数据安全组件的操作权限。 约束限制 DataArts Studio实例下允许创建的工作空间数量配额暂无限制,请您根据业务需求自行规划。 存储作业日志和脏数据依赖于OBS服务。
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与DWS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MySQL。 图1 集群列表
L查询结果展示进行配置。 支持通过“责任人”和“更新时间”进行过滤查询,方便快速过滤出最近更新的作业。 作业开发支持细粒度权限管控,在数据安全模块对数据开发作业目录权限管控策略进行配置。 支持单击“基线链路”按钮,可以查看作业所属的基线链路信息。如果作业没有关联基线,则按钮置灰。
如何新建集群,请参见《MapReduce服务(MRS) 使用指南》中的创建集群章节。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 您需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 SQL脚本
无法连接FTP服务器。原因:%s。 可能是由于网络不通、安全组或防火墙规则未放行、FTP主机名无法解析、FTP用户名密码错误等原因。若排除上述原因后仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0700 无法连接SFTP服务器。原因:%s。 可能是由于网络不通、安全组或防火墙规则未放行、SFTP
96 子网ID CDM所属的子网必须与DWS一致。 63bdc3cb-a4e7-486f-82ee-d9bf208c8f8c 安全组ID CDM所属的安全组必须与DWS一致。 005af77a-cce5-45ac-99c7-2ea50ea8addf Endpoint IAM的Endpoint
填入AppKey和AppSecret。 1 2 3 4 5 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。
sig_params_init(¶ms); // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。
在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 删除 在参数值文本框后方,单击,删除作业参数。 常量 新增 单击“新增”,在文本框中填写作业常量的名称和参数值。
值应当小于单次提交行数。 100 单击“保存”回到连接管理界面,完成MySQL连接器的配置。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 父主题: 使用教程
true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关。 trustServerCertificate=true:在创建安全连接的时候可能会报PKIX错误,建议设置为true。 sslmode=require 连接私密属性 可选参数,单击“显示高级属性”后显示。
Flink程序执行的关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 Flink作业资源包
Studio实例中的CDM集群)与DWS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保DWS集群与DataArts
myhuaweicloud.com,具体如表2所示。 DataArts Studio其他组件接口(如管理中心、数据架构、数据质量、数据目录、数据服务、数据安全、数据地图等):dayu.{region_id}.myhuaweicloud.com,具体如表3所示。 表1 CDM数据集成Endpoint
服务互通时,如果DataArts Studio与其他云服务处于不同区域的情况下,需要通过公网或者专线打通网络;而在同区域情况下,同子网、同安全组的不同实例默认网络互通。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 如何选择可用区? DataArts St
vpc_id String 虚拟私有云id,可在当前虚拟私有云列表中获取。 security_group_id String 安全组id,可在当前安全组列表中获取。 eps_id String 企业项目ID,获取方法请参见项目ID和账号ID。 effective_time Number
对于数据目录组件中名称相同的元数据采集任务、元数据分类和标签,不支持被重复迁移。 待导入的资源应为通过导出获取的zip文件,导入时系统会进行资源校验。 由于安全原因,导出连接时没有导出连接密码,需要在导入时自行输入。 仅企业版支持数据目录(分类、标签、采集任务)导出,专家版暂不支持。 导入文件时,
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts
是 String 可用区。 vpc_id 是 String 虚拟网卡Id。 security_group_id 是 String 安全组id,可在当前安全组列表中获取。 net_id 是 String 子网id,可在当前虚拟私有云列表中获取。 instance_name 是 String