检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像,使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自己的自定义镜像,然后将镜像发布到SWR(容器镜像服务)中,最后在此选择自己生成的镜像,运行作业。 自定义镜像可以改变
关系模型来组织数据的数据库,其以行和列的形式存储数据,具有结构化程度高,独立性强,冗余度低等优点。1970年关系型数据库的诞生,真正彻底把软件中的数据和程序分开来,成为主流计算机系统不可或缺的组成部分。关系型数据库已经成为目前数据库产品中最重要的一员,几乎所有的数据库厂商新出的数
DWS集群与DataArts Studio实例网络互通,DWS集群需满足如下要求: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与DWS集群处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Studio实例(指DataArts
心运行环境等基础设施,数据服务会为您准备好计算资源,并支持弹性扩展,零运维成本。 图6 数据服务架构图 数据安全:全方位安全保障 网络安全 基于网络隔离、安全组规则以及一系列安全加固项,实现租户隔离和访问权限控制,保护系统和用户的隐私及数据安全。 用户权限策略 基于角色的访问控制
无法连接FTP服务器。原因:%s。 可能是由于网络不通、安全组或防火墙规则未放行、FTP主机名无法解析、FTP用户名密码错误等原因。若排除上述原因后仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0700 无法连接SFTP服务器。原因:%s。 可能是由于网络不通、安全组或防火墙规则未放行
组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 是否使用集群配置 是 此参数用于选择用户已经创建好的集群配置。 您可以通过使用集群配置,简化Hadoop连接参数配置。 URI 是
组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 GBASE数据源的访问地址,可填写为IP或域名。 端口 是 关系型数据库数据源的访问端口。 KMS密钥 是 通过
数据具备追溯数据所有者与分发对象等信息的能力。在数据处理过程中起到威慑及追责的作用。 数据泄密防护技术通过终端防泄露技术、邮件防泄露技术、网络防泄露技术,防止敏感数据在违反安全策略规定的情况下流出企业。 API安全管理相关工具平台提供内部接口和外部接口的安全管控和监控审计能力,保障数据传输接口安全。
规则类型选择“内置”,呈现此参数。 系统内置了80+条敏感数据识别规则,可对个人敏感信息(银行卡、信用卡等)、个人基本资料(手机号码、电子邮箱等)、网络身份标识信息(IPv4地址、IPv6地址等)等敏感信息进行识别和脱敏。内置的敏感数据识别规则可在“内置规则模板”页签查看。 选择内置规则后
调用地址:专享版支持内网地址和外网地址(外网地址需要您在创建集群时绑定弹性IP),如果需要在本地调用专享版API,需要使用外网地址,确保网络互通。共享版使用APIG地址,可直接选择该地址进行调用。 入参:本调用样例中创建了一个具备Query和Path入参位置的API,以便为您介绍入参应如何在调用时输入。
无法连接FTP服务器。 可能是由于网络不通、安全组或防火墙规则未放行、FTP主机名无法解析、FTP用户名密码错误等原因。若排除上述原因后仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0700 400 无法连接SFTP服务器。 无法连接SFTP服务器。 可能是由于网络不通、安全组或防火墙
调用地址:专享版支持内网地址和外网地址(外网地址需要您在创建集群时绑定弹性IP),如果需要在本地调用专享版API,需要使用外网地址,确保网络互通。共享版使用APIG地址,可直接选择该地址进行调用。 入参:本调用样例中创建了一个具备各类入参位置的API,以便为您介绍各类入参应如何在调用时输入。
CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图1 集群列表 如果用户对本地数据
自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像,使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自己的自定义镜像,然后将镜像发布到SWR(容器镜像服务)中,最后在此选择自己生成的镜像,运行作业。 自定义镜像可以改变
组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 连接地址前缀 是 适用组件勾选数据集成时显示该参数。 连接地址前缀,测试以及作业时调用接口,会自动拼接此前缀。https仅支持TLSv1
PB级数据上云,通过Teleport设备或硬盘(外置USB接口、SATA接口、SAS接口类型)向华为云传输大量数据,致力于解决海量数据传输网络成本高、传输时间长等难题。更多详情请参见数据快递服务。 各个数据迁移服务区别 表1 各个数据迁移服务区别 服务名 主要功能 与其他服务的区别
Kafka消息不满足消息格式:则记录同步失败消息日志,继续消费下一条消息,最终状态为部分失败或者同步失败。 Kafka消息合法,但是由于网络资源等原因消费失败:触发Kafka重试机制,重试3次,间隔分别为4、6、9s,如果依然失败,则记录日志,终止此次调度。 Kafka消息合法
用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。 如果该集群已经满足您
调用地址:专享版支持内网地址和外网地址(外网地址需要您在创建集群时绑定弹性IP),如果需要在本地调用专享版API,需要使用外网地址,确保网络互通。共享版使用APIG地址,可直接选择该地址进行调用。 入参:本调用样例中创建了一个具备各类入参位置的API,以便为您介绍各类入参应如何在调用时输入。
对象存储服务 OBS”,进入OBS控制台。 单击“创建桶”,然后根据页面提示配置参数,创建一个名称为“fast-demo”的OBS桶。 为保证网络互通,OBS桶区域请选择和DataArts Studio实例相同的区域。如果需要选择企业项目,也请选择与DataArts Studio实例相同的企业项目。