检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部分内容。 如果您需要再创建新的CDM集群,请参考购买批量数据迁移增量包,完成购买数据集成增量包的操作。 实例类型:选择“cdm.xlarge”,该实例类型适用大部分迁移场景。 虚拟私有云:CDM集群的VPC,选择用户本地数据中心与云专线连通的VPC。 子网、安全组:这里没有要求,分别任选一个即可。
s Studio控制台完成端到端的全流程数据运营。 快速入门 基于电商BI报表的数据开发流程 基于电影评分数据的数据集成与开发流程 基于出租车出行数据的全流程数据治理 DataArts Studio云学院课程 05 最佳实践 通过提供针对多种场景的样例,方便您快速了解使用DataArts
(HTTPS)端口的访问权限。 此处支持选择共享VPC子网,即由VPC的所有者将VPC内的子网共享给当前账号,由当前账号在购买数据服务专享版集群时选择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维
s Studio平台当前支持的数据湖产品请参见DataArts Studio支持的数据源。 管理中心 由于管理中心的限制,数据治理各组件(如数据架构、数据质量、数据目录等)暂不支持包含中文和“.”字符的库表名。 DataArts Studio实例赠送的CDM集群,由于本身规格有限,推荐仅作为DataArts
华为云数据源所属的VPC,各数据源VPC查看方式不同,具体方法请参考数据源官方文档。 192.168.0.0/24 资源组VPC Migration实时计算资源组所属VPC,由于资源组创建在用户账户下属的资源租户,使用资源租户的VPC网段,因此不占用用户账户的VPC网段。 查看方式: 登录DataArts
在连接管理界面找到需要修改的连接: 删除连接:单击操作列的“删除”删除该连接,或者勾选连接后单击列表上方的“删除连接”来批量删除未被任何作业使用的连接。 编辑连接:单击该连接名称,或者单击操作列的“编辑”进入修改连接的界面,修改连接时需要重新输入数据源的登录密码。 测试连通性:单击操作列的“测试连通性”,直接测试已保存连接的连通性。
转换器,将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业,进入作业的字段映射步骤,在源端的时间格式字段后面,选择新建转换器,如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”,目前表达式转换支持字符串和日期类型的函数,语法和Java的字符串和时间格式函
Studio管理控制台。 单击控制台的“资源管理”页签,进入资源管理页面。 在默认的离线资源管理页签,您可以查看当前实例下的所有CDM集群及其状态、内网地址、公网地址等信息。 单击CDM集群列表中集群名称列的按钮开,可查看该CDM集群的详情信息,例如可用区、虚拟私有云、子网和安全组等网络相关
地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 曼谷等其他地区和国家提供
Studio实例中的CDM集群)与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
以便获得更好的开发流程管控。详情请参见创建企业模式工作空间。 背景信息 本文内容由以下几部分构成,从不同角度分别为您解决企业模式不同的问题。 表1 了解企业模式 分类 说明 简单模式与企业模式介绍 不同工作空间模式的介绍。 不同模式工作空间对生产任务开发与运维的影响 DataArts
网络打通 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题: 数据集成(实时作业)
迁移准备 前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。
获取下展信息与已发布实体的差异 功能介绍 当已发布的实体被编辑时,其会生成下展,该接口用于获取下展信息与已发布实体的差异。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/approvals/business/{biz_id}/diff
配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后,基于华为公有云的大数据分析能力,可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程,使其客户人员可以全身心聚焦业务创新,盘活100T的存量数据,使资产最大化变现。 CDM和D
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
开发模块提供数据开发模块与MRS通信的代理。 CDM集群创建时,需要注意:虚拟私有云、子网、安全组与MRS集群保持一致,确保网络互通。 建立Hive的数据连接 开发Hive SQL前,我们需要在“管理中心 > 数据连接”模块中建立一个到MRS Hive的连接,数据连接名称为“hive1009”。创建MRS
如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集
e平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 表3 请求Body参数 参数 是否必选 参数类型 描述 region_id 是 String 通过调用ManageOne平台的IAM服务的“查询区域列表”接口获取响应消息中的区域ID。