检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
Studio实例。 操作步骤 登录华为云控制台,在左上角的服务列表中选择“数据治理中心DataArts Studio”,进入DataArts Studio实例控制台。 如果当前区域下有多个DataArts Studio实例,则默认进入实例列表。请单击所需实例卡片上的“进入控制台”,进入DataArts
CTS保存最近7天的审计日志。 CTS支持配置关键操作通知。例如用户可将与IAM相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用DataArts Studio服务时,如果触发了监控列表中的关键操作,那么CTS会在记录操作日志的同时,向相关订阅者实时发送通知。
云搜索服务(CSS)连接参数说明 华为云的云搜索服务(CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,CSS连接适用于将各类日志文件、数据库记录迁移到CSS,Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CD
变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图2 环境变量配置 表1 环境变量参数配置 参数 是否必选 说明 参数名称 是
Studio实例。 操作步骤 登录华为云控制台,在左上角的服务列表中选择“数据治理中心DataArts Studio”,进入DataArts Studio实例控制台。 如果当前区域下有多个DataArts Studio实例,则默认进入实例列表。请单击所需实例卡片上的“进入控制台”,进入DataArts
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
由一个特定的分析对象及其相关的统计指标组成的,向用户提供了以统计粒度为主题的所有统计数据。 数据开发:一站式协同开发平台 DataArts Studio数据开发是一个一站式敏捷大数据开发平台,提供可视化的图形开发界面、丰富的数据开发类型(脚本开发和作业开发)、全托管的作业调度和运
间物理隔离,但内网互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素:
支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 OpenGauss数据源与PostgreSQL一致,可参考本章节配置。 表1 PostgreSQL作为源端时的作业参数 参数类型
数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API? 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用,具体价格请参考该服务的计费详情页。商用计费开始后公测期间的集群将进入宽限期,如
中重启集群才能更新生效。 单作业的抽取并发数取值范围为1-300,集群的总抽取并发数取值范围为1-1000。其中集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,作业的抽取并发数建议不超过集群的总抽取并发数,过高的并发数可能导致内存溢出,请谨慎修改。
ters[0].clusterId,后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 响应消息体解析为参数传递定义时,传递的参数名(例如clusterId)在该作业的所有节点参数中需要保持唯一性,避免和其他参数同名。
ters[0].clusterId,后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 响应消息体解析为参数传递定义时,传递的参数名(例如clusterId)在该作业的所有节点参数中需要保持唯一性,避免和其他参数同名。
更直观的数据资产相关信息,有助于投资者对企业进行更好的估值;可以改善企业财务报表,进而降低资产负债率,提升利润率;数据入表后可以通过数据交易为企业增值,并促进数据资产开发的相关投入。 企业数据资产的计量方法分为成本法、收益法、市场法。具体每个企业有哪些数据资产能入表,怎么开展相关
同步场景:包含单表、整库、分库分表场景,各数据源支持的场景不一,详情请参见使用教程。 不同场景介绍如表1所示。 表1 同步场景参数说明 场景类型 说明 单表 支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库 支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表,一个任务中最多支持200张目标表。
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
作业)支持的数据源。 数据集成(离线作业)的数据连接来自于管理中心中适用组件已勾选“数据集成”的数据连接,离线集成作业支持的数据源详情请参见离线集成作业支持的数据源。 数据集成(实时作业)的数据连接来自于管理中心中适用组件已勾选“数据集成”的数据连接,实时集成作业支持的数据源详情请参见实时集成作业支持的数据源。
包,可以跳过这部分内容。 如果您需要再创建新的CDM集群,请参考购买批量数据迁移增量包章节,完成购买数据集成增量包的操作。 集群规格选择“cdm.xlarge”。 集群所属的VPC与MRS所属的VPC一致,同时也要与云专线连通的VPC的一致。 其它参数可以自定义,或者保持默认。 创建CDH