检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Lon
节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址,且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称
可以直接选择在数据加密服务中已创建好的KMS密钥。 当使用与CDM集群相同项目下的KMS密钥时,不需要修改下面的“项目ID”参数。 当用户使用其它项目下的KMS密钥时,需要修改下面的“项目ID”参数。 53440ccb-3e73-4700-98b5-71ff5476e621 项目ID
X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,从而帮助您轻松地把服务器上的应用和数据迁移到华为云。更多详情请参见主机迁移服务。 主机迁移服务 SMS 是一种P2V/V2V迁移服务,可以把X86物理服务器、私有云或公有云平台上的虚拟机迁移到华为ECS上。
标。 免运维 需要自行开发完善运维功能,自行保证系统可用性,尤其是告警及通知功能,否则只能人工值守。 使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7*24小时人工值守。 高效率 在迁移过程中,数据读写过程都是由
快速构建所需的数据架构。 已发布区域:全部 数据集成 集群管理 集群管理实现的能力如下: 集群创建。 集群EIP的绑定/解绑。 集群配置修改。 集群配置/日志查看/数据监控。 监控指标配置。 创建集群 连接管理 连接管理实现的能力如下: 支持DLI、MRS Hive、Spark
LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“local_infile”设置为“ON”,开启该功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实
添加唯一约束 AlterDatabaseEvent 修改数据库 AddPartitionEvent 添加分区 AlterPartitionEvent 修改分区 AlterTableEvent 修改表 AlterCatalogEvent 修改目录 CreateCatalogEvent创建目录
这种情况是由于表数据量较大,并且源端通过where语句过滤,但并非索引列,或列值不离散,查询会全表扫描,导致JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构,将需要过滤的列配置为索引列,然后重试。 如果由于数据不离散,导致还是失败请参考2~4,通过增大JDBC超时时间解决。 根据作业找到
云搜索服务和Elasticsearch数据源约束 CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。 索引下的字段类型创建后不能修改,只能创建新字段。 如果一定要修改字段类型,需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建(数据也会删除)。 CDM自
作业参数的环境变量 最大抽取并发数 最大抽取并发数即集群最大抽取并发数。 此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步,在任意一处修改即可生效。 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置
据需要修改连接参数,参数描述可参考表1。 编辑时如果不涉及修改密码,可不填写此项,系统会自动带入上次连接创建时的密码。 完成修改后,单击“测试”去测试数据连接是否可以正常连接,如果可以正常连接,单击“保存”。如果测试连接无法连通,数据连接将无法创建,请根据错误提示重新修改连接参数后再进行重试。
Manager后,选择“租户资源”页签。 单击左侧“动态资源计划”进入动态资源计划页面。 图1 修改AM资源 选择“队列配置”。 单击需要修改的租户名(队列)后面的“修改”,进入修改队列配置页面。 修改“AM最多占有资源(%)”参数后面的配置值。 根据实际需要将所配置的值调大即可。 父主题:
名称默认为V1.0。 编辑规则模板 自定义规则模板是很多用户可能都要使用的数据,不能随意进行修改,开发者只有查询权限,如果要修改规则模板,请联系管理员进行修改。 自定义规则模板支持直接修改规则模板内容并进行发布。同时,可以选择下线历史版本且将待下线历史版本关联的作业迁移到新版本上。具体请参见如下操作。
broker列表,格式如:“host1:port1,host2:port2”。 llinkConfig.host 是 String MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 linkConfig.user 是 String
Studio生产环境。其中: 开发环境只针对开发人员开放,只用于脚本或作业开发,开发完后发布到生产环境中。 生产环境内不能做任何修改,只对最终用户开放,任何修改必须回退到开发环境中重新修改发布。 图6 企业模式工作空间 您可选择创建任意模式工作空间体验DataArts Studio,使用企业模式工作空间实现DataArts
复制名称与重命名脚本 您可以通过复制名称功能复制当前脚本名称,通过重命名功能修改当前脚本名称。 前提条件 已完成脚本开发,请参见开发脚本。 复制名称 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio
在“空间信息”中,单击“作业日志OBS路径”后的“请选择”按钮,选择日志存储路径,可选择某个具体的目录。 图1 修改日志存储路径 修改完成后,单击“确定”,即完成作业日志存储路径的修改。 用户在创建作业时,会默认创建dlf-log-{projectID}命名的桶,此桶若存在,会跳过创建。
不同实例规格,对API数量的支持能力不同。 公网入口 开启“公网入口”,创建集群时会为集群自动绑定一个新建的弹性公网IP,后续可以通过此公网IP地址调用专享版API。该功能新建的弹性公网IP不会计入收费项。 如果您存在需要本地调用或跨网调用API的使用场景,建议开启。如果在创建集群时
} ] } 连接参数 参数 是否必选 类型 说明 llinkConfig.host 是 String MRS Manager的IP地址。 linkConfig.authType 是 枚举 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBE