检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
domain over ratelimit, limit:1000, time:1 day 域名的请求次数达到了给定的上限:1天1000次。 建议:去API网关,为分组绑定域名。 临时规避:切换分组。域名以分组为单位,每个分组限制独立计算。 DLM.4018 Api is not exist
扩大字符字段长度:当目的端和源端数据编码格式不一样时,自动建表的字符字段长度可能不够用,配置此选项后CDM自动建表时会将字符字段扩大3倍。 导入前清空数据:任务启动前,是否清除目的表中数据,用户可根据实际需要选择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。
创建API时提示代理调用失败,怎么办? 数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 使用API时,每个子域名每天可以访问多少次? 数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API? API传参是否支持传递操作符?
JAR两种实时处理的单任务作业,作业运行完成后,可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。 说明: MRS集群版本为不支持时,界面不显示查看日志,则系统不支持通过一键跳转查看日志。 单击作业名称,在打开的页面中查看该作业的作业参数、作业属性、作业实例。
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图6 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
批量数据迁移增量包对应数据集成CDM集群。 通过购买一个按需计费方式的批量数据迁移增量包,系统会按照您所选规格自动创建一个数据集成CDM集群。 通过购买一个套餐包方式的批量数据迁移增量包,系统不自动创建CDM集群,而是在生效期内的每个计费月内按月提供745小时/月的使用时长,在绑定区域为在DataArts
划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 age > 18 and age <= 60 Hive作为数据源,CDM自动使用Hive数据分片文件进行数据分区。 父主题: 配置CDM作业源端参数
locaked”怎么处理? 问题原因 连接DWS集群输入密码错误的次数达到集群参数failed_login_attempts所设置的值(默认10)时,账户将会被自动锁定。 解决方案 解锁方式参考账号被锁住了,如何解锁? 父主题: 数据开发
含如下功能: 作业失败重试:如果作业执行失败,可选择是否自动重新启动作业。 作业分组:CDM支持对作业进行分组,分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行:可选择作业是否定时自动启动。 抽取并发数:可设置同时执行的抽取任务数。 是否写
作过程主要包括2个步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据,支撑H公司客户进行贸易统计分析。 父主题: 贸易数据极简上云与统计分析
将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表
查看监控指标 操作场景 当您启动了实时集成作业后,云监控服务会自动关联实时集成作业的监控指标,帮助您精确掌握作业的各项性能指标和运行情况。 由于监控数据的获取与传输会花费一定时间,因此监控显示的是当前时间5~10分钟前的状态。如果您的实时处理集成作业刚启动完成,请等待5~10分钟后查看监控数据。
将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表
消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 目的端优化 OBS写入优化 若开启了自动合并可尝试关闭,否则请优先增加并发解决。 父主题: 任务性能调优
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图6 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图8 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图8 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
辰不仅提供全套数据治理软件,让数据采集、加工、治理、应用更加便捷。还为企业搭建数据入表所需的信息系统及提供成本法入表服务,帮助实现半自动化、全自动化的数据入表。 同时, 亿信华辰拉通各生态伙伴成立“数据资产入表服务链合体”,为客户提供数据资产入表及数据资产交易等一站式解决方案,包
套餐包时,您需要在“云数据迁移 CDM”服务创建一个与DataArts Studio实例区域一致的cdm.large规格集群,集群运行时会自动扣除折扣套餐包时长,折扣套餐包时长到期后需要删除此集群,否则会产生相关费用。关于CDM服务的计费详情可参见CDM用户指南。 免费版不支持购
路径参数,作为url的一部分,直接替换url中{}标识的参数。 参数:param = xxx 原url:http://域名/p1/{param}/p2 实际url:http://域名/p1/xxx/p2 query参数 查询参数,作为url的补充部分。 参数:param = xxx 参数2:param2