检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可能原因 数据连接中的CDM代理异常，例如内存占用过高等。 解决方案 短期内建议您在空余时间对CDM集群进行重启，长期措施需降低CDM集群的工作负载。 父主题： 数据服务
使用云专线直接迁移时的优缺点： 优点：数据无需做多次的搬迁，缩短整体搬迁周期。 缺点：在数据大量传输过程中会占用专线带宽，对客户并行进行的业务存在影响，跨越多个交换机设备。 CDM通过DES（数据快递服务）迁移1个月前的历史数据，迁移路径如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云）
数据服务为您提供快速将数据表生成数据API的能力，涵盖API发布、管理、运维的全生命周期管理，帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成，向合作伙伴、开发者开放功能和数据。 相对于数据共享交换或其他数据开放形式，使用数据服务进行数据开放具备如下优势： 统一接口标准，减少上层应用对接工作量。
为了满足高阶用户的个性化查询需求，数据服务提供了自定义SQL的脚本/MyBatis取数方式，允许您自行编写API的查询SQL，并支持多表关联、复杂查询条件以及聚合函数等能力。 脚本方式：仅支持普通SQL语法。 MyBatis方式：仅专享版数据服务支持此方式，此方式下脚本支持Mybatis标签语法。M
端写入速度，在排除目的端因素后再排查上游。 目的端写入慢 检查目的端负载是否已达到目的端数据源上限，如DWS、Doris，优先查看目的端监控指标，查看CPU、内存、IO等参数是否处于高负载状态。 在排除目的端负载的情况下，加大作业并发，以提高写入速度。 如果第2步也无法有效提升性
时间戳。 20180921145505 指标 输入迁移哪个指标的数据，或选择OpenTSDB中已存在的指标。 city.temp 聚合函数 输入聚合函数。 sum 标记 可选参数，如果这里有输入标记，则只迁移标记的数据。 tagk1:tagv1,tagk2:tagv2 父主题： 配置CDM作业源端参数
1000个 支持对接API云市场 √ × 支持协议 HTTP或HTTPS HTTPS 支持API策略路由 √ √ 运维分析展示 √ √ 支持后端负载均衡 × √ 支持内部API管理 × √ 后端支持对接私有云 × √ 支持对接专线服务 × √ 性能指标 独立物理多租集群 × √ 出、入网带宽独立
主键生成类型，实现org.apache.hudi.keygen.KeyGenerator从传入记录中提取键值。 - Hudi表预聚合键 对Hudi建表设置预聚合键，当两个记录拥有相同的主键时，保留precombine字段值较大的记录。 说明： 如果没有时间字段，可以设置和主键一样的字段，当遇到主键冲突时，保留最新的记录。
在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务（MRS Spark） Spark是一
超过1MB的建议单线程抽取数据。 集群最大抽取并发数规格 该参数设置为适当的值可以有效提升迁移速度，过小则会限制迁移速度，过大则会导致源端负载过高、影响系统稳定性。 不同规格的CDM集群支持的最大抽取并发数规格不同，并发数上限建议设置为vCPU核数*2。 cdm.large：16
API网关（API Gateway）提供API托管服务，涵盖API发布、管理、运维、售卖的全生命周期管理。帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成，向合作伙伴、开发者开放功能和数据。
当该空间下不超过5000条原子指标数据时可以全部导出。 函数说明 新建原子指标时，需要按照函数设定表达式。以聚合函数的部分函数为例，函数说明如表3所示： 表3 聚合函数说明 函数名 表达式 函数说明 avg(col) avg() 求平均值。 corr(col1, col2) corr()
point Administrator权限。 网络环境准备 如图1所示，专享版集群创建后，资源位于资源租户区，由ELB统一对集群节点进行负载均衡。 专享版集群创建后，您可以通过如下途径访问集群API： 内网地址：内网地址为用户VPC内的终端节点IP地址，默认具备。 外网地址（可选
炼出数据治理流程的实现框架，支撑具体数据治理实施流程的设计。 业务调研。明确DataArts Studio服务的能力边界，并分析后续的业务负载情况。 流程设计。以实际业务情况结合DataArts Studio服务的业务能力，完成数据治理业务流程设计，后续的数据治理操作均基于所设计的业务流程完成。
在开始使用DataArts Studio前，您可以通过业务调研，明确业务过程中所需的DataArts Studio组件功能，并分析后续的业务负载情况。 表1 业务调研表 序号 收集项 需收集信息描述 调研结果 填写说明 1 工作空间 企业大数据相关部门的组织和关系调查 本示例不涉及
HLL（HyperLogLog） 类型是一个二进制类型。HLL 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 HLL_UNION。 HLL 类型主要用于非精确快速去重场景下，对数据进行预聚合。 HLL列只能通过配套的 hll_union_agg、hll
同时为了满足用户的个性化查询需求，数据服务也提供了自定义SQL的脚本模式，允许您自行编写API的查询SQL，并支持多表关联、复杂查询条件以及聚合函数等功能。 生成API 注册API 将通过数据表生成的API统一管理和发布到API网关。目前数据服务支持Restful风格的API注册，包含GET/POST常见请求方式。
用户可同时添加多个附加字段。 自动建表：单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。 分库分表场景 对于不同库上表可以聚合为一个表，同步时会被统一写入一个目标表中，匹配的分库分表需要保证结构的一致性。 源端配置。 图4 添加逻辑表 逻辑表名：即最终写入到DWS的表名。
fig.numExtractors”（抽取并发数）为“5”，则每个分片2个文件。 SIZE：按文件大小分割。注意这里不会将文件做切分来实现均衡。例如：有10个文件，9个10M，1个200M，在并发任务数中指定“throttlingConfig.numExtractors”（抽取并
用户可同时添加多个附加字段。 自动建表：单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。 分库分表场景 对于不同库上表可以聚合为一个表，同步时会被统一写入一个目标表中，匹配的分库分表需要保证结构的一致性。 源端配置。 图4 添加逻辑表 已添加的逻辑表支持预览，单击操作列的预览即可。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
