检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分布式缓存服务（DCS） 连接Redis或DCS时，具体参数请参见Redis连接参数说明。 MRS Kafka Apache Kafka 连接MRS Kafka或Apache Kafka数据源时，具体参数请参见Kafka连接参数说明。 数据接入服务（DIS） 连接DIS时，具体参数请参见DIS连接参数说明。
工作空间内的API配额已满，无法新建API怎么解决？ DataArts Studio实例下数据服务专享版的API总分配配额默认为5000，如果工作空间内的API配额未达此配额，则您可以为当前工作空间分配更多已分配配额。 登录DataArts Studio管理控制台。 在旧版首页的
第三方平台的动态脱敏策略需要发布到Kafka消息队列，且消息格式满足要求，详见参考：Kafka消息格式要求。 已在管理中心创建MapReduce服务（MRS Kafka）类型的数据连接，请参考创建DataArts Studio数据连接。注意，Kafka应为第三方平台发布消息所在的Kafka，数据连接中
如何调用API 构造请求 认证鉴权 返回结果
资源权限配置页面 单击待创建权限策略Kafka组件的“配置” ，进入配置界面单击“创建”，新建权限策略。 图20 新建kafka权限策略 在弹出的策略配置页配置相关参数，配置完成单击“确定”，策略配置完成。 图21 配置Kafka权限策略 表8 Kafka权限策略参数表 参数名 参数描述
操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。 关于DataArts Studio支持的监控指标，以及如何创建监控告警规则等内容，请参见查看监控指标。 父主题： 安全
主键null值进行过滤？ Kafka Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”怎么办？ Oracle Oracle数据源如何开通归档日志、查询权限和日志解析权限？
解决方案 背景信息 解决方案定位于为用户提供便捷的、系统的方式管理作业，更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业，一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案
数据资产入表三步走 数据资产“入表”，是推动数据资产化的第一步，也是数据要素市场发展的关键一步。国有企业、上市公司如何充分发挥海量规模数据和应用场景等优势，如何解决数据难点，如何管好用好数据资产，已成为数字化转型的关键命题。对此，国内领先的数据分析和数据治理产品与服务提供商亿信华辰提炼
接名称和Topic选择为工作空间B中的Kafka连接和Topic，需要与工作空间A中job1作业中Kafka Client节点所选择的Kafka连接和Topic相对应，用于通过Kafka消息触发作业运行。 IF判断条件设置，用于校验Kafka Client节点发送的消息是否符合预
DMS Kafka 对象存储：OBS DMS Kafka同步到OBS作业配置 Apache Kafka Hadoop：MRS Kafka 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Apache Kafka同步到MRS Kafka作业配置
消息系统 DMS Kafka 对象存储：OBS DMS Kafka同步到OBS作业配置 Apache Kafka Hadoop：MRS Kafka（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Apache Kafka同步到MRS Kafka作业配置
Client调用了MRS服务查询集群列表的API，然后执行Kafka Client发送消息。 使用场景：Kafka Client发送字符串消息，消息内容为集群列表中第一个集群的cluster Id。 关键配置：在Kafka Client中使用如下EL表达式获取Rest API返回
Client调用了MRS服务查询集群列表的API，然后执行Kafka Client发送消息。 使用场景：Kafka Client发送字符串消息，消息内容为集群列表中第一个集群的cluster Id。 关键配置：在Kafka Client中使用如下EL表达式获取Rest API返回
数据接入服务（DIS）和Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 设置为长久运行的任务，如果DIS系统发生中断，任务也会失败结束。 迁移作业源端为MRS Kafka时，字段映射不支持自定义字段。
MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到DMS Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS Hudi作业配置 PostgreSQL同步到DWS作业配置
作业任务参数调优 MySQL到MRS Hudi参数调优 MySQL到DWS参数调优 MySQL到DMS Kafka参数调优 DMS Kafka到OBS参数调优 Apache Kafka到MRS Kafka参数调优 SQLServer到MRS Hudi参数调优 PostgreSQL到DWS参数调优
CDM集群实例 1分钟 disk_usage 磁盘利用率 该指标为从物理机层面采集的磁盘使用率，数据准确性低于从弹性云服务器内部采集的数据。 单位：%。 0.001%~90% CDM集群实例 1分钟 disk_io 磁盘io 该指标为从物理机层面采集的磁盘每秒读取和写入的字节数，数据准确性低于从弹性云服务器内部采集的数据。
数据集成（实时作业） 问题案例总览 数据源和资源组网络不通如何排查？ 数据源安全组放通哪些端口可满足Migration访问？ 如何配置Hudi Compaction的Spark周期任务？ MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 数据集成（CDM作业）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
