检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
规范化的数据如何使用？ 问题描述 规范化的数据使用场景需要说明下。 解决方案 规范化的数据可以作为BI的基本信息，也可以作为上层应用的源数据，也可以接入各类数据可视化报表等。 父主题： 数据架构
支持的数据源 实时处理集成作业可以实现表或文件级别的数据实时增量迁移。 实时处理集成作业支持的数据源如表1所示。 表1 实时增量数据迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 关系型数据 MySQL Hadoop：MRS Hudi 消息系统：DMS Kafka 数据仓库：DWS
在弹出的新建脱敏页面中填写策略信息，参考表1完成配置。配置完成后单击“确定”即可。 图2 创建脱敏策略界面 表1 创建脱敏策略参数配置 参数 参数描述 *策略名称 用户自定义策略名称，只能包含英文字母、数字、“_”，且长度不能超过64个字符。 描述 为更好地识别脱敏策略，此处加以描述信息，长度不能超过255个字符。
约束与限制 当前仅支持MRS数据源的安全诊断能力。 安全诊断的扫描任务超时时间为1小时。 数据权限控制诊断项，空间管理员与安全管理员仅统计用户，不统计用户组成员。 诊断数据安全风险 数据安全诊断当前支持敏感数据保护、数据权限控制和数据源保护三大诊断项，诊断详情如图1所示。 图1 数据安全诊断详情
String 脚本关联的连接名称。当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、Shell、PRESTO、ClickHouseSQL、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时，这个参数是必选的。用户可以通过查询连接列表（待下线）
参考：CDM性能实测数据 背景说明 文中提供的性能指标仅用于参考，实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前，可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格，2.9.1 200版本。 性能测试中，表数据规
配置DLI源端参数 支持从DLI导出数据。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用ManageOne平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
为运维人员预留一定的时间处理异常，用户可以为基线设置预警余量，则系统会将承诺时间-预警余量作为触发报警的预警时间，判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的
Hive迁移作业长时间卡顿怎么办？ 问题描述 Hive迁移作业长时间卡顿怎么办？ 解决方案 为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置： 属性名称：hive.server2.idle.operation.timeout 值：10m 如图所示： 父主题： 数据集成
部署者操作 部署者作为管理开发任务上线的人员，需要审批待发布任务，相关操作如下文所示。 部署者审批开发者提交的发布任务，审批通过后才能将修改后的作业同步到生产环境。 在企业模式中，开发者提交脚本或作业版本后，系统会对应产生发布任务。开发者确认发包后，需要部署者审批通过，才能将修改后的作业同步到生产环境。
其它参数可以自定义，或者保持默认。 创建CDH HDFS连接： 单击CDM集群操作列的“作业管理”，进入作业管理界面。 选择“连接管理 > 新建连接”，进入连接器类型的选择界面，选择“Apache HDFS”。 图1 选择连接器类型 单击“下一步”，配置连接参数，依次填写相关信息。URI格式为“hdfs://NameNode
参数类型 描述 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）使用Token认证时必选。
作业配置的结束时间。 lastInstanceStatus 否 String 作业最近一次运行实例状态，当jobType为BATCH时才有本字段。 lastInstanceEndTime 否 Long 作业最近一次运行实例运行结束时间，当jobType为BATCH时才有本字段。 lastUpdateTime
如何实现用户的工作空间隔离，使其无法查看其他未授权工作空间？ DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下，当为普通用户配置了DAYU User系统角色，未添加为某个工作空间角色时，则该用户无法查看此工作空间。 注意，如果该普通用户同时被配置了DAYU
instance_id 是 String 任务实例ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。
X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 instance 是 String 实例ID，获取方法请参见实例ID和工作空间ID。 表3 请求Body参数
持人员。 分库分表场景 源端配置。 Kafka配置。 数据格式：支持的数据格式。 目前支持JSON、CSV、TEXT格式。 消费组ID：由用户指定，标识当前实时处理集成作业的消费组。 当迁移作业消费DMS Kafka集群某一Topic的消息后，在Kafka集群的“消费组管理”可以
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
