检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此处加以描述信息。描述信息长度不能超过256个字符。 所属目录 业务场景的存储目录，可选择已创建的目录。目录创建请参见图1。 业务级别 支持提示、一般、严重和致命四种业务级别，业务级别决定发出通知消息的模板样式。 规则组配置 定义规则组 规则组包含一个或者多个规则，规则间是逻辑表达式。 定义规则A
含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的
含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的
Mysql\Oracle\SqlServer\PostGres\OpenGauss等关系型数据为保证事务有序，在增量阶段是单并发抽取，加大并发一般不会提升抽取性能。 如果第2步也无法有效提升性能，请参考对应链路性能调优文档尝试进行参数优化。 如果上述步骤仍然无法提升作业速度，请联系技术支持人员协助解决。
数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业，当启动该作业的IAM账号在调度周期内被停用或删除后，系统无法获取用户身份认证信息，导致作业执行失败。 如果作业被低权限的用户启动，也会因为权限不足导致作业执行失败。 若需解决以上两个问题，则可配
同步目录前，请检查当前空间是否有已发布主题。如果没有已发布主题，同步时系统会报错提示。 同步目录时，最多同步五级主题到数据标准目录（目录层级不能超过5层），五级之后的主题不做处理。同步后的目录数量不能超过配额（一般是500），否则系统将报错提示并取消同步操作。每次同步之前系统会自动检测数据标准的目录是否有空目录（
作业状态有New，Pending，Booting，Running，Failed，Succeeded，stopped。 其中“Pending”表示正在等待系统调度该作业，“Booting”表示正在分析待迁移的数据。 查看历史记录 查看作业执行结果及最近30天内的历史信息，包括历史执行记录、读取和
前端展示层脱敏。 配置工作空间模式 系统支持按照作业调度计划时间去运行，同时支持按照业务日期去运行。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“工作空间模式”配置项。 工作空间模式支持如下两种，系统默认配置为“普通模式”。 普通模式：
上。 可以将离线或历史数据集成到云上。提供同构/异构数据源之间数据集成的服务，支持单表/文件迁移、整库迁移、增量集成，支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成 创建集群 新建数据迁移的源连接、目的连接 新建表/文件迁移作业
密级名称只能包含中文、英文字母、数字和下划线，创建完成后不支持“编辑”操作。 密级描述 密级描述支持所有字符输入，创建完成后支持通过“编辑”操作修改。 新建密级时，系统默认按照安全程度由低到高的顺序依次创建。您可以在密级建立好后，按照安全程度高低，通过“上移”、“下移”操作来调整密级顺序。 配置默认密级 如果您需要统一为MRS
测试通过的前提下，可在“字段名称”输入框中选择排序字段。 变量可自定义，用于与字段名称关联。在“变量”输入框中输入参数名称（一般填写为参数名称即可），系统会自动修改为变量形式。 是否可选决定了调用API时此排序参数是否必选，勾选则表示此参数可以不传，可以通过排序参数描述pre_o
(Source Data Integration)，又称贴源数据层。SDI是源系统数据的简单落地。 DWI (Data Warehouse Integration)，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 DWR (Data
数据标准管理着重建立统一的数据语言，各级数据层级业务对象的定义是数据标准的载体，并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来，但没有落IT系统的业务对象，需在后继的开发中进行数字化落地。 数据开发 数据开发是编排、调度和运维的中心，数据开发是一个
type和hoodie.bucket.index.num.buckets属性可进行配置。 判断使用分区表还是非分区表。 根据表的使用场景一般将表分为事实表和维度表： 事实表通常整表数据规模较大，以新增数据为主，更新数据占比小，且更新数据大多落在近一段时间范围内（年或月或天），下
约束与限制 浏览器限制 您需要使用支持的浏览器版本登录DataArts Studio。 表1 浏览器兼容性 浏览器版本 建议版本 建议操作系统 备注 Google Chrome 126，125，124 Windows 10 建议分辨率为1920*1080，2560*1440。 Firefox
式。 点数据集用于存放点数据。 边数据集用于存放边数据。 元数据用于描述点数据集和边数据集中的数据格式。 GES相关概念和图数据介绍请参见一般图数据格式。 约束限制 通过Import GES节点自动生成元数据时，有如下约束限制： 生成元数据时，目前仅支持选择单标签（Label）场
myregion.mycloud.com 端口 数据传输协议端口，https是443，http是80。 443 OBS桶类型 用户下拉选择即可，一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。
据安全风险。 无法对数据开发流程进行管控。 说明： 开发者可以不经过任何人审批，随时新增、修改脚本或作业并提交至调度系统，给业务带来不稳定因素。 流程相对复杂，一般情况下无法一人完成所有数据开发、生产流程。 企业模式对使用流程的影响 简单模式工作空间下，DataArts Stud
pic产生的数据量，配置足够的拉取时间。单位：分钟。 60 等待时间 当配置为60时，如果消费者60s内从Kafka拉取数据返回一直为空（一般是已经读完主题中的全部数据，也可能是网络或者Kafka集群可用性原因），则立即停止任务，否则持续重试读取数据。单位：秒。 60 消费组ID
数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。 初始化向量：这里的初始化向量必须与加密时配置的初始化向量一致，否则解密出来的数据会错误，且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时，写入目的端的文件便是解密后的明文文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
