检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发责任人、运维管理员设置为管理员角色。 开发者：开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者：运维者具备工作空间内运维调度等业务的操作权限，但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客：访客
型在线进行压缩的场景。 说明： 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时，使用微批模式呈现此参数。 用于设置单个批次写Hoodie的数据行数，默认100000行。 100000 使用入库时间字段 将一个字段标记为入库时间字段
则导入前必须先编辑JSON文件，将“Add password here”替换为对应连接的正确密码，再执行导入操作。 文本导入：无法正确上传本地JSON文件时可选择该方式。将作业的JSON文本直接粘贴到输入框即可。 当前导入时不支持覆盖已有作业。 父主题： 在CDM集群中创建作业
生效：打开，表示该数据目录权限规则生效。反之，不生效。 数据目录权限规则生效后，仅该数据目录权限规则所适配的用户，可管理限定标签或者分类的数据资产。例如设置类型为标签，范围选择test，用户设置为A，当开启权限规则后，A用户只可管理test标签的资产。 图1 新建规则 在数据权限规则列表中，选择对应规则后的编辑和删除，可修改和删除数据权限规则。
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发，因此包含了Flink系统中最重要的两个部分：JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
DQC作业类型为对账作业时需要配置。 是：如果该对账作业处于告警状态时，当前节点的状态将被设置为成功，继续执行后续节点。 否：如果该对账作业处于告警状态时，则当前节点的状态将被设置为失败。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。
DLI约束限制： DLI提供的设置作业优先级功能，当资源不充足时，可以优先满足优先级较高的作业的计算资源。DLI优先级功能包含DLI Flink Job、DLI SQL和DLI Spark三个作业算子。 只有运行在弹性资源池上的作业支持设置作业优先级。 弹性资源池上的SQL作业支持作业优先级。
的第一个元素），如果误用了下标0，那么作业会运行失败，故发现该问题为赋值数组下标设置错误导致，需重新设置。 图2 原有参数配置 解决方案 修改字段赋值为a[1]，提交作业版本重新启动即可。 图3 设置目标表的赋值参数 父主题： 数据集成（实时作业）
分页大小参数名称 分页大小参数名称，默认放到query参数中。如果参数名设置为page_size，也支持通过#page_size获取。 page_size 分页页码参数名称 分页参数名称，默认放到query参数中。如果参数名设置为page_index，也支持通过#page_index获取。
Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。单击“默认项设置”，设置“作业告警通知主题”配置项。按责任人配置工作空间作业告警通知主题的详细操作请参见作业告警通知主题。如果已配置，请忽略。 图1 配置作业告警通知主题
不处理 删除 Hive表分区字段 “自动创建”设置为“不自动创建”时，无该此参数。 对Hive建表设置分区字段，多个值以逗号隔开。 A,B 表路径 “自动创建”设置为“不自动创建”时，无该此参数。 表路径。 - 存储格式 “自动创建”设置为“不自动创建”时，无该此参数。 选择存储格式。
编辑空间管理 在“空间信息”中，单击“设置”按钮对已分配配额进行配置。 图4 设置已分配配额 数据服务已创建的API属于计费项，当前操作正在增加API配额，这会使工作空间下可以创建更多的API，同时可能使收费增加，请确认。 设置专享版API已分配配额。 图5 设置配额 已分配配额不能小于已使
消费记录策略为起始时间时须设置起始时间。 格式为yyyy-MM-dd HH:mm:ss，支持配合DLF变量等方式设置。 2024-07-25 00:00:00 结束时间 消费记录策略为起始时间时须设置结束时间。 格式为yyyy-MM-dd HH:mm:ss，支持配合DLF变量等方式设置。 2024-07-25
DWS的写入模式，可在目的端配置中设置，实时处理集成作业推荐使用COPY MODE。 UPSERT：为批量更新入库模式。 COPY：为DWS专有的高性能批量入库模式。 批写最大数据量 int 50000 DWS单次写入的最大条数，可在目的端配置中设置。 当缓存的数据达到“批写最大数
DWS的写入模式，可在目的端配置中设置，实时处理集成作业推荐使用COPY MODE。 UPSERT：为批量更新入库模式。 COPY：为DWS专有的高性能批量入库模式。 批写最大数据量 int 50000 DWS单次写入的最大条数，可在目的端配置中设置。 当缓存的数据达到“批写最大数
where date_format(trade_time, 'yyyy-MM-dd') = '${yesterday}' 单击，将脚本的名称设置为“generate_trade_report”。 新建和开发作业。 在数据开发模块控制台的左侧导航栏，进入“数据开发 > 作业开发”，选
重新启动 输入数据路径 否 设置输入数据路径，系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 否 设置输出数据路径，系统支持从HDFS或OBS的目录路径进行配置。 表2 配置高级参数 参数 是否必选 说明 作业状态轮询时间（秒） 是 设置轮询时间（30~60秒、12
create 删除标签 tag delete 导出标签 tag exportJobTags OBS导入标签 tag importJobTag 本地导入标签 tag importJobTag2 保存环境变量 environmentVariable saveEnvParams 删除环境变量
MAX（单分区数据量大小（G）/2G*2，再后向上取整，1）。 其中，要注意的是： 需要使用的是表的总数据大小，而不是压缩以后的文件大小。 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 同时，可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中，添加优化参数。
和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
