检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
希望为运维人员预留一定的时间处理异常,用户可以为基线设置预警余量,则系统会将承诺时间-预警余量作为触发报警的预警时间,判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间
如何配置Hudi Compaction的Spark周期任务? 问题描述 Migration写入数据到Hudi时为了保证稳定性需要将Compaction任务单独拆成Spark作业并交给MRS执行,那么如何进行配置? 解决方案 修改Migration实时集成作业配置。 Migrati
如何手工重启阻塞的质量作业或对账作业? 可能原因 质量作业或对账作业运行阻塞。 解决方案 阻塞的作业需要进行手工重启,如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”,先单击对应作业操作栏中的“取消”,作业运行状态变更为“失败”,此时然后单击操作栏中的“重跑”即可完成作业重启。
作业关联的CDM集群删除后,如何快速修复? 可能原因 作业关联的CDM集群已删除。 解决方案 CDM集群被删除后,作业中的关联信息会保留原配置。用户只需在CDM中新建同名集群和作业,作业将使用新的同名CDM集群和作业,同时提示用户原CDM集群和作业将被替代。 限制条件: 该功能于1
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 数据集成(CDM作业)
如何确认质量作业或对账作业已经阻塞? 可能原因 质量作业或对账作业运行阻塞,不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时,选择“运维管理”,单击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。 图1 作业运行日志 父主题:
Elasticsearch连接参数说明 Elasticsearch连接适用于第三方云的Elasticsearch服务,以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中禁止修改密码
同步。 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。 系统支持将自定义的规则模板批量导入,一次最大可导入4MB数据的文件。 系统支持批量导出质量作业,一次最多可导出200个质量作业。导出作业时,导出的单元格内容最大长度支持65534个字符。 系统支持批量导
如何创建通知配置对全量作业都进行结果监控? 问题描述 创建通知配置如何对全量作业都进行结果监控。 解决方案 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,在“运维调度 > 作业监控”中,选择“批作业监控”页签。
管理动态水印策略 动态水印指在数据的访问过程中,动态地在数据的查询访问请求返回结果集中注入水印的方式。本章主要介绍如何实现数据开发动态水印功能,最终在数据开发组件中转储或下载敏感数据时,系统动态注入数据水印。 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后,当策略中指定的用户组或
MRS集群名 是 通过MRS API连接或使用集群名模式时,是必选项。 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明: 当前DataArts Studio不支持对接“Kerb
User或DAYU Administrator的系统角色。IAM用户的创建和授权系统角色的具体操作如下: 创建用户组并授权系统角色。 使用华为账号登录统一身份认证服务IAM控制台,创建用户组,并授予DataArts Studio的系统角色,如“DAYU Administrator”或“DAYU
数据源和资源组网络不通如何排查? 问题描述 配置Migration实时集成作业时,检测源端、目的端数据源与资源组的连通性报异常。 图1 连通性检测异常 解决方案 请根据异常项参考下表进行排查。 表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行。
CDM迁移数据到DWS时如何选取分布列? 问题描述 CDM迁移数据到DWS时如何选取分布列? 解决方案 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。
数据服务专享版的API如何通过公网访问? 对于默认发布在数据服务专享版集群的API,当数据服务专享版集群支持公网访问后,API即可通过公网调用。 而数据服务专享版集群如果要支持公网访问,仅在创建数据服务专享版集群时,勾选开启“公网入口”才能进行公网访问。因此,对于已创建的未开启公
CDM迁移作业的抽取并发数应该如何设置? CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某
如何使用表达式方式获取当前时间? 问题描述 如何使用表达式方式获取当前时间? 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题:
用户已添加权限,还是无法查看工作空间? 可能原因 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常,IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色,另外也必须确保DAYU User角色的IAM用户已在对应的DataArts
MongoDB连接迁移失败时如何处理? 问题描述 MongoDB连接迁移失败时如何处理? 解决方案 在默认情况下,userAdmin角色只具备对角色和用户的管理,不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时,用户需查看MongoDB连接中用户的权限信息,确保对指定库具备ReadWrite权限。
AYU User系统角色+工作空间开发者角色”权限,则会出现如下非必需权限过大的风险: 依赖服务权限过大:服务作为平台型服务,DAYU User系统角色预置了依赖服务(如MRS、DWS等相关服务)的管理员权限。当为数据运营工程师IAM账号授予DAYU User系统角色后,会导致其拥有依赖服务的管理员权限。