检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计算任务预计完成时间 任务的运行受到资源和上游任务运行情况的影响,可以将任务添加至基线上,系统将计算出该任务的预计完成时间,便于用户查看任务的预计完成时间。
脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。 上传资源时,如果资源位置为HDFS,则只支持MRS Spark,MRS Flink Job,MRS MapReduce节点使用该资源。
如果缺少合适的主题,则可以单击“查看主题”,进入消息通知服务(SMN)界面创建消息主题信息。 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 开关:是否开启通知,默认开启。 图4 配置通知 单击“确定”,为作业配置失败告警通知。
如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。
复用预置角色:选择“开发者”,然后去勾选其他组件的新增、删除、操作、编辑权限,仅为该角色保留数据服务组件的权限和其他组件的查看权限。 图2 创建自定义角色Developer_DataService 配置完成后,单击“确定”即可新增自定义角色。
如果数仓模型比较多,可以单击“查看更多”和“收起更多”进行折叠展示。 “未分层”的数仓模型会在页面上方显示。支持编辑和删除。 单击“编辑”,可以修改数仓模型的参数信息,可以给未分层的数仓模型配置数仓分层(此处支持选择DWI、SDI、自定义数仓分层)。数据连接类型不支持修改。
复用预置角色:选择“开发者”,然后去勾选其他组件的新增、删除、操作、编辑权限,仅为该角色保留数据服务组件的权限和其他组件的查看权限。 图2 创建自定义角色Developer_DataService 配置完成后,单击“确定”即可新增自定义角色。
端口 是 Doris FE通过mysql协议查询连接端口。 MRS Doris获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Doris > 配置 > 基础配置”,搜索“query_port”查看端口值。
数据湖探索(DLI) 用户需要具备DLI数据源所有字段的“查询表”权限,即SELECT权限。 MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。
写入文件大小 这个参数是针对数据库导出到CSV文件的场景,如果一张表的数据量比较大,那么导出到CSV文件的时候,会生成一个很大的文件,有时会不方便下载或查看。这时可以在目的端指定该参数,这样会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。
写入文件大小 这个参数是针对数据库导出到CSV文件的场景,如果一张表的数据量比较大,那么导出到CSV文件的时候,会生成一个很大的文件,有时会不方便下载或查看。这时可以在目的端指定该参数,这样会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。
DWS:需要表的schema usage权限和数据表的查询权限。 SQL Server:用户需要有sysadmin权限。 PostgreSQL:角色拥有数据库下schema下表的select权限。
用户需要具备DLI数据源所有字段的“查询表”权限,即SELECT权限。 MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。
用户需要具备DLI数据源所有字段的“查询表”权限,即SELECT权限。 MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。
分布式:复制连接端口为CN/DN连接端口+1,在源数据库执行语句“select * from pgxc_node”可查看DN连接端口。 目标数据库连接账号 目标数据库的每张表必须具有如下权限:INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE。
周依赖小时 规则:依赖自然天,范围是[前一天的零点,当天的零点),查找前一天的小时任务作业B是否执行完成,然后执行周任务作业A。 举例:A依赖B,A作业每周一调度,B作业每小时第50分钟执行。
通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图9 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节中对应链路文档进行排查及处理。 父主题: 使用教程
表2 Query参数 参数 是否必选 参数类型 描述 model_id 否 String 依据关系建模的模型ID查询统计信息,ID字符串。
具备安全、规范的代码发布管控流程(包含代码评审、代码DIFF查看等功能),保障生产环境稳定性,避免不必要的因代码逻辑引起的脏数据蔓延或任务报错等非预期情况。 数据访问得到有效管控,数据安全得以保障。 所有脚本或作业仅支持在开发环境编辑,开发者无法修改生产环境的脚本或作业。
搬迁后验证 在新空间的表数据导入完成后,您可以在新空间查看并验证模型和表数据等是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践