检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t)进行安全认证,支持通过SDK或API调用工具调用,安全级别高,推荐使用。 IAM认证:将IAM认证方式的API授权给当前账号或其他账号后,借助从IAM服务获取的用户Token进行安全认证。支持通过API调用工具调用,安全级别中等。 无认证:不需要认证,所有用户均可访问,建议仅
t1,host2:port2”。 llinkConfig.host 是 String MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 linkConfig.user 是 String 登录MRS Manager平台的用户名。
ateformat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,HOUR)}")}},表示查找ts字段中大于时间宏转换后的值。 {'last_name': 'Smith'} 父主题: 配置CDM作业源端参数
据,用于批量分析和数据仓库。 实时处理:对源源不断产生的新数据进行实时处理和分析,以满足业务对数据的即时性需求。这种处理方式要求数据在产生后能够立即被处理,并给出相应的结果或触发相应的操作。 选择目录 选择作业所属的目录,默认为根目录。 单击“确定”,创建作业。 父主题: 数据集成(实时作业)
Administrator”和“DLI FullAccess”,单击“下一步”。 图2 勾选Security Administrator 单击“确定”,给委托完成授权。授权后,等待15-30分钟,权限可正常同步到DLI。 父主题: 数据安全
例如间隔为5分钟时,20:00开始调度,20:03手动执行,则下次调度时间为20:08分。 用户同步任务新建完成后,并不会直接运行。需要您手动同步或调度任务,任务同步成功后才能生效,详见同步或调度任务。 相关操作 同步或调度任务:在用户同步任务页面,单击对应任务操作栏中的“同步”或“更多
8版本,获取gbasedbtjdbc_3.5.1_3X1_3.jar 操作步骤 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > 连接管理 > 驱动管理”,进入驱动管理页面上传驱动。 图1 上传驱动 方式一:单击对应驱动名称右侧操作列的“上传”,选择本地已下载的驱动。
业务日期模式空间下,移动作业到翻牌目录时,系统会校验偏移量,偏移量一致才能移动成功,如果移动的作业为调度中且与翻牌目录下的作业存在进度偏差,系统会提示进度偏差,确认移动后,作业会通过追跑或等待运行的方式使作业进度达到一致。 父主题: (可选)管理作业
在基本配置处,修改“服务目录可见性”参数的取值,可以选择为“当前工作空间可见”、“当前项目可见”或“当前租户可见”。然后保存修改。 修改完成后,重新恢复或发布API,即可修改此API在服务目录中的可见范围。 父主题: 管理API
如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS 2.x版本的集群。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts
采集任务的名称。 实例状态 实例(即采集任务)的状态。 成功 部分成功 执行中 失败 运行异常 暂停:因管理面升级,监控任务暂停,升级完成后监控继续执行。 调度方式 展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。
审批中心”,单击“待我审批”页签。 在此页面查看当前需要用户审批的申请单。 单击操作栏的“审批”,查看申请单的详细信息并进行审批。 填写审批意见后,根据实际情况同意或拒绝该申请。 我已审批 选择“数据权限 > 审批中心”,单击“我已审批”页签。 单击操作栏中的“查看”,即可查看申请单的审批记录和申请内容等详细信息。
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 单击脚本目录中的,选择“显示复选框”。 勾选需要导出的脚本,单击 > 导出脚本。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。
您可以下载系统提供的主题设计模板,在模板文件中填写主题的相关参数后,使用模板批量导入主题信息。 您可以预先将某个DataArts Studio实例的数据架构中已建立的主题设计信息导出到Excel文件中。导出后的文件可用于导入。 建立好主题设计信息后,可以对主题信息进行查找、编辑或删除操作。 主题设计
创建一个到DLI的连接,数据连接类型选择“数据湖探索(DLI)”,数据连接名称设置为“dli”。 完成设置后,单击“测试”,测试成功后单击“确定”,完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后,跳转到数据开发页面。 图3 跳转到数据开发页面 参见图4,在DLI连接上右键单击,创
在详情页面,选择“监控信息”,单击“创建告警规则”,进入云监控服务的创建告警规则界面,创建该作业的告警规则。 图1 创建告警规则 设置完成后,单击“立即创建”。当符合规则的告警产生时,系统会自动进行通知。 更多关于监控告警的信息,请参见云监控用户指南。 父主题: 实时集成任务运维
该功能目前只支持目的端为OBS。可校验写入OBS的文件,是否与CDM抽取的文件一致。 该功能由目的端作业参数“校验MD5值”控制,读取文件后写入OBS时,通过HTTP Header将MD5值提供给OBS做写入校验,并将校验结果写入OBS桶(该桶可以不是存储迁移文件的桶)。如果源端没有MD5文件则不校验。
部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。 自定义角色:如果预置角色不能满足您的需求,您也可以创建自定义角色。自定义角色的
标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开
如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示脚本审批人,参考表4。 审批开关的配置请参见审批中心。 表4 审批人属性说明 参数名 是否必选 参数类型 说明 approverName