正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sticsearch服务,以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
脚本/MyBatis方式生成API 本文将为您介绍如何通过脚本或MyBatis方式生成API。 为了满足高阶用户的个性化查询需求,数据服务提供了自定义SQL的脚本/MyBatis取数方式,允许您自行编写API的查询SQL,并支持多表关联、复杂查询条件以及聚合函数等能力。 脚本方式:仅支持普通SQL语法。
Studio实例中,工作空间名称必须唯一。 描述 空间的描述信息。 空间模式 选择新建工作新建工作空间的模式。 简单模式:即传统的DataArts Studio工作空间模式,使用方便,但无法对数据开发流程和表权限进行强管控。 企业模式:企业模式下DataArts Studio数据开发组件以及对应管
String getPlanTime(String pattern) 获取指定pattern的计划时间字符串,pattern为日期、时间模式,请参考日期和时间模式。 获取作业调度计划时间,具体到毫秒: #{Job.getPlanTime("yyyy-MM-dd HH:mm:ss:SSS")}
配置DDS目的端参数 作业中目的连接为DDS连接时,即导入数据到文档数据库服务(DDS)时,目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合,相当于关系数据库的
发布作业任务 在企业模式中,开发者提交作业版本后,系统会对应产生一个作业类型的发布任务。开发者确认发布后,待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过,然后将修改后的作业同步到生产环境。 管理员导入作业时,选择导入提交态,会生成对应的待发布项。
基础与网络连通配置 手动 是 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager IP,并打通
基础与网络连通配置 手动 是 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager IP,并打通
创建DWS数据库和数据库模式。 在数据开发界面,在DWS连接上右键单击,选择“新建数据库”,创建一个数据库用于存放数据表,数据库名称为“demo”。 图4 创建数据库 展开DWS连接目录至demo数据库的数据库模式层级,然后再右键单击,选择“新建模式”,创建数据库模式用于存放数据表,数据库模式名称为“dgc”。
基础与网络连通配置 手动 是 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager IP,并打通
基础与网络连通配置 手动 是 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager IP,并打通
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
管理中心 DataArts Studio管理中心提供了统一的配置和管理入口,可以管理数据连接、资源迁移等,根据需要定制个性化的入口和展示。 DataArts Studio支持的数据源 创建DataArts Studio数据连接 配置DataArts Studio数据连接参数 配置DataArts
数据治理组织架构框架 数据治理可以采用集中化(全时投入)和虚拟化(部分投入)混合的组织模式。结合具备专业技能的专职数据治理人员和熟悉业务和IT系统的已有人员,在运作上实现数据治理团队的快速构建和能力导入,捆绑业务、IT开发和数据团队利用已有人员熟悉度快速切入重点工作。 在工作内容和责任上具体到三层的工作组织:
最新动态 本文介绍了DataArts Studio各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2022年4月 序号 功能名称 功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。
据连接提交SQL作业、Shell脚本、Python脚本等任务的同时运行上限为200。 数据集成配置 数据库名称 是 要连接的数据库。 直连模式 否 是否直连,适用于主节点网络通,副本节点网络不通场景。 属性配置 否 自定义连接属性,当前支持socketTimeout,maxWai
发布脚本任务 在企业模式中,开发者提交脚本版本后,系统会对应产生一个脚本类型的发布任务。开发者确认发包后,待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过,然后将修改后的脚本同步到生产环境。 管理员导入脚本时,选择导入提交态,会生成对应的待发布项。
EL表达式使用实例 通过本示例,用户可以了解数据开发模块EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。
基础与网络连通配置 手动 是 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager IP,并打通
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。