检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
环境变量,环境变量支持导入和导出。 简单模式和企业模式下,配置工作空间的环境变量的角色有所不同: 简单模式:工作空间的环境变量开发者和管理员都能创建或编辑环境变量。简单模式不区分开发和生产环境,环境变量是共用的,允许开发者修改。 企业模式:工作空间的环境变量只有管理员才能创建或编辑环境变量。
据库、数据表和字段。 单击可以查看数据连接目录树下的数据库、数据表以及字段信息。DWS SQL、DLI SQL、MRS Hive SQL代理模式均支持查看目录树,其他数据连接均不支持。 如果您在使用数据开发前,已创建了数据连接和对应的数据库和数据表,则可跳过数据管理操作,直接进入脚本开发或作业开发。
API连接”还是“通过代理连接”。 “MRS API连接”模式下DataArts Studio通过API把脚本提交给MRS,然后查询是否执行完成;而MRS不会将具体的错误原因反馈到DataArts Studio,因此导致数据开发脚本执行界面只能显示执行成功还是失败。 “通过代理连接”模式下DataArts
PI按每天每个按1元收费。 图2 设置已分配配额 已分配配额设置完成后,单击“空间信息”中的“确定”,完成配置。 父主题: 创建并配置简单模式工作空间
创建API时提示代理调用失败,怎么办? 可能原因 数据连接中的CDM代理异常,例如内存占用过高等。 解决方案 短期内建议您在空余时间对CDM集群进行重启,长期措施需降低CDM集群的工作负载。 父主题: 数据服务
连接方式应该选择API连接还是代理连接? API连接仅支持在数据开发组件使用。 因此如无特殊需求,为保证数据架构、数据质量、数据目录、数据服务等组件能够使用连接,推荐配置为“通过代理连接”。 父主题: 管理中心
创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? 问题描述 创建Oracle关系型数据库迁移作业时,无法获取模式名。 原因分析 这是由于可能上传了暂不支持的最新ORACLE_8驱动(如Oracle Database 21c (21.3) drivers)。 解决方案
图2 修改日志和DLI脏数据存储路径 修改完成后,单击“确定”,即完成作业日志和DLI脏数据存储路径的修改。 父主题: 创建并配置简单模式工作空间
*数据集范围 只有使用时间字段timestamp、Date来确定增量范围时,才可以选择增量模式 一般而言,全量模式下数据水印嵌入任务使用单次调度,增量模式下使用周期调度。 *指定时间字段 增量模式下,选择时间字段timestamp、Date来确定增量范围。 目标端配置 *数据源类型
如果没有您想要的密级,可点击跳转到数据安全界面中创建需要的密级。 如不使用该功能,可在配置中心 > 模型设计中关闭该功能。 代理键 请根据业务需求选择合适的字段作为代理键。系统默认第一个维度属性为代理键。 主键 请根据业务需求选择合适的字段作为主键。 说明: 数据连接为MRS Spark连接(通过MRS
华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。华为信
配置为“通过代理连接”。 手动 是 通过代理连接时,是必选项。 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager
SPARK连接中的用户配置了代理权限,请参考参考:为MRS数据连接用户配置代理权限进行配置。 MRS SPARK数据连接对应的SPARK2x组件为多主实例模式,否则请参考配置多主实例与多租户模式切换章节进行切换。 约束与限制 当前开发态细粒度认证仅支持DWS、代理模式的MRS Hive和MRS
Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办? 一个空间可以创建同一数据源的多个连接吗? 连接方式应该选择API连接还是代理连接? 如何将一个空间的数据开发作业和数据连接迁移到另一空间?
EL表达式参考 表达式概述 基础操作符 日期和时间模式 Env内嵌对象 Job内嵌对象 StringUtil内嵌对象 DateUtil内嵌对象 JSONUtil内嵌对象 Loop内嵌对象 OBSUtil内嵌对象 常用EL表达式样例合集 EL表达式使用实例 父主题: 数据开发
如何选择增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,则您需要额外购买增量包。 DataArts Studio增量包 当前DataArts Studio支持的增量包如表1所示。 表1 增量包介绍 增量包类型 增量包说明 购买场景说明
Studio是否支持私有化部署到本地或私有云? DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。
支持单击右键,可快速复制作业名称,同时可以快速的关闭已打开的作业页签。 在MRS API连接模式下,单任务MRS Spark SQL和MRS Hive SQL运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发作业时,单击页面上方的“前往发布”跳转到任务发布页面。
该特性,请联系客服或技术支持人员。 基础与网络连通配置 手动 否 通过代理连接的时候,此项可配置,通过勾选按钮来选择集群名模式或连接串模式。 使用集群名模式时通过选择填写集群名称进行连接配置。 使用连接串模式填写对应集群的IP和端口进行连接配置。 MRS集群名 是 选择所属的MR
务,各集群之间相互隔离,不可相互访问。 CDM集群可用于如下场景: 用于创建并运行数据迁移作业。 作为管理中心组件连接数据湖时的Agent代理。 前提条件 已申请VPC、子网和安全组。CDM集群连接云上其它服务时,需确保CDM集群与待连接的云服务在同一个VPC。如果CDM集群与其