检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该节点将会再次重试。 失败重试 如果作业执行失败,可选择自动重试三次或者不重试。推荐值:不重试。 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 说明: 如果通过DataArts Studio数据开发使用参数传递并调度CDM
每个企业项目下最多绑定一个DataArts Studio实例。当企业项目下已绑定实例时,再次购买实例会失败。 DataArts Studio各组件对不同数据源的支持程度不一,您需要按照您的业务需求来选择数据湖底座。DataArts Studio平台当前支持的数据湖产品请参见DataArts
"", "destination" : "业务人员对此业务指标的设置目的进行描述", "definition" : "比如:按月对数据库某张表的某个字段进行均值计算。", "expression" : "avg(table.column)", "data_origin"
"", "destination" : "业务人员对此业务指标的设置目的进行描述", "definition" : "比如:按月对数据库某张表的某个字段进行均值计算。", "expression" : "avg(table.column)", "data_origin"
全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts
资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 表4 DependPackage参数说明 参数名 是否必选 参数类型 说明 type 否 String
开发一个DLI Spark作业 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时,大部分时间会使用SQL对数据进行分析处理,有时候处理的逻辑特别复杂,无法通过SQL处理,那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何
组件处不会自动删除,需要您手动在数据安全组件处清理该策略。 仅MRS Yarn队列支持配置队列属性(离线/实时),且同一队列在不同工作空间下支持指定为不同属性。 为DLI队列的授权时,当前由于DLI限制只支持授权给用户,不支持授权给用户组。 分配队列并授权 在DataArts S
支持查看昨天/今天/7天历史平均的运行成功的作业的全部节点算子的任务完成情况的曲线图。 支持查看昨天/今天/7天历史平均的运行成功的作业的不同类型节点算子的任务完成情况的曲线图。 基线看板 可以查看基线破线的数据。支持查看今日破线的基线实例数量。当到达基线承诺时间时,基线上任务仍处于未完成状态时,基线将处于破线状态。
见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts
EL表达式在数据开发过程中被广泛应用,您可以参考最佳实践查看更多应用EL表达式的进阶实践。 调试方法介绍 下面介绍几种EL表达式的调试方法,能够在调试过程中方便地看到替换结果。 后文以#{DateUtil.now()}表达式为例进行介绍。 使用DIS Client节点。 前提:您需要具备DIS通道。 方法:选择DIS
API发布状态。 枚举值: PUBLISHED:已发布 NOT_PUBLISHED:未发布 table_name 否 String 根据API用到的数据库表名模糊查询。 authorization_status 否 String 授权状态。 枚举值: NO_AUTHORIZATION_REQUIRED:
调用数据服务API 申请API授权 通过不同方式调用API 父主题: 数据服务
如下算法在使用前必须先在脱敏算法处配置密钥,才能正常使用。 哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制,请参考管理脱敏算法。 相关操作 编辑脱敏策略:在脱敏策略页面,单击对应策略操作栏中的“编辑”,即可修改脱敏策略各项参数。
DCMM标准模型 DCMM将数据管理能力成熟度划分为五个等级,自低向高依次为初始级、受管理级、稳健级、量化管理级和优化级,不同等级代表企业数据管理和应用的成熟度水平不同。 图2 DCMM标准等级 如何初步判断评估等级 DCMM评估包含的内容也较多,且向下兼容,所以申请高等级评估同时需要
前提条件 已申请VPC、子网和安全组。CDM集群连接云上其它服务时,需确保CDM集群与待连接的云服务在同一个VPC。如果CDM集群与其它云服务所属不同VPC,则CDM集群需要通过EIP连接云服务。 当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时,可保证CDM集群与其他云服务内网互通,无需专门打通网络。
已创建集群。 已参见表1获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同,请参见表1获取相应Hadoop集群配置文件和Keytab文件。 表1 集群配置文件和Keytab文件获取方式
作业数据输入总数 展示用户Flink作业的数据输入总数,供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业数据输出总数 展示用户Flink作业的数据输出总数,供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业字节输入速率 展示用户Flink作业每秒输入的字节数
结果回显。 表1 调试API 参数名称 说明 参数配置 Query的参数与参数值。 集群配置 仅专享版支持,选择调试API所依托的实例。 不同类型的请求,调试界面展现的信息项有差异。 添加请求参数后,单击“开始测试”。 右侧返回结果回显区域打印API调用的Response信息。