正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1及以上版本。 运行程序参数 否 配置作业运行参数。当选择了MRS集群名后,该参数才显示。 该参数为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 注意: 系统支持Flink Jar作业运行前能够查询历史checkpoint,并
以支撑信息分析。 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影) 评分最高Top10电影的计算方法是:先计算出每部电影的总评分和参与评分的用户数,过滤掉参与评分的用户数小于3的记录,返回电影名称、平均评分和参与评分用户数。 在DataArts
Studio数据架构以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。 DataArts Studio数据架构建议的数据分层如下: SDI (Source Data Integration),又称贴源数据层。SDI是源系统数据的简单落地。
器”为“DRIVING_BEHAVIOR_201803*”。 文件格式问题解决方法 数据库的数据导出到CSV文件,由于数据中含有分隔符逗号,造成导出的CSV文件中数据混乱。 CDM提供了以下几种解决方法: 指定字段分隔符 使用数据库中不存在的字符,或者是极少见的不可打印字符来作为
约束与限制 浏览器限制 您需要使用支持的浏览器版本登录DataArts Studio。 表1 浏览器兼容性 浏览器版本 建议版本 建议操作系统 备注 Google Chrome 126,125,124 Windows 10 建议分辨率为1920*1080,2560*1440。 Firefox
partitions(指定Shuffle过程中Partition的个数) dli.sql.cbo.enabled(是否打开CBO优化策略) dli.sql.cbo.joinReorder.enabled(开启CBO优化时,是否允许重新调整join的顺序) dli.sql.multiLevelDir.enabled
<=20000 100 <=40000 200 <=80000 300 > 80000 400 当前工作空间级别的节点并发数支持配置,方法如下: 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studi
您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和
器”为“DRIVING_BEHAVIOR_201803*”。 文件格式问题解决方法 数据库的数据导出到CSV文件,由于数据中含有分隔符逗号,造成导出的CSV文件中数据混乱。 CDM提供了以下几种解决方法: 指定字段分隔符 使用数据库中不存在的字符,或者是极少见的不可打印字符来作为
是否支持批量创建作业? 问题描述 CDM是否支持批量创建作业? 解决方案 CDM可以通过批量导入的功能,实现批量创建作业,方法如下: 手动创建一个作业。 导出作业,将作业的JSON文件保存到本地。 编辑JSON文件,参考该作业的配置,在JSON文件中批量复制出更多作业。 将JSO
CDM是否支持同步作业到其他集群? 解决方案 CDM虽然不支持直接在不同集群间迁移作业,但是通过批量导出、批量导入作业的功能,可以间接实现集群间的作业迁移,方法如下: 将CDM集群1中的所有作业批量导出,将作业的JSON文件保存到本地。 由于安全原因,CDM导出作业时没有导出连接密码,连接密码全部使用“Add
案。 评估工作部对评估机构报送的评估结果进行合规性审查。对于合规性审查中发现存在较大问题的评估结果有权驳回。对于评估机构推荐的量化管理级和优化级评估结论,评估工作部需组织专家对评估结果进行评议。 评估工作部对通过审查、复核或评议的,进行为期一周的公示。对公示后无异议的,由评估机构颁发数据管理能力成熟度评估证书。
分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 下面介绍如何调用创建脚本API创建脚本,API的调用方法请参见如何调用API。 前提条件 您需要规划数据开发服务所在的区域信息,并根据区域确定调用API的Endpoint。 终端节点(Endpo
资源路径,也即API访问路径。 示例:/v2/{project_id}/streams 协议 用于传输请求的协议,支持HTTP和HTTPS协议。 请求方式 HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 GET:请求服务器返回指定资源。 POST:请求服务器新增资源或执行特殊操作,
督和检查的依据。 图1 DCMM标准模型 DCMM将数据管理能力成熟度划分为五个等级,自低向高依次为初始级、受管理级、稳健级、量化管理级和优化级,不同等级代表企业数据管理和应用的成熟度水平不同。 图2 DCMM标准等级 如何初步判断评估等级 DCMM评估包含的内容也较多,且向下兼
支持设置脏数据比例阈值,来决定任务是否成功。 数据架构:数据建模可视化、自动化、智能化 DataArts Studio数据架构践行数据治理方法论,将数据治理行为可视化,打通数据基础层到汇总层、集市层的数据处理链路,落地数据标准和数据资产,通过关系建模、维度建模实现数据标准化,通过
如果用户的作业是每个月的最后一天执行,可以按照上面的方法进行配置。 如果用户的作业是每月7号执行,可以按照下面的方法进行配置。 判断是否为7号,表达式配置方法如下所示。 #{DateUtil.getDay(Job.planTime) == 7 ? "true" : "false"} 方法2 在数据开发主界面的左侧导航栏,选择“数据开发
获取网关实例(专享版)。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apigw/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
如果用户的作业是每个月的最后一天执行,可以按照上面的方法进行配置。 如果用户的作业是每月7号执行,可以按照下面的方法进行配置。 判断是否为7号,表达式配置方法如下所示。 #{DateUtil.getDay(Job.planTime) == 7 ? "true" : "false"} 方法2 在数据开发主界面的左侧导航栏,选择“数据开发
设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警 一键告警为您提供针对DataArts Studio服务下所有资源快速开启告警的能力,旨在帮助用户快速建立监控告警体系,在