检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过表结构优化、存储方式优化等方式提高查询速度、降低开销。 表1 数据仓库与数据库的对比 维度 数据仓库 数据库 应用场景 OLAP OLTP 数据来源 多数据源 单数据源 数据标准化 非标准化Schema 高度标准化的静态Schema 数据读取优势 针对读操作进行优化 针对写操作进行优化
后端超时(API网关请求维持50秒后未收到返回结果,会返回此错误信息。) 请先确认数据服务访问日志,如果访问日志中有数据(数据略有延迟),则说明数据源取数时间过长,请尽量优化取数sql逻辑。 如果访问日志中无数据,请确认(共享版:数据服务gateway/专享版:数据服务集群)是否运行中。 APIG.0303 Incorrect
案。 评估工作部对评估机构报送的评估结果进行合规性审查。对于合规性审查中发现存在较大问题的评估结果有权驳回。对于评估机构推荐的量化管理级和优化级评估结论,评估工作部需组织专家对评估结果进行评议。 评估工作部对通过审查、复核或评议的,进行为期一周的公示。对公示后无异议的,由评估机构颁发数据管理能力成熟度评估证书。
理方法。 级别4是量化管理级别,已经步入适宜匹配状态,贯穿组织采用的正式一致的数据治理方法都是可量化管控的。 级别5是最高级别,专注于持续优化提升,已经步入卓越状态。 图1 数据治理成熟度级别分层 数据治理评分卡对各维度度量是按5分制进行评分,每一个度量细项只有得分0或得分1,如果满足度量细项要求得分1,否则得分0。
督和检查的依据。 图1 DCMM标准模型 DCMM将数据管理能力成熟度划分为五个等级,自低向高依次为初始级、受管理级、稳健级、量化管理级和优化级,不同等级代表企业数据管理和应用的成熟度水平不同。 图2 DCMM标准等级 如何初步判断评估等级 DCMM评估包含的内容也较多,且向下兼
如图1所示,专享版集群创建后,资源位于资源租户区,由ELB统一对集群节点进行负载均衡。 专享版集群创建后,您可以通过如下途径访问集群API: 内网地址:内网地址为用户VPC内的终端节点IP地址,默认具备。 外网地址(可选):外网地址为绑定在ELB上的EIP地址。EIP仅在创建数据服务集群时,勾选开启公网入口,才会具备。
企业数字化转型打下坚实的数据基础。 数据治理方法论是华为数据管理方法论的精华总结,参考了业界数据治理最佳实践,并结合华为数字化转型成功经验优化而成。本文旨在帮助客户持续完善数据管理体系,沿企业主业务流打通信息链和数据流,提升数据质量,实现数据“清洁”,以支撑运营效率提升和经营结果
”,且长度为1~128个字符。 作业类型 选择作业的类型,须选择实时处理。 离线处理:对已收集的大量数据进行批量处理和分析,这些任务通常是在计算资源和存储资源方面经过优化,以确保高效的数据处理和分析。这些任务通常是定时(例如每天、每周)执行,主要处理大量历史数据,用于批量分析和数据仓库。 实时处理:对源源不
据源保护页签,单击“开始扫描”或“重新扫描”,进行安全诊断。 扫描结束后,请您根据安全扫描结果和处理建议,识别风险项并单击“处理风险”进行优化,保障数据使用过程的安全可靠。 另外,中风险及高风险等级的风险问题属于潜在的安全隐患,建议您尽快处理。下图以敏感数据保护为例查看该检查项目前的风险等级及诊断结果。
默认选择SQL脚本中设置的数据连接,支持修改。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
L表达式。 若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
称后的输入框配置参数值。 运行程序参数 否 仅“脚本类型”配置为“在线脚本”时可以配置。 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
L表达式。 若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 数据连接为MRS API连接时支持为Spark SQL作业独立配置需要的
当换行符处理方式选择为替换时,指定替换的字符串。 - 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE TABLE语句,用于优化Hive表查询速度,执行的SQL如下: 非分区表:ANALYZE TABLE tablename COMPUTE STATISTICS 分区表:ANALYZE
1及以上版本。 运行程序参数 否 配置作业运行参数。当选择了MRS集群名后,该参数才显示。 该参数为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 注意: 系统支持Flink Jar作业运行前能够查询历史checkpoint,并
partitions(指定Shuffle过程中Partition的个数) dli.sql.cbo.enabled(是否打开CBO优化策略) dli.sql.cbo.joinReorder.enabled(开启CBO优化时,是否允许重新调整join的顺序) dli.sql.multiLevelDir.enabled
S集群的作业管理下,在操作的“更多 > 查看详情”里面可以查看该作业的详细信息。 说明: 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。Spark代理连接不支持该配置。 在MRS API连接模式下,单算子作业Spark
1及以上版本。 运行程序参数 否 配置作业运行参数。当选择了MRS集群名后,该参数才显示。 该参数为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 注意: 系统支持Flink Jar作业运行前能够查询历史checkpoint,并