检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
入口路径：控制台 > 数据开发 单击“数据开发”，进入数据开发的界面 新建Spark SQL脚本 图10 数据开发1 选择数据连接和数据库 图11 数据开发2 添加表头注释 设置脚本参数 开发增转全脚本 增转全规则：通过增量时间戳获取180天的增量数据，然后将增量数据和180天前的数据进行整合，存放在新生成的分区里。
Livy部署 前置条件说明 JDK先配置好(1.8) 安装大数据组件客户端(HDFS\YARN\HIVE\SPARK) 安装机器 前提 CDH中需要有两个Hadoop集群，每个集群下部署一个livy (CDH机器允许部署的情况) CDH机器不允许部署的情况，参考https://deepexi
方案概述 应用场景 软通动力数据中台及数据治理服务解决方案采用“轻量化、高解耦、全场景、零代码”的架构设计，具备多部署模式、灵活产品组合、无缝集成对接等核心特性，且能够提供数据中台咨询、实施及运维专业端到端服务。 应用场景 数据使能咨询、数据集成与开发、工业物联数据采集与分析、数
通过WAF、Anti-DDoS、HSS、CBH等为业务微服务集群的安全保驾护航。 通过云数据库RDS，存储跨境外综服平台的应用数据。保障数据安全。 通过分布式缓存redis技术存储登录用户信息、数据字典、系统配置、业务编号等场景，提高平台的访问速度。 AI技术应用：通过调用华为文字识别OC
据存储、数据治理、数据分类、数据推送等通路，构建数据质量管理体系，实现专题数据自动对账、自动入账、数据可视化。其中数据集成，主要通过数据复制服务DRS、云数据迁移CDM，将数据采集，根据数据类型分类，其中事务数据存入云数据库RDS中，分析型数据存入数仓DWS中。在数据治理中心DataArts
数据使能方案设计 图1 数据使能方案设计 在完成数据使能的4A架构设计后，即可进行数据使能方案设计。数据使能方案设计是数据管理实施专业服务的核心工作，在这个过程中，交付团队会完成流程目录梳理、数据资产目录设计、数据分布梳理、数据标准设计、指标数据梳理、数据模型设计、分层Mappi
全量同步ETL脚本开发 创建数据开发连接 入口路径：一体化数据基础平台控制台 > 管理中心 图8 创建数据开发连接1 登录一体化数据基础平台控制台，单击“管理中心”，创建数据开发的连接（如果已创建，则跳过） 单击“创建数据连接”，创建spark数据连接（MRS_Spark_Agent）
数据开发 项目创建 数据开发项目需为开发环境和生产环境配置数据鉴权模式，选择计算资源组，同时可以指定运行账号及运行队列。 图1 项目创建 离线任务开发 离线数据开发支持 HiveSQL、ImpalaSQL、SparkSQL、Python、Shell、Jar、Spark 等任务类型。
态势感知平台应用部署 前端应用部署： 将前端包上传至服务器 /usr/local/tsgz 修改配置文件进入config下修改配置文件 vim index.js 图1 修改配置文件1 后端包的配置与修改共4个后端jar服务器包。 sx-credit-monitor-msvs.jar
方案概述 应用场景 该解决方案可以帮助您在华为云Flexus云服务器X实例上轻松搭建Redis集群，提高数据查询效率，缓解数据库的压力。适用于以下场景： 1. 电商网站秒杀抢购：节假日，双11等电商平台秒杀抢购活动。 2. 游戏应用排行榜：在线游戏排行榜实时展示。 3. 视频直播
数据工程实施流程 本文档介绍如何构建端到端数据处理流程，协助政府进行数据治理，实现政务大数据一体化管理 表1 构建一体化政务大数据平台数据处理端到端流程 序号 类 项目 描述 1 组建专班 首席数据官 首席数据官 业务专员 业务专员 数据专员 数据专员 2 数据架构规划设计 数据调研
多个城市、1600多个县成功建设超过5000个数字化平台项目，服务人口数量超过5.5亿人，服务国内城市建成区面积超过70%。 行业影响力大：城市运管服平台技术标准主编单位，参与编写数据标准、运行标准、管理标准及建设指南等，对客户项目验收技术解释话语权大。 技术先进性强：拥有对占到
<OWNER> <path> Hive元数据恢复 在目的集群中安装并使用Sqoop命令将导出的Hive元数据导入MRS集群DBService。 $Sqoop_Home/bin/sqoop export --connect jdbc:postgresql://<ip>:20051/hivemeta
方案概述 应用场景 该方案在弹性云服务器 ECS上一键部署基于WGCLOUD搭建运维监控平台，WGCLOUD支持服务器或主机的各种指标监测。支持监测服务器或主机上的进程应用、文件防篡改、端口、日志、DOCKER容器、数据库、数据表等资源。 方案架构 该解决方案可以帮助您在华为云弹性云服务器
数据质量 质量作业和对账作业有什么区别？ 如何确认质量作业或对账作业已经阻塞？ 如何手工重启阻塞的质量作业或对账作业？ 怎样查看质量规则模板关联的作业？ 用户在执行质量作业时提示无MRS权限怎么办？
方案概述 应用现状 使用ROMA Connect进行业务系统数字化改造的一些大型企业中，不同的子公司或部门基于独立维护的要求，都有自己的ROMA Connect实例。各子公司或部门的业务系统都对接到自己的ROMA Connect实例，通过API的形式实现数字资产的互通共享。 由于
系统盘:高IO | 480GB *3；node_group_1: 数据盘:高IO | 100GB | 1个 *3 1 包周期 1月 ￥6294.60 17 ECS集群2-神策软件平台 弹性云服务器 华北-北京四 规格: X86计算 | 通用计算增强型 | c3ne.large.2 | 2核 |
对日志数据做清洗，数据清洗如数据清洗说明所示。 数据导流 接入的日志数据存在于对应的Topic中，需要创建导流任务，将数据存储在对应的数据库中才能进行日志检索、日志数据的管理和后续开发。 （可选）数据汇聚：当日志量较大且不需要关注原始日志时可以对实时日志进行日志汇聚。 数据开发
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。
组织关联平台应用部署 将前端上传至服务器/usr/local/web下前端包 yunpi-base-mgr 修改配置信息将请求后端网关地址进行修改 Vim config.js 将后端包上传至服务器/usr/local/web下 图1 上传 服务的配置修改及启动 修改所有jar服务连接nacos配置的信息如下标红处。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
