检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Jupyter Notebook对接MRS Spark Jupyter对接方案概述 在MRS服务中可以配合Jupyter Notebook使用PySpark,能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。
文件拷贝 使用cp命令将源路径中的文件拷贝到指定路径。同时,该命令支持拷贝其他项目中的数据。 命令结构 health cp <srcdir> <destdir> [flags] 表1 参数说明 参数 简写 是否必选 说明 srcdir 无 是 源路径,支持本项目和其他项目的路径。
移动对象 使用mv命令移动对象或批量移动对象。 命令结构 health mv <object> <object-dest> [flags] 表1 参数说明 参数 简写 是否必选 说明 object 无 移动对象时必选 批量移动时可选 移动对象时的源对象名,或批量移动时源对象名前缀。
CREATE FUNCTION 功能描述 创建一个函数。 注意事项 如果创建函数时参数或返回值带有精度,不进行精度检测。 创建函数时,函数定义中对表对象的操作建议都显式指定模式,否则可能会导致函数执行异常。 在创建函数时,函数内部通过SET语句设置current_schema和s
安装校园支付通 Redis 安装 下载地址:http://redis.io/download,下载最新稳定版本。 wget http://download.redis.io/releases/redis-6.0.8.tar.gz tar xzf redis-6.0.8.tar.gz
数据中心 新建数据集(文件) 数据中心数据集页面右上角单击新建数据集,目前观远数据支持各类主流数据库、常用文件、SaaS源和融合数据。(此处以文件和数据库为例) 图1 新建数据集 选择文件,勾选常用文件类型,进入下一步。上传本地文件,可选择需要的工作簿批量上传,可预览表中30行数据。
购买作业节点调度次数/天增量包 作业节点调度次数/天增量包用于扩充作业节点调度次数/天配额。 不同版本的DataArts Studio实例,默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计
将MySQL分库分表迁移到DDM 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 DDM实例 数据库账号权限要求 在使用DRS进行迁移时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时迁移任务。不同类型的迁移任务,需要的账号权限也不同,
组装“待处理工单”页面 “待处理工单”页面是一个手机端的页面,用于显示现场工程师名下的待处理工单,将使用标准页面功能实现。 如图1所示工程师在手机端可以看到自己名下所有的待处理工单。系统默认优先显示待处理的工单。 图1 “待处理工单”页面 因当前页面组件较多,因此分3个大步骤开发
增量同步上传对象 功能说明 将本地源路径下的所有内容同步到OBS指定目标桶,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源文件和目标对象,只上传存在变化的源文件;2)同步,命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源路径下的所有文件均能在OBS指定目标桶中找到对应对象。
JavaScript 操作场景 使用JavaScript语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考API调用示例调用API。 JavaScript SDK支持Node.js、浏览器等运行环境。 关于开发环境搭建,本章节以IntelliJ IDEA 2018
软件安装 智慧教育数据中台、基础支撑平台(统一用户认证管理、数字校园统一信息门户、岗位角色管理)、校园管理平台。 安装前环境配置 操作系统初始化工作。 ## 配置系统 ###### 关闭 防火墙 systemctl stop firewalld systemctl disable
SDK概述 数字资产链开发工具包(DAC SDK,Digital Asset Chain Software Development Kit)是对DAC服务提供的REST API进行的封装,以简化用户的开发工作。目前提供40+业务和工具接口。用户在开发时只需要关注自己的业务逻辑,调
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务,本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通,网络互通需满足如下条件:
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务,本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通,网络互通需满足如下条件:
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务,本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通,网络互通需满足如下条件:
设置数据存储 存储是为应用提供存储的组件,支持多种类型的存储,同一个应用组件可以使用任意数量的存储。 容器部署方式部署的组件,支持设置数据存储。 使用场景 表1 存储项使用场景说明 项目 场景 云硬盘存储 EVS目前支持普通I/O、高I/O、超高I/O三种规格。 普通I/O:后端
复制对象 功能说明 复制对象或按对象名前缀批量复制对象。 复制对象或批量复制时,请确保OBS桶中的源对象不发生变化,否则可能产生复制失败或者数据不一致的问题。 如果被复制对象的存储类型为cold,必须首先恢复被复制对象,否则无法复制成功。 复制时需要有被复制对象的读权限和目标桶的写权限。
快速使用HetuEngine访问Hive数据源 本章节指导用户从零开始使用HetuEngine对接Hive数据源,并通过HetuEngine查询本集群Hive数据源的数据库表。 前提条件 集群已安装HetuEngine、Hive服务及其所依赖的服务(DBService、KrbSe
简易变量集参考 简易变量集提供了一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。 当前系统支持业务日期、计划时间、业务id三类参数的自定义。 业务日期是指在调度时间内,任务预期调度运行时间的前