检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要额外说明的是,GES图数据格式包含三部分:点数据集、边数据集以及元数据,如果原始数据不符合GES指定的格式,则需要将数据整理为GES支持的格式。 点数据集用于存放点数据。 边数据集用于存放边数据。 元数据用于描述点数据集和边数据集中的数据格式。 GES相关概念和图数据介绍请参见一般图数据格式。 约束限制 通过Import
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的
p10电影,然后通过作业定期调度执行并将结果每日导出到表中,以支撑信息分析。 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影) 评分最高Top10电影的计算方法是:先计算出每部电影的总评分和参与评分的用户数,过滤掉参与评分的用户数小于3的
自定义Flink Jar包OBS资源路径 input 否 String 输入路径 MRS Flink作业输入数据路径,可以为HDFS或者是OBS路径。 output 否 String 输出路径 MRS Flink作业输出数据路径,可以为HDFS或者是OBS路径。 programParameter
添加规范URI参数(CanonicalURI),以换行符结束。 释义: 规范URI,即请求资源路径,是URI的绝对路径部分的URI编码。 格式: 根据RFC 3986标准化URI路径,移除冗余和相对路径部分,路径中每个部分必须为URI编码。如果URI路径不以“/”结尾,则在尾部添加“/”。 举例: 示例中的URI:/app1,此时规范的URI编码为:
csv文件上传数据到对应文件夹中。 由于DLI在关联CSV表格用于创建OBS外表时,不支持指定文件名、仅支持指定文件路径,因此需要将CSV表格分别放到不同的文件路径下,且确保文件路径下仅包含所需的CSV表格。 使用OBS控制台上传文件的操作,请参见《对象存储服务控制台指南》中的上传文件。
3:9000 OBS OBS终端节点 OBS的Endpoint。 obs.cn-north-1.myhuaweicloud.com OBS桶 存放CDH一个月前历史数据的OBS桶。 cdm AK/SK 连接OBS的AK/SK。 - MRS Manager IP MRS Manager的IP地址。
基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。 开关打开,即只能通过SSL方式进行通信。 开关关闭,SSL通道加密和证书认证两种方式均可进行通信。 手动 是 选择连接模式。 使
模型,最后设计物理模型。 物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服务,因此它重点关注用户如何
og_id},由此API统一处理。 此外,相同域名下,不允许重复的请求路径出现。路径参数作为通配符时,名称不具备唯一性,例如“/blogs/{blog_id}”和“/blogs/{xxxx}”,会被视作相同路径。 参数协议 用于传输请求的协议,共享版支持HTTP或HTTPS协议,专享版支持HTTPS协议。
行结果是否被成功订阅,例如,发送告警邮件。 2 导航栏 左侧导航栏,包括数据业务场景的存储目录。 用户可以根据实际需要对业务场景进行分目录存放,每级目录旁边的数字代表属于该级目录的业务场景的个数。 3 业务场景实例列表 展示实例名称、运行状态、运行结果等信息。 4 搜索区域 可以
默认值 单位 配置说明 数据存储路径 - - Hudi自动建表时的warehouse路径,每张表会在warehouse路径下创建子目录。支持填写HDFS和OBS路径,路径格式参考: OBS路径:obs://bucket/warehouse HDFS路径:/tmp/warehouse
图1 下载中心 配置默认的OBS路径地址 工作空间的管理员可以配置当前工作空间的默认OBS转储路径。 选择“数据开发 > 下载中心”进入。 单击“配置OBS默认地址”进入“配置OBS默认路径”页面。 配置默认的OBS路径。 此处配置的OBS路径,是脚本开发或者单任务作业开发时测
og_id},由此API统一处理。 此外,相同域名下,不允许重复的请求路径出现。路径参数作为通配符时,名称不具备唯一性,例如“/blogs/{blog_id}”和“/blogs/{xxxx}”,会被视作相同路径。 参数协议 用于传输请求的协议,共享版支持HTTP或HTTPS协议,专享版支持HTTPS协议。
获取当前目录下的目录列表(全量) 更新服务目录 查询服务目录 创建服务目录 批量删除目录 移动当前目录至新目录 批量移动API至新目录 通过路径获取ID 通过ID获取路径 通过目录ID获取路径对象 查询服务目录API列表 父主题: 数据服务API
选择“还原管理”页签,单击“还原备份”。 在还原备份对话框中,从OBS桶中选择待还原的资产存储路径,设置重名处理策略。 待还原的资产存储路径为备份资产中生成的文件路径。 您可在还原资产前修改备份路径下的backup.json文件,支持修改连接名(connectionName)、数据库名
图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,单击“运行”,从OBS原始数据表中计算出10大用户关注最多的产品,将结果存放到top_like_product表。 INSERT OVERWRITE table top_like_product SELECT
DLI模型的表类型为DLI_EXTERNAL时,需填写与表相关联的存放源数据的OBS路径。OBS路径格式如:bucket_name/filepath。 数据格式 该参数仅DLI模型的表有效。 表类型为DLI_MANAGED的表支持的数据格式有:Parquet、Carbon。 表类型为DLI_E
删除连接(待下线) 删除一个连接。 - - 导出连接(待下线) 导出zip压缩包格式的连接文件,包括所有连接的定义。 - - 导入连接(待下线) 将存放在OBS桶的连接文件导入到数据开发模块中,一次可以导入一个或多个连接。 - - 脚本开发 表3 脚本开发 API 说明 API流量限制(次/s)
忽略不存在原路径/文件 如果将其设为“是”,那么作业在源路径不存在的情况下也能成功执行。 否 标识文件类型 选择开启作业标识文件的功能时,该参数才显示。 MARK_DONE:只有在源端路径下存在标识文件的情况下才会执行迁移任务。 MARK_DOING:只有在源端路径下不存在标识文件的情况下才会执行迁移任务。