正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。 图1 业务场景说明 开发并调度Import GES作业 假设MySQL中的原始数据表是每日更新的,我们希望每天都能将基于
不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图1 环境变量 作业参数中支持定义参数和常量,作业参数的作用范围为当前作业。 参数是指不同的作业下取值不同,需要重新配置值,导出导入后需要重新进行配置。 常量是
清除部分数据 是否在集群操作 “导入开始前”参数选择为“清除部分数据”或“清除全部数据”时,显示该参数。如果设置为是,将对集群中的所有节点进行全部/部分数据清除操作。 是 where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。
配置Redis目的端参数 当作业将数据导入到Redis时,目的端作业参数如表1所示。 表1 Redis作为目的端时的作业参数 参数名 说明 取值样例 Redis键前缀 键的前缀,类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式: STRING:不带列名,如“值1,值2”形式。
要配置表达式。 返回“导入数据标准”对话框,选择上一步配置好的数据标准模板文件,然后单击“上传文件”。 如果上传的模板文件校验不通过,请修改正确后,再重新上传。 在导入对话框中,导入结果会在“上次导入”页面中显示。如果导入成功,单击“关闭”完成导入。如果导入失败,您可以查看失败原因,将模板文件修改正确后,再重新上传。
方“更多 > 删除”,系统弹出“删除”对话框。 单击“是”。 导入 可通过导入的方式将衍生指标批量快速的导入到系统中。 在汇总表上方,单击“更多 > 导入”,进入“导入配置”页签。 图4 导入衍生指标 下载衍生指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统
单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”退出该页面。 导入LDM 导入LDM模型时,请先选择一个主题。不选择则无法导入。 当前支持导入逻辑模型。 请准备好需要导入的.ldm格式的逻辑模型。该逻辑模型是从第三方系统Power
>删除”按钮,系统弹出“删除”对话框。 单击“确定”。 导入复合指标 可通过导入的方式将复合指标批量快速的导入到系统中。 在复合指标列表上方,单击“更多 > 导入”,进入“导入配置”页签。 图3 导入复合指标 下载复合指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如
用户名、密码:登录数据库的用户和密码。 创建RDS连接时,“使用本地API”设置为“是”时,可以使用MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL的性能。 由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“lo
勾选需要删除的原子指标,单击上方“更多 > 删除”,系统弹出“删除”对话框。 单击“是”。 导入 可通过导入的方式将原子指标批量快速的导入到系统中。 在原子指标列表上方,单击“更多 > 导入”,进入“导入配置”页签。 图3 导入原子指标 下载原子指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系
单击“确定”,删除资源。 导入资源 当用户想要导入某个资源时,可以参考如下操作导入该资源。 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 在资源目录中,单击,选择“导入资源”,弹出“导入资源”页面。 选择已上传至OBS中的资源文件,然后单击“下一步”,导入完成后,单击“关闭”完成资源的导入。
l表格下载到本地。 导入对账作业 系统支持批量导入对账作业,一次最大可导入4M数据的文件。导入作业时,导出的单元格内容最大长度支持65534个字符。 选择“数据质量监控 > 对账作业”,单击“导入”,弹出“导入对账作业”对话框。 图5 导入对账作业 在“导入配置”页签,选择模板名称重名策略。
删除一个连接。 - - 导出连接(待下线) 导出zip压缩包格式的连接文件,包括所有连接的定义。 - - 导入连接(待下线) 将存放在OBS桶的连接文件导入到数据开发模块中,一次可以导入一个或多个连接。 - - 脚本开发 表3 脚本开发 API 说明 API流量限制(次/s) 用户流量限制(次/s)
关系。 元数据管理 元数据管理模块是数据湖治理的基石,支持创建自定义策略的采集任务,可采集数据源中的技术元数据。支持自定义业务元模型,批量导入业务元数据,关联业务和技术元数据、全链路的血缘管理和应用。 数据地图 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等
单击“添加”,可以添加一个或多个相关联的属性信息,例如衍生指标。 单击“导入字段”,可以选择“从指标导入”、“从维度属性导入”或“从数据指标导入”,可以导入所需的字段信息。 从维度属性导入字段时,指标引用的维度属性,必须先关联指标/导入指标字段,再关联维度,才能够从维度属性导入字段。 单击“数据标准稽查”,可以对汇
886EDCD12ACBC3FF19A3C3F”。 这样在CDM导入文件到HDFS时,目的端HDFS上的文件便是经过AES-256-GCM算法加密后的文件。 KMS加密 源端解密不支持KMS。 CDM目前只支持导入文件到OBS时,目的端使用KMS加密,表/文件迁移和整库迁移都支持
地。 导入规则模板 系统支持将自定义的规则模板批量导入,一次最大可导入4MB数据的文件。 选择“数据质量监控 > 规则模板”,单击“导入”,弹出“导入规则模板”对话框。 图10 导入规则模板 在“导入配置”页签,选择模板名称重名策略。 终止:如果模板名称有重复,则全部导入失败。
本例中为了方便演示,我们需要通过数据集成将CSV格式的样例数据导入到MySQL数据库中,之后MySQL数据库即作为案例场景中的原始数据源端。因此在数据导入中,需要在MySQL数据库中预先创建原始数据表。 正式业务流程中,MySQL数据库源端数据需要导入OBS数据库作为点数据集和边数据集,这种到OB
管理API 设置API可见 停用/恢复API 下线/删除API 复制API 同步API 全量导出/导出/导入API 父主题: 开发数据服务API
project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 task_id 是 String 任务ID,获取方法请参见导入作业的响应参数。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。