检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生成新的元数据xml文件。 生成的元数据xml文件,属性(Property)中的数据复合类型(Cardinality),目前仅支持填写为“single”类型,不支持自定义。 生成元数据功能本身,支持一次生成多对点表和边表的元数据xml文件。但考虑到Import GES节点的“边数
单击作业目录中的,选择“显示复选框”。 图1 显示作业复选框 勾选需要批量配置的作业,单击 > 作业配置。 图2 作业配置菜单 配置作业的通用项。 图3 通用配置 表1 通用配置 参数 说明 节点状态轮询时间 设置所选作业的所有节点轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
“替换字符”为“*”。 去前后空格 自动去字符串前后的空值,不需要配置参数。 字符串反转 自动反转字符串,例如将“ABC”转换为“CBA”,不需要配置参数。 字符串替换 替换字符串,需要用户配置被替换的对象,以及替换后的值。 去换行 将字段中的换行符(\n、\r、\r\n)删除。 表达式转换
页面提示完成用户的创建。 MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Man
配置数据服务审核中心 数据服务平台的审核中心,提供给API开放方和API调用方用以审核API的发布等操作。 在发布API时,会触发审核,审核机制如下: 当发布人不具备审核人权限时,发布API时需要提交给审核人审核。 当发布人具备审核人权限时,可无需审批直接发布API。 待审核的API可在审核中心由发起者执行撤销操作。
“替换字符”为“*”。 去前后空格 自动去字符串前后的空值,不需要配置参数。 字符串反转 自动反转字符串,例如将“ABC”转换为“CBA”,不需要配置参数。 字符串替换 替换字符串,需要用户配置被替换的对象,以及替换后的值。 去换行 将字段中的换行符(\n、\r、\r\n)删除。 表达式转换
大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系,称之为数据的血缘关系
“替换字符”为“*”。 去前后空格 自动去字符串前后的空值,不需要配置参数。 字符串反转 自动反转字符串,例如将“ABC”转换为“CBA”,不需要配置参数。 字符串替换 替换字符串,需要用户配置被替换的对象,以及替换后的值。 去换行 将字段中的换行符(\n、\r、\r\n)删除。 表达式转换
object 指标监控信息。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 表4 ApprovalVO 参数 是否必选 参数类型
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 新建OBS到MySQL迁移作业
数据集成(CDM作业) CDM与其他数据迁移服务有什么区别,如何选择? CDM有哪些优势? CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗?
数据架构操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 资源名称 事件名称 查看主题设计 DAYU_DS dsSubject
object 指标监控信息。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 表4 ApprovalVO 参数 是否必选 参数类型
用来分隔关系数据库的表和列名。 _ 值分隔符 以STRING方式存储,列之间的分隔符。 存储类型为列表时字串分割成数组的字符。 ; 字段相同 “值存储类型”选择“HASH”时,显示该参数,是否允许哈希键内有相同的字段。 否 父主题: 配置作业源端参数
同用户对元数据的访问权限。通过敏感数据管控为指定用户/用户组配置指定密级后,则用户/用户组在数据预览时仅能访问资产密级小于等于指定密级的字段。 值得注意的是,密级权限管控策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。未配置密级权限管控策
配置CDM作业字段映射 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段,也可单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
其中Dummy节点不执行任何操作,只作为起始点的标识。CDM Job节点用于调用在创建数据集成作业中创建的数据集成作业。Import GES节点用于将图数据导入GES。 图3 编排作业 分别配置作业中的8个CDM Job节点。调用已创建的数据集成作业,将原始数据标准化为GES点/边数据集,并同步到OBS和MRS
在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。 当告警级别达到严重及以上级别时,向用户发送一条消息。 每天提供一个运维报表,统计各应用的告警级别数据。
单击“确认”,保存节点输出功能的参数配置。 取消 单击“取消”,取消节点输出功能的参数配置。 编辑 单击,修改节点输出功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输出功能的参数配置。 查看表详情 单击,查看节点输出血缘关系创建数据表的详细信息。 父主题: 节点参考
N N 新建通用配置 Y Y N N 删除通用配置 (指已发布状态的逻辑实体或表,对其在编辑并保存后产生的草稿的删除操作) Y Y N N 操作通用配置 (指逻辑实体或表的导入、导出、发布、下线、同步、逆向等操作) Y Y Y N 查询通用配置 (指已发布状态的逻辑实体或表,对其在编辑并保存后产生的草稿的查询操作)