检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指标的管理部门。 *指标责任人 指标的责任人,可以手动输入名字或直接选择已有的责任人。 在弹出框中,选择审核人,单击“确认提交”,提交审核。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人,全部审批通过后
开发脚本 开发SQL脚本 开发Shell脚本 开发Python脚本 父主题: 脚本开发
(可选)管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发
网络打通 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题: 数据集成(实时作业)
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
GBase SQL 功能 通过GBase SQL节点传递SQL语句到GBase中执行。 参数 用户可参考表1和表2配置GBase SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
维度建模 新建维度 管理维度表 新建事实表 父主题: 模型设计
统一权限治理 权限治理使用流程 授权dlg_agency委托 检查集群版本与权限 同步IAM用户到数据源 数据权限访问控制 服务资源访问控制 Ranger权限访问控制 父主题: 数据安全
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
审核中心 开发环境生成的规范建模、数据处理类任务提交后,都会存储在审核中心页面,然后在审核中心页面进行任务发布,这些任务才会在生产环境上线。 审核人员审核对象 如果您是审核人员,请使用审核人员的账号参考以下步骤审核对象。 在DataArts Studio控制台首页,选择对应工作空
、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 DLI队列 是 下拉选择需要使用的队列。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报
在页面下方,单击“保存”按钮。 单击“发布”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核,审核通过后,衍生指标创建完成。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 衍生指标创建完成后可以查看衍生指标详情。 (可选)参
配置作业源端参数 配置MySql源端参数 配置Hive源端参数 配置HDFS源端参数 配置Hudi源端参数 配置PostgreSQL源端参数 配置SQLServer源端参数 配置Oracle源端参数 配置DLI源端参数 配置OBS源端参数 配置SAP HANA源端参数 配置Kafka源端参数
数据指标应用 创建完数据指标的相关数据后,请前往数据架构模块,进行数据集市建设,新建数据集市层并发布汇总表。汇总表能够引用指标管理里的指标,发布后进行指标结果物化。 本示例中,先创建汇总表所需的主题,汇总表依赖于主题架构,然后创建汇总表,汇总表名称为地区坪效比汇总表。 创建主题详细信息请参见数据架构的主题设计。
行申请API授权,等待审批通过后才能进行API调用。 调用API API调用者完成以上步骤后,可以进行API调用。 总览页面说明 在总览页用户可以看到丰富的监控数据视图。数据服务总览页面分别从API开放方和API调用方的视角,统计了API的相关度量数据。 图1 API总览 表1 API开放方数据统计
配置公共IAM账号。 执行用户:作业级别的IAM账户,适用于单个作业级别。配置执行用户请参考配置执行用户。 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 调度身份的优先级 系统按照作业委托>公共委托>执行用户>公共IAM账号的优先级顺序来获取权限,然后以该权限来执行作业。
HIVE_3_X 用户名 选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用
MRS Kafka 功能 MRS Kafka主要是查询Topic未消费的消息数。 参数 用户可参考表1和表2配置MRS Kafka的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafk
请参见管理资产标签。 *描述 表的描述信息。 资产责任人 需输入DataArts Studio实例当前工作空间中的用户名。只有工作空间管理员或开发者、运维者角色的用户才可以设置为责任人。 数据连接类型 支持以下连接类型:DLI、POSTGRESQL、DWS、MRS_HIVE。 *表类型