检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发一个MRS Spark Python作业 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一：通过MRS Spark Python作业实现统计单词的个数 前提条件： 开发者具有OBS相关路径的访问权限。 数据准备： 准备脚本文件"wordcount
选择“数据权限 > 数据表权限”，在“我的权限”页签中，支持如下操作： 操作 > 查看，查看用户已申请的权限详情。 操作 > 编辑，可修改用户已申请的数据表权限。 操作 > 交还，可交还用户已申请的数据表权限。 图2 管理表权限 审计用户权限 管理员可在“用户权限”页面查看同
存放，例如：所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需求出发构建模型，它主要是为分析需求服务，因此它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复杂查询的响应性能。 多维模型是由数字型度量值组成的一张事实表连接到一组包含描述属性的多张维度表，事实表与维度表通过主/外键实现关联。
Rest Client数据连接参数说明 表1 Rest Client连接 参数 是否必选 说明 数据连接类型 是 Rest Client连接固定选择为Rest Client。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否
如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后，后续节点处理策略 是 节点执行失败后的操作： 终止后续节点执行计
如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后，后续节点处理策略 是 节点执行失败后的操作： 终止后续节点执行计
数据的拥有者，支持填写多个，中间以逗号分隔。 导入结果会在“上次导入”页面中显示。如果导入成功，单击“关闭”完成导入。如果导入失败，您可以查看失败原因，将模板文件修改正确后，再重新上传。 图6 上次导入页面 导出主题设计信息 在DataArts Studio数据架构控制台，单击左侧导航树中的“主题设计”，进入主题设计页面。
MRS FusionInsight Manager，选择“系统 > 权限 > 角色”查看），继承已有角色的MRS数据源权限。 本章主要描述如何配置通用角色，配置纳管角色以及相关操作。 前提条件 配置角色前，已完成空间权限集的配置，请参考配置空间权限集。 MRS和DWS角色同步时，
为实现DWS数据源的数据访问审计，需要满足如下条件： 已开启DWS集群的审计功能开关audit_enabled。 审计功能开关默认开启，如果已关闭则请参考修改数据库参数章节将audit_enabled设置为ON。 已开启需要审计的审计项。 DWS各类审计项及其开启方法，请参考设置数据库审计日志章节。
获取主题树信息 功能介绍 获取数据资产主题树信息l1，l2，l3。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/subjects/business 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
当作业源端为OBS、迁移CSV文件时，并且配置“解析首行为列名”参数的场景下显示列名。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datatime）。 Hive作为源端数据源时，支持array、map类型的数据读取。 当使用二进制格式进行文件到文件的迁移时，没有字段映射这一步。
数据集成（实时作业） 问题案例总览 数据源和资源组网络不通如何排查？ 数据源安全组放通哪些端口可满足Migration访问？ 如何配置Hudi Compaction的Spark周期任务？ MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查？ 数据源安全组放通哪些端口可满足Migration访问？ Hudi 如何配置Hudi Compaction的Spark周期任务？ DWS MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？
HDFS连接 介绍 通过HDFS连接，可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持CSV、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values":
CloudTable OpenTSDB连接参数说明 连接CloudTable OpenTSDB时，相关参数如表1所示。 表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 TSDB_link
t_model_name。 2、target_model_id与dw_type不对应时，会找不到模型，提示：模型不存在。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/design/workspaces/{model_id}/transform
在页面下方，单击“试运行”按钮，然后在弹出框中单击“试运行”按钮，测试所设置的衍生指标是否可以正常运行。 如果试运行失败，请根据错误提示定位错误原因，将配置修改正确后，再单击“试运行”按钮进行重试。 如果试运行成功，单击“发布”，提交发布审核。 在弹出框中，选择审核人，单击“确认提交”，提交审核。
023-02-27至2023-03-01）。 图4 补数据 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称，允许修改。 作业名称 系统自动显示需要补数据的作业名称。 业务日期 选择需要补数据的时间段。这个业务日期会传递给作业的计划时间。作业运行时，作业计
023-02-27至2023-03-01）。 图4 补数据 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称，允许修改。 作业名称 系统自动显示需要补数据的作业名称。 业务日期 选择需要补数据的时间段。这个业务日期会传递给作业的计划时间。作业运行时，作业计
开发者：开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者：运维者具备工作空间内运维调度等业务的操作权限，但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客：访客可以查看工作空间内的数据，但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
