检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字段。 说明: 自定义异常表包含四种方式:添加表前后缀、添加表前缀、添加表后缀、选择已有表。表前缀以英文字母和下划线开头,且只能包含英文字母、数字和下划线。表后缀只能包含英文字母、数字和下划线。 当单击“选择已有表”时,需要选择表名,数据库和schema系统默认,如果未选择表名,则显示数据库名
完成同步后,若有同步失败的主题,系统会自动弹出同步结果明细,可查看同步失败的主题名称。 图2 同步主题为目录 在“规则模板”页面,单击“新建”,在弹出的新建规则模板页面中进行配置。 图3 新建规则模板 在弹出的新建规则模板页面中输入规则模板名称,选择规则匹配的维度,定义SQL模板并对输出结果进行说明。
规则卡片中的,然后参见表2配置数据对账规则。您也可选择添加对账规则。 图3 打开对账作业规则配置 表2 配置模板规则 模块 参数名 说明 基本信息 子作业名称 在作业的执行结果中,每条规则对应一个子作业。为便于结果查看和日志定位,建议您补充子作业信息。 描述 为更好的识别子作业,
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 X-Auth-Token 是 String
应用示例: 在进行转储时,如果引用字符和转义字符不填,如下图所示。 下载的.csv用excel打开以后如下图所示,是分成两行的。 在转储时,如果引用字符和转义字符都填写,比如,引用字符和转义字符都填英文双引号("),则下载以后查看结果如下图所示。 模板 在开发Hive SQL、Spark
Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,如图2所示,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,如图3所示。详细操作请参见DB配置。 图2 创建数据连接时选择同一个集群 图3 DB配置 数据准备与同步 数据湖服务创建完成后,您需要按照项
应用示例: 在进行转储时,如果引用字符和转义字符不填,如下图所示。 下载的.csv用excel打开以后如下图所示,是分成两行的。 在转储时,如果引用字符和转义字符都填写,比如,引用字符和转义字符都填英文双引号("),则下载以后查看结果如下图所示。 模板 在开发Hive SQL、Spark SQL、Flink
场景的具体工作。 图2 数据安全管理制度文件 技术工具 数据安全技术体系并非单一产品或平台的构建,而是覆盖数据全生命周期,结合组织自身使用场景的体系建设。依照组织数据安全建设的方针总则,围绕数据全生命周期各阶段的安全要求,建立与制度流程相配套的技术和工具。 图3 数据安全技术体系
块,进入数据指标页面。 图1 选择数据指标 在数据指标控制台,单击左侧导航树中的“指标定义”,进入指标定义页面。 在左侧的流程目录中选中一个流程,单击“新建”开始新建指标定义。 在“新建指标定义”页面,请根据以下步骤配置参数。 填写“基本信息”参数。 图2 新建指标定义 表1 指标基本信息参数
”页签,单击“新建”,在空间信息页面请根据页面提示配置参数,参数说明如表1所示。 图1 新建空间 表1 新建空间参数说明 参数名 说明 空间名称 空间名称,只能包含字母、数字、下划线、中划线、中文字符,且长度不超过32个字符。在当前的DataArts Studio实例中,工作空间名称必须唯一。
”页签,单击“新建”,在空间信息页面请根据页面提示配置参数,参数说明如表1所示。 图1 新建空间 表1 新建空间参数说明 参数名 说明 空间名称 空间名称,只能包含字母、数字、下划线、中划线、中文字符,且长度不超过32个字符。在当前的DataArts Studio实例中,工作空间名称必须唯一。
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数 参数 是否必选
方式一:在“作业开发”界面中,单击“新建集成作业”。 图1 新建集成作业(方式一) 方式二:在作业目录中,右键单击目录名称,选择“新建集成作业”。 图2 新建集成作业(方式二) 在弹出的“新建集成作业”页面,配置如表1所示的参数。 图3 配置集成作业参数 表1 作业参数 参数 说明 作业名称
Workspace”,单击“Next”。 弹出“Import Projects”对话框。 图2 Import 单击“Browse”,在弹出的对话框中选择解压后的SDK路径。 图3 选择demo工程 单击“Finish”,完成工程导入。 最终工程目录结构如下: 图4 导入工程的目录结构 “Main.java”为示例代
为更好地识别队列权限,此处加以描述信息。 图2 添加队列资源 单击队列权限目录中的队列,进入队列详情页面。 其中MRS Yarn队列可配置队列属性,主要应用于数据开发服务中的任务管理。实时队列用于运行实时作业,离线队列用于运行批处理作业,默认即不区分队列的作业类型。 图3 MRS
API调用者完成以上步骤后,可以进行API调用。 总览页面说明 在总览页用户可以看到丰富的监控数据视图。数据服务总览页面分别从API和APP的视角,统计了相关度量数据。 以专享版为例,监控视图各项指标含义介绍如下: 图1 API视角数据统计 表1 API视角数据统计 分类 指标 说明 数据总览区 已发布
Project”对话框,选择“Go”,单击“Next”。 图2 New Project 单击“...”,在弹出的对话框中选择解压后的SDK路径,单击“Finish”。 图3 选择解压后的SDK路径 完成工程创建后,目录结构如下。 图4 新建工程的目录结构 “demo.go”为示例代码,
建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。 表1 作业目录参数 参数 说明 目录名称 作业目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。 选择目录 选择该作业目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。
在“账号映射”页面,单击“新建”,创建账号映射策略。 图1 配置账号映射策略 新建账号映射策略配置请参考表1,参数配置完成单击“确定”即可。 表1 参数设置 参数名 参数设置 *策略名称 标识账号映射策略,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需账号映射策略。 *集群类型 无需选择,当前仅支持MRS集群。
理服务(简称TMS)通过标签识别、管理多种云资源,使资源管理变得更加轻松。 当拥有多个DataArts Studio实例时,您可以按使用者、维护者或用途等各类维度为各实例添加标签,然后在DataArts Studio实例列表页面,可以通过标签搜索、识别DataArts Studio实例。