检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据源可配置权限 查询数据源可配置权限。 3600 40 查询权限集中配置的url信息 查询权限集中配置的url信息,例如obs、hdfs等组件中的url路径。 3600 40 查询数据操作信息 查询数据操作信息。 3600 40 识别规则接口 表3 识别规则接口 API 说明 API流量限制(次/10s)
、;及换行符以外的字符。 责任人 流程的责任人,可以手动输入名字或直接选择已有的责任人。 上级流程 选择所属的上级流程。 描述 流程的描述信息。 依次新建更多的流程或子流程。一般需要设计L1~L3三层流程。第一层标识为L1层,第二层标识为L2层,第三层标识为L3。 示例如下: 图3
建议创建单独用于Migration任务连接的数据库账号,避免因为账号修改导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请尽快修改Migration任务中的连接信息,避免任务连接失败后的自动重试导致数据库账号被锁定,影响使用。 不同链路、数据库、权限要求不同,可参考以下链接,选择对应链路查看使用须知:使用教程。
输入“\t”。 , 高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置,用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll
在此页面查看当前需要用户审批的申请单。 单击操作栏的“审批”,查看申请单的详细信息并进行审批。 填写审批意见后,根据实际情况同意或拒绝该申请。 我已审批 选择“数据权限 > 审批中心”,单击“我已审批”页签。 单击操作栏中的“查看”,即可查看申请单的审批记录和申请内容等详细信息。 我的申请 选择“数据权限 > 审批中心”,单击“我的申请”页签。
0000表示请求处理成功。 error_msg String 错误信息。 状态码:400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 状态码:500 表6 响应Body参数 参数
3_scripts和4_jobs文件夹内。 备份成功后,在以“备份日期”命名的文件夹内,自动生成backup.json文件,该文件按照节点类型存储了作业信息,支持恢复作业前进行修改。 启动每日备份后,若想结束备份任务,您可以单击右边的“停止每日备份”。 还原资产 在DataArts Studi
如果由于数据不离散,导致还是失败请参考2~4,通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称,查找连接信息。 图2 连接信息 单击“连接管理”,在“操作”列中,单击“连接”进行编辑。 图3 连接 打开高级属性,在“连接属性”中建议新增“connectTi
在左侧的流程目录中选中一个流程,单击“新建”按钮,开始新建衍生指标。 在新建衍生指标页面,根据页面提示配置基本信息参数。在本示例中,需要创建地区销售额和地区经营面积两个衍生指标数据。 图2 新建衍生指标基本信息1 表1 新建衍生指标基本信息参数说明 参数名称 说明 *衍生指标名称 输入衍生指标名称。 例如,地区销售额。
进入数据湖探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求,在DLI控制台中开发相应的SQL脚本进行贸易统计分析。 父主题: 贸易数据极简上云与统计分析
支持在数据地图组件中进行展示,并支持通过管控敏感数据进行数据预览时的权限管控。 权限申请时的密级信息来源于数据地图组件,因此也会展示默认密级。除此之外的静态脱敏、动态脱敏时的密级信息来源于敏感数据发现任务,因此不会展示默认密级。 被引用的数据密级无法直接删除,需要先解除引用关系后才能删除。
单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM,CloudTable和DLI类型。
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发,因此包含了Flink系统中最重要的两个部分:JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
通过本示例,用户可以了解数据开发模块EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。 本示例涉及的数据表如下所示: trade_log:记录每一笔交易数据。
参数类型 描述 entity 否 Entity object 资产信息。 referred_entities 否 Object 关联资产信息,结构体Map<String, Entity>。key:资产guid,value:资产信息。 表4 Entity 参数 是否必选 参数类型 描述 version
error_msg String 错误信息。 project_id String 项目ID。 domain_id String 用户ID。 user_name String 用户名。 export_resources String 导出资源信息,默认为空。 import_body String
源端数据源 作业分片原理 数据仓库 数据仓库服务(DWS) 支持按表字段分片。 不支持按表分区分片。 数据湖探索(DLI) 支持分区表的分区信息分片。 不支持非分区表分片。 Hadoop MRS HDFS 支持按文件分片。 MRS HBase 支持按HBase的Region分片。 MRS
Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图2 空间信息 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添加”或“按用户组添加”,然后从“成员账号”的下拉选项中选择用户或用户组,并设置角色。
指定的审核人。 指标配置 进入数据指标的“配置中心 > 指标配置”页面,可以对业务指标进行自定义项设置。 单击“新建”,输入自定义相的参数信息。包含选项名称的中英文、可选值、是否必填、描述等。 如果勾选了“是否必填”,在创建指标定义时,该自定义项参数则为必填项。 可以对自定义项进行增加、删除、上移、下移等操作。
error_msg String 错误信息。 data Object 返回的数据信息。 状态码:401 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object