正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
400 图1 配置节点并发数 单击“保存”,完成配置。 查看历史节点并发数 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面,选择历史时间段。 单击“确定”。 查看历史节点并发数的时间区间最大为24小时。 父主题: 配置
文件中的换行符,默认自动识别"\n"、"\r"或"\r\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。 \n 字段分隔符 文件格式为CSV格式时显示该参数。 文件中的字段分隔符。配置特殊字符需先url编码。 , 作业成功标识文件 标识文件名。
单击作业目录中的,选择“显示复选框”。 图1 显示作业复选框 勾选需要批量配置的作业,单击 > 作业配置。 图2 作业配置菜单 配置作业的通用项。 图3 通用配置 表1 通用配置 参数 说明 节点状态轮询时间 设置所选作业的所有节点轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
添加通知配置 通过添加通知配置,可以快速创建作业的通知配置信息。右键单击作业名称,单击“添加通知配置”,此通知配置为作业的新增配置,详细指导请参见配置通知。 如果要对作业已有通知配置进行修改,请进入通知管理页面,按照配置通知指导进行配置修改。单个作业跳转到通知管理页面后,会对该作
String OBS服务器的终端节点(Endpoint)。 linkConfig.port 是 String 数据传输协议端口,https是443,http是80。 linkConfig.accessKey 是 String 访问标识(AK)。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对
TTPS的API,需要配置相关的SSL证书或跳过SSL校验,否则将无法访问。 请求方式 HTTP请求方式,表示请求什么类型的操作,包含GET、POST等,遵循resultful风格。 GET:请求服务器返回指定资源,推荐使用GET请求。 POST:请求服务器新增资源或执行特殊操作
图3 配置血缘输入 完成血缘的输入表配置后,单击确定,继续配置血缘的输出表。假如MRS Spark作业中的输出表为“a”,则血缘输出配置如图4所示。 图4 配置血缘输出 完成血缘的输出表配置后,单击确认,则此MRS Spark节点的血缘关系手动配置成功。后续当需要查看血缘关系
单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发
确。 图1 资源权限配置页面 单击待创建权限策略HDFS组件下“hacluster”的“配置” ,进入配置界面单击“创建”,新建权限策略。 图2 新建权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图3 配置权限策略 表2 配置HDFS权限策略参数说明
配置数据服务审核中心 数据服务平台的审核中心,提供给API开放方和API调用方用以审核API的发布等操作。 在发布API时,会触发审核,审核机制如下: 当发布人不具备审核人权限时,发布API时需要提交给审核人审核。 当发布人具备审核人权限时,可无需审批直接发布API。 待审核的API可在审核中心由发起者执行撤销操作。
String 登录CloudTable集群的访问标识。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 linkConfig.securityKey 是 String 登录CloudTable集群的密钥。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 父主题: 连接参数说明
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据,但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数
型,单击进入,然后单击列表上方的“新建”按钮新建一个表。 图1 入口 在“新建表”页面,根据页面提示完成建表的配置。 填写基本配置参数。 图2 表基本配置 表1 基本配置 参数名称 说明 *所属主题 单击“选择主题”选择所属的主题信息。 *表名称 表的名称。 只允许除\、<、>、%、"、'、;及换行符以外的字符。
进行数据开发配置,比如环境配置、调度身份配置、配置默认项等 开发者 拥有生产环境的作业及脚本开发的所有权限。 开发环境:所有操作 生产环境:只读操作 部署:增加了打包、查看发布项、查看发布项列表、查看发布包内容 环境信息配置:只读操作 部署者 无 查看发布包 查看发布项列表 发布包:只有部署者和管理者可以操作
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口:1521 数据库连接类型 选择Oracle数据库连接类型: Service
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性
dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname
数据质量配置数据搬迁 数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。 约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出,如有涉及,请您进行手动配置同步。 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。
配置HDFS源端参数 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量,且