检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 新建作业 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。 图2 配置MRS Flink节点属性 参数设置说明: --Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群 --运行程序参数 -c org.apache
值分隔符 以STRING方式存储,列之间的分隔符。 存储类型为列表时字串分割成数组的字符。 ; 字段相同 “值存储类型”选择“HASH”时,显示该参数,是否允许哈希键内有相同的字段。 否 父主题: 配置作业源端参数
与“时长”配合使用,表示单位时间内的单个应用请求次数上限。 描述 关于控制策略的描述。 单击“确定”,完成流量控制策略的创建。 创建成功后,策略信息页面增加显示新创建的策略,您可以将相关API绑定到该策略,以实现流量控制。 绑定API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
等待排队执行。 表2 规则实例列表说明 菜单/按键 说明 实例名称 由“规则名称-数字”组成,数字越大,表示该实例创建的时间越近。 类型 显示作业类型,当前包含质量作业和对账作业。 运行状态 展示实例运行状态,包含成功、失败和运行中、告警。右侧弹窗分选项卡可查看规则实例的详细运行日志信息。
在“权限集”页面单击“新建”,创建权限集。 图1 创建权限集 新建权限集配置请参考表1,参数配置完成单击“确定”即可。 表1 参数设置 参数名 参数设置 *权限集名称 标识权限集,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需权限集。 *父权限集 选择对应的
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业目录中的,选择“显示复选框”。 勾选需要解锁的作业,单击 > 批量解锁。弹出“解锁成功”提示。 图1 批量解锁 父主题: (可选)管理作业
提交审核。等待审核人员审核,审核通过后,原子指标创建完成。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 原子指标创建完成后可以查看原子指标详情。 (可选)参考步骤3~步骤5,完成其他原子指标的发布。在本示例中,原子指标除了经营面积,还需要在创建一个销售额。
DLI连接固定选择为数据湖探索(DLI)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
环境。 配置两套数据湖服务,进行开发与生产环境隔离。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。
自定义角色的角色名称、类型、权限等配置完成后,单击“确定”即可新增自定义角色。 自定义角色完成后,请您参考添加工作空间成员和角色,将IAM用户设置为自定义角色。 示例一 某数据运营工程师通过DataArts Studio进行数据服务工作,仅需要数据服务组件的权限。管理员如果直接赋予该
Yarn队列权限前,需要参考同步IAM用户到数据源将IAM上的用户信息同步到数据源上。 MRS Yarn队列权限的策略生效,需要配置YARN严格权限控制,即设置参数“yarn.acl.enable”为true,具体请参见参考:配置Yarn严格权限控制。 约束与限制 当前分配队列资源只支持MRS Yarn队列。队列权限管控只支持MRS
若您想自定义存储路径,请参见(可选)修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请确保您已具备该参数所指定的OBS路径的读、写权限,否则系统将无法正常写日志或显示日志。 在数据开发作业中添加CDM Job节点,并关联已创建的CDM作业,如图4所示。 图4 关联CDM作业 在作业参数中配置业务需要的参数,如图5所示。
若您想自定义存储路径,请参见(可选)修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请确保您已具备该参数所指定的OBS路径的读、写权限,否则系统将无法正常写日志或显示日志。 作业描述 作业的描述信息。 单击“确定”,创建作业。 父主题: 作业开发
自定义角色的角色名称、类型、权限等配置完成后,单击“确定”即可新增自定义角色。 自定义角色完成后,请您参考添加工作空间成员和角色,将IAM用户设置为自定义角色。 示例一 某数据运营工程师通过DataArts Studio进行数据服务工作,仅需要数据服务组件的权限。管理员如果直接赋予该
执行完fixMeta命令后,报错显示“xx inconsistent”: fixMeta命令是校验HDFS和HBase元数据一致性,出现这个提示是正常情况,继续执行fixAssignments命令即可。 执行完fixAssignments命令后,报错显示“xx inconsistent”:
168.3.0:3306:cdm|192.168.2.2:3306:cdm:user:password 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性
REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status
在弹出的“删除作业”页面,单击“确定”,删除作业。 批量删除 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录顶部,单击,选择“显示复选框”,在作业目录前出现复选框。 选择需要删除的作业,再次单击,选择“删除作业”。 图2 批量删除作业 在弹出的“删除作业”页面,单击“确定”,批量删除作业。
射时会在原字段中显示该列名。 说明: 标题行数大于1时,当前仅支持解析标题的首行作为列名。 列名不支持“&”字符,否则会导致作业迁移失败,需修改CSV文件“&”字符即可正常迁移。 是 编码类型 文件编码类型,例如:“UTF-8”或“GBK”。只有文本文件可以设置编码类型,当“文件
句,再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待