检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点运行过程中,根据设置的节点状态轮询时间查询节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。
脚本编写完成后,保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时,您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚本使用了参数,此处显示脚本参数名称(例如DATE),请在参数
当前队列分配和队列权限管控均为白名单机制。即如果未分配队列,则无法选择队列;如果队列未对用户授权,则用户无法使用队列。 当为工作空间分配队列资源后,在数据开发组件在为作业节点配置队列资源时,可选择的队列为当前空间下已分配的队列资源。 当前支持在选择MRS Yarn队列时,从已分配的队列资源获取队列列表。如果未分配队列资源,则只支持选择root
MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非主Master节点无法查询,请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写,多个IP之间使用"
MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非主Master节点无法查询,请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写,多个IP之间使用"
有关。 共享版默认发布到API网关共享版。发布成功后,您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名,此调试域名唯一且不可更改,此调试域名每天最多可以访问1000次。如果您不希望与其他API共享此规格,可
解压认证凭据文件后可以获取两个文件: “krb5.conf”文件包含认证服务连接信息。 “user.keytab”文件包含用户认证信息。 下载认证凭据的详细信息请参考下载MRS集群用户认证凭据文件。 图4 下载认证凭据 上传Impala用户认证凭据到待操作节点的Impala客户端安装目录
业JSON。 图3 创建CDM作业的节点属性 配置“运行作业”节点。 创建CDM作业的节点配置完后,还需要在后面添加运行CDM作业的REST节点,具体请参见《云数据迁移API参考》中的“启动作业”章节。配置RestAPI节点的属性如下 : 节点名称:运行作业。 URL地址:其中p
图2 创建job_hive_sql作业 然后进入到作业开发页面,拖动MRS Hive SQL节点到画布中并单击,配置节点的属性。 图3 配置MRS Hive SQL节点属性 关键属性说明: 节点名称:默认显示为SQL脚本“hive_sql”的名称,支持修改。 SQL脚本:关联开发Hive
当公共维度(如日期/地区/供应商/产品等)被多个主题域共享时,创建维度时应该如何选择主题? 当前数据架构并未提供公共维度的概念,维度需指定归属一个主题。如果有使用公共维度的场景,建议新建一个公共的主题,将公共维度归属到该主题下面。 另外,由于当前维度使用权限未按照主题去划分(按照
作业:作业由一个或多个节点组成,执行作业可以完成对数据的一系列操作。 脚本:脚本(Script)是一种批处理文件的延伸,是一种纯文本保存的程序,一般来说的计算机脚本程序是确定的一系列控制计算机进行运算操作动作的组合,在其中可以实现一定的逻辑分支等。 节点:定义对数据执行的操作。
注意,请求中加粗的斜体字段需要根据实际值填写: IAM endpoint为IAM服务的终端节点。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。Endpoint您可以从终端节点及区域说明获取。 username为用户名,domainname为用户所属的账
20c8eb05ccc4 准备数据文件“in.txt”,内容为一段英文单词。 操作步骤 将作业资源包和数据文件传入OBS桶中。 本例中,WordCount.jar文件上传路径为:lkj_test/WordCount.jar;word.txt 文件上传路径为:lkj_test/input/word
使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。 分批配置迁移任务,保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图12 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明:
请参见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python
在作业开发页面,拖动1个Dummy节点、8个CDM Job节点、和2个Import GES节点到画布中,选中连线图标并拖动,编排图3所示的作业。 其中Dummy节点不执行任何操作,只作为起始点的标识。CDM Job节点用于调用在创建数据集成作业中创建的数据集成作业。Import GES节点用于将图数据导入GES。
ordinal not in range ( 128 )”怎么处理? 查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? Shell/Python节点执行失败,后台报错session is down 请求头中参数值长度超过512个字符时,何如处理?
Dummy: 空节点作业类型 location 是 Location数据结构 节点在作业画布上的位置,参考表6。 preNodeName 否 List<String> 本节点依赖的前面的节点名称列表。 conditions 否 List<Condition> 节点执行条件,如果配