正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值 如图1所示,第一个Rest
手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。 填写单个IP,IP应为MRS集群管理面的浮动IP。 填写3个IP时,应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。
见开发Pipeline作业)。 前提条件 已新增Shell脚本,请参见新建脚本。 已新建主机连接,该Linux主机用于执行Shell脚本,请参见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行
定影响。 数据集成CDM集群为单集群部署,集群故障可能会导致业务、数据损失。建议您使用数据开发作业CDM Job节点调用CDM作业,并选择两个CDM集群以提升可靠性。详情请参见CDM Job节点章节。 当所连接的数据源发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。
手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。 填写单个IP,IP应为MRS集群管理面的浮动IP。 填写3个IP时,应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。
找到所需要的工作空间,单击工作空间的“数据开发”,系统跳转至数据开发页面。 在“作业开发”页面,新建数据开发作业,然后分别选择CDM节点和两个Dummy节点,选中连线图标并拖动,编排图1所示的作业。 其中CDM节点的失败策略需要设置为“继续执行下一节点”。 图2 配置CDM节点的失败策略
保存”。 表2 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。
URI地址。 认证类型:安全模式Hadoop选择KERBEROS鉴权,通过获取客户端的principal和keytab文件进行认证。 Principal、Keytab文件:用于认证的账号Principal和keytab文件,可以联系Hadoop管理员获取。 单击“保存”,CDM会自动测试连接是否可用。
开启“公网入口”,创建集群时会为集群自动绑定一个新建的弹性公网IP,后续可以通过此公网IP地址调用专享版API。该功能新建的弹性公网IP不会计入收费项。 如果您存在需要本地调用或跨网调用API的使用场景,建议开启。如果在创建集群时未开启公网入口,后续则不再支持绑定EIP。 带宽大小 可配置公网带宽范围。 虚拟私有云
手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。 填写单个IP,IP应为MRS集群管理面的浮动IP。 填写3个IP时,应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。
连接Apache Hadoop时的Namenode URI地址,格式为“ip:port”。 llinkConfig.host 否 String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight
个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名为jobs.zip,解压后文件结构如下: jobs +---job_batch | dws_sql.script | job_batch.job \---job_stream job_stream
KERBEROS:安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。 HIVE_3_X IP与主机名映射 如果Hadoop配置文件使用主机名,需要配置IP与主机的映射。格式:IP与主机名之间使用空格分隔,多对映射使用分号或回车换行分隔。 - OBS支持 需服务端支持OBS存
连接Apache Hadoop时的Namenode URI地址,格式为“ip:port”。 linkConfig.host 否 String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight
工作空间级别的全局委托。适用于该空间内的所有作业。配置公共委托请参考配置公共委托。 访问标识(AK) 是 使用委托为否是显示该参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,从而帮助您轻松地把服务器上的应用和数据迁移到华为云。更多详情请参见主机迁移服务。 主机迁移服务 SMS 是一种P2V/V2V迁移服务,可以把X86物理服务器、私有云或公有云平台上的虚拟机迁移到华为ECS上。
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图5 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
通过配置任务组,可以更细粒度的进行当前任务组中的作业节点的并发数控制。 约束限制 该功能不支持实时处理作业,只支持批处理作业。 任务组不能跨工作空间去使用。 对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了作业级任务组,则优先级高于节点的任务组。 配置方法
Studio为核心产品,打造领先的数智融合生产线,面向行业落地水平、场景化解决方案 ,助力企业数字化升级,实现数据驱动精益管理,探索数据价值流通,在水平和行业两个方向构建可复制数据治理解决方案。 数据治理解决方案正在持续构建中,如需落地请通过解决方案官网咨询。 父主题: 数据治理解决方案
javascript-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\javascript-sdk.zip SHA256 命令执行结果示例,如下所示: SHA256 的 D:\javascript-sdk.zip