检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDL常见问题 为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 父主题: 使用CDL
装路径如:/opt/client。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 构建Jar包。 在IntelliJ IDEA中,在生成Jar包之前配置工程的Artifacts信息。
ameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “目的端路径”:填写备集群保存备份数
群中启动AppMaster进程,进程启动后要向Driver进程注册信息,注册成功后,任务才能继续。从AppMaster日志中可以看出,无法连接至Driver,所以任务失败。 解决办法 请检查Driver进程所在的IP是否可以ping通。 启动一个Spark PI任务,会有类似如下打印信息。
主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
安装Flume客户端 使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以不存在,会
1) ARRAY_PREPEND 指定位置插入数据到数组。 ARRAY_APPEND(ARRAY[1,2,3], 4) ARRAY_CAT 连接数组。 ARRAY_CAT(ARRAY[1,2], ARRAY[3,4]) ARRAY_FILL 数组填充。 ARRAY_FILL(1, 3)
1) ARRAY_PREPEND 指定位置插入数据到数组。 ARRAY_APPEND(ARRAY[1,2,3], 4) ARRAY_CAT 连接数组。 ARRAY_CAT(ARRAY[1,2], ARRAY[3,4]) ARRAY_FILL 数组填充。 ARRAY_FILL(1, 3)
的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点
e服务需要手动修改配置。 登录Master节点。 执行hostname -i获取本机IP。 执行如下命令获取“HUE_FLOAT_IP”的地址: grep "HUE_FLOAT_IP" ${BIGDATA_HOME}/MRS_Current/1_*/etc*/ENV_VARS, 其中MRS以实际文件名为准。
Presto查询报错“The node may have crashed or be under too much load” MRS集群如何使用公网访问Presto
单击“导入数据”,正确配置HDFS和OBS路径。 配置OBS或者HDFS路径时,单击“浏览”并选择文件目录,然后单击“确定”。 图2 导入数据 OBS路径地址说明: 必须以“obs://”开头。 不支持导入KMS加密的文件或程序。 不支持导入空的文件夹。 目录和文件名称可以包含中文、字母、数字、中划线和下划线,但不能包含;|&>
执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行命令进行客户端操作。 例如执行以下命令: cql storm 同一个storm客户端不能同时连接安全和非安全的ZooKeeper。 父主题: 使用Storm
be found for logger” 运行Manager应用报错“illegal character in path at index” 如何通过curl命令访问Manager REST API 父主题: Manager管理开发指南
nfig/HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
HRegionServer以Ephemeral node的方式注册到ZooKeeper中。其中ZooKeeper存储HBase的如下信息:HBase元数据、HMaster地址。 HMaster通过ZooKeeper随时感知各个HRegionServer的健康状况,以便进行控制管理。 HBase也可以部署多个HMaster,类似HDFS
Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 IntelliJ IDEA中远程提交拓扑执行Main时报错:Command line is too long 父主题:
e shell中执行help 'create' 进行查看。 方法二:使用Java API。 以下代码片段仅展示如何在建表时设置列簇的编码和压缩方式,完整的建表代码以及如何通过代码建表请参考HBase开发指南的创建HBase表章节。 TableDescriptorBuilder htd
se shell中执行help 'create'进行查看。 方法二:使用Java API。 以下代码片段仅展示如何在建表时设置列簇的编码和压缩方式,完整的建表代码以及如何通过代码建表请参考HBase开发指南的创建HBase表章节。 TableDescriptorBuilder htd
置中不存在,用户如果开启外部连接SSL,则需要添加以下参数。开启外部连接SSL后,因为YARN目前的开源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。 表4