检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
createTopology()); } 安全模式下需要执行安全准备,根据实际情况修改userKeyTablePath和userPrincipal为导入并配置Storm样例工程章节的步骤2中所获取用户的keytab文件路径和principal private static void securityPrepare(Config
iles.tar”,继续解压该文件。 进入客户端配置文件解压路径“*\Spark\config”,获取Spark配置文件,并所有的配置文件导入到Spark样例工程的配置文件目录中(通常为“resources”文件夹)。 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中。
为开源镜像仓。 编包并运行程序 获取样例代码。 下载样例工程的Maven工程源码和配置文件,请参见获取MRS应用开发样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults
在IDEA主页面,选择“View->Tool Windows->Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入,需要执行以下操作: 右键选择单击样例代码项目中的pom文件,选择“Add as Maven Project”,添加Maven项目。 图2
使用hcatalog方式同步数据,报错getHiveClient方法不存在 问题 使用hcatalog方式同步数据,报错getHiveClient方法不存在。 回答 将https://repo.huaweicloud.com/repository/maven/huaweicloudsdk/org/apache/h
JobHistory页面时,如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面(FusionInsight代理的URL地址类似于:https://<oms ip>:20026/Spark2x/JobHistory2x/xx/),单击某个应用,再单击“AggregatedLog
MRS作业输出数据:作业输出的结果文件和日志文件 MRS中HDFS、Hive、MapReduce、Yarn、Spark、Flume和Loader等组件支持从OBS导入、导出数据。 MRS使用OBS的并行文件系统提供服务。 配置存算分离集群(委托方式) 配置存算分离集群(AKSK方式) 弹性云服务器(Elastic
在指定作业连接的“权限”列,勾选“编辑”。 设置Loader作业分组的编辑权限 (包括修改作业分组的名称、删除指定分组、在指定分组下创建作业的权限、从外部将作业批量导入到指定分组的权限、将其他分组的作业迁移到指定分组的权限) 在“权限”的表格中选择“ Loader > 作业分组”。 在指定作业分组的“权限”列,勾选“分组编辑”。
在指定作业连接的“权限”列,勾选“编辑”。 设置Loader作业分组的编辑权限 (包括修改作业分组的名称、删除指定分组、在指定分组下创建作业的权限、从外部将作业批量导入到指定分组的权限、将其他分组的作业迁移到指定分组的权限) 在“权限”的表格中选择“ Loader > 作业分组”。 在指定作业分组的“权限”列,勾选“分组编辑”。
spark解析zlib时出错,出现java.io.IOException: unknown compression method的异常。 当用户数据增加到一定量后向carbon导入时出现executor崩溃。 在Yarn cluster模式下,当Spark程序客户端退出后,程序自动被停掉。 优化了当carbon表的s
t(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
t(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
t(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
timeout.ms Consumer注册时允许的最大会话超时时间。单位:毫秒。 1800000 允许Consumer配置的session.timeout.ms的最大值(不包含此值)。 group.min.session.timeout.ms Consumer注册时允许的最小会话超时时间。单位:毫秒。
'key1'='value1', 'key2'='value2') FROM root.sg.d1; 查看所有注册的UDF 在IoTDB客户端中执行下列SQL语句,可以查看所有注册的UDF: SHOW FUNCTIONS 父主题: 在IoTDBServer节点调测UDF应用
HiveQL接口介绍 HiveQL支持当前使用的MRS Hive与对应开源Hive版本中的所有特性,详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。MRS Hive版本与开源Hive版本的对应关系如表1所示。
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTPS协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified info
录上传了新的jar包,但执行任务时仍然报找不到类的错误。 回答 在客户端执行如下命令刷新目录: oozie admin -oozie https://xxx.xxx.xxx.xxx:21003/oozie -sharelibupdate 父主题: Oozie常见问题
port”,获取HSBroker端口号。 user 访问HetuServer的用户名,即在集群中创建的“人机”用户的用户名。 SSL 是否使用HTTPS连接,默认为“false”。 getStatementStatus() 返回当前SQL执行语句的执行状态,一共十一种状态:‘RUNNING’
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTPS协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified info