检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDL常见问题 为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 父主题: 使用CDL
Ranger常见问题 如何判断某个服务是否使用了Ranger鉴权 为什么新创建用户修改完密码后无法登录Ranger 在Ranger管理界面查看不到创建的MRS用户 MRS用户无法同步至Ranger管理界面 父主题: 使用Ranger
Presto查询报错“The node may have crashed or be under too much load” MRS集群如何使用公网访问Presto
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
be found for logger” 运行Manager应用报错“illegal character in path at index” 如何通过curl命令访问Manager REST API 父主题: Manager管理开发指南
e shell中执行help 'create' 进行查看。 方法二:使用Java API。 以下代码片段仅展示如何在建表时设置列簇的编码和压缩方式,完整的建表代码以及如何通过代码建表请参考HBase开发指南的创建HBase表章节。 TableDescriptorBuilder htd
se shell中执行help 'create'进行查看。 方法二:使用Java API。 以下代码片段仅展示如何在建表时设置列簇的编码和压缩方式,完整的建表代码以及如何通过代码建表请参考HBase开发指南的创建HBase表章节。 TableDescriptorBuilder htd
Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 IntelliJ IDEA中远程提交拓扑执行Main时报错:Command line is too long 父主题:
3.2.0-LTS.1。 组件选择:请根据业务需求合理选择需要的组件,部分类型集群创建后不支持添加服务。 元数据:选择“本地元数据”。 网络配置: 可用区:默认即可。 虚拟私有云:默认即可。 子网:默认即可。 安全组:默认即可。 弹性公网IP:默认即可。 节点配置: CPU架构:默认即可。MRS
ffle涉及到了磁盘的读写和网络的传输,因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁,实际上shuffle这一部分是如何实现的呢,下面就以Spark
ffle涉及到了磁盘的读写和网络的传输,因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁,实际上shuffle这一部分是如何实现的呢,下面就以Spark
Ranger常见问题 安装集群过程中Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户
使用Sqoop Sqoop如何连接MySQL Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 通过sqoop
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
报错 使用Stream Load时报RPC超时错误 使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理 FE启动失败 BE匹配错误IP导致启动失败 MySQL客户端连接Doris报错“Read timed out” BE运行数据导入或查询任务报错
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 为什么ZooKeeper节点上netcat命令无法正常运行 如何查看哪个ZooKeeper实例是Leader 使用IBM JDK时客户端无法连接ZooKeeper ZooKeeper客户端刷新TGT失败
下的容灾。 本章节适用于MRS 3.x及之后版本。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理,主备集群必须已配置跨集群互信。如果主
endpoint-name.access_key_id OBS ak,获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk,获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL,一般是带HTTPS的
endpoint-name.access_key_id OBS ak,获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk,获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL,一般是带HTTPS的
Netty/NIO及Hash/Sort配置 Shuffle是大数据处理中最重要的一个性能点,网络是整个Shuffle过程的性能点。目前Spark支持两种Shuffle方式,一种是Hash,另外一种Sort。网络也有两种方式,Netty和NIO。 表8 参数说明 参数 描述 默认值 spark