检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
制,以防HDFS文件属性信息丢失。 线下集群向云迁移 线下集群可以通过如下两种方式将数据迁移至云: 云专线(DC) 为源集群与目标集群之间建立云专线,打通线下集群出口网关与线上VPC之间的网络,然后参考同Region执行Distcp进行复制。 数据快递服务(DES) 对于TB或P
7运行时,使用yarn-client模式向服务端提交Spark任务。 Oracle JDK需进行安全加固,具体操作如下。 到Oracle官方网站获取与JDK版本对应的JCE(Java Cryptography Extension)文件。JCE文件解压后包含“local_policy
inline=false; 异步方式由spark-sql来实现。 如果需要在异步compaction时只执行已经产生的compaction调度计划而不创建新的调度计划,则需要通过set命令设置以下参数: set hoodie.compact.inline=true; set hoodie.schedule
Nimbus汇总信息 拓扑汇总信息 Supervisor汇总信息 Nimbus配置信息 前提条件 获取用户“admin”账号密码。“admin”密码在创建集群时由用户指定。 使用其他用户访问Storm WebUI,需要用户属于“storm”或“stormadmin”用户组。 操作步骤 进入组件管理页面:
操作,编译完成后,在target目录下即可生成“JDBCExample-1.0-SNAPSHOT.jar”。 在Linux环境执行以下命令创建调测运行目录。 mkdir -p /opt/hetuclient; 上传“JDBCExample-1.0-SNAPSHOT.jar”包到L
AK/SK认证方式下,全局服务的接口调用,需在请求消息头中配置X-Domain-Id。 X-Project-Id 子项目ID,在多项目场景中使用。如果云服务资源创建在子项目中,AK/SK认证方式下,操作该资源的接口调用需要在请求消息头中携带X-Project-Id。 表1中参数的获取方式请参见API签名指南。
同语言的样例工程,还提供了Streaming、SQL、JDBC客户端程序以及Spark on HBase四种不同场景的样例工程。 帮助用户快速了解Spark各部件的编程接口。 开发Spark应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测Spark应用 查看程序运行结果
for more information. 客户端机器必须安装有setuptools,版本为47.3.1。 具体软件,请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客
for more information. 客户端机器必须安装有setuptools,版本为47.3.1。 具体软件,请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客
0-LTS.1.8补丁,安装完需要重启相关服务,具体请参考MRS 3.2.0-LTS.1.8版本补丁说明。 检查集群是否是使用密钥创建的集群 检查集群是否是使用密钥创建的集群。 是,需要先给集群安装MRS_3.2.0-LTS.1.9_RootPatch_20240605.tar.gz补丁,以支持密钥方式的root补丁特性。
java.net.SocketPermission ":1-", "accept,listen,connect,resolve"; 允许建立到特定网站的连接和解析: permission java.net.SocketPermission ".abc.com:1-", "connect
此外,这些函数对Unicode代码点进行运算,而不是对用户可见的字符(或字形群集)进行运算。某些语言将多个代码点组合成单个用户感观字符(这是语言书写系统的基本单位),但是函数会将每个代码点视为单独的单位。 lower和upper函数不执行某些语言所需的区域设置相关、上下文相关或一对多映射。
/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令在HDFS创建目录并上传样例工程到该目录。 hdfs dfs -mkdir /user/developuser hdfs dfs -put -f /op
解决Oozie修改GC配置不生效的问题。 补齐HBase SLI告警。 解决容灾集群计划性迁移时会触发全量备份的问题。 解决告警ALM-19012 HBase系统表目录或文件丢失告警误报的问题。 解决写入HBase数据将磁盘写满的问题。 解决检查HBase进程的异常日志hs_err_pid_*.lo
sh --delete --zookeeper <ZooKeeper集群IP:2181/kafka> --topic <Topic名称> 创建Topic,由管理员用户操作。 sh kafka-topics.sh --create --zookeeper <ZooKeeper集群IP:2181/kafka>
/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令在HDFS创建目录并上传样例工程到该目录。 hdfs dfs -mkdir /user/developuser hdfs dfs -put -f /op
txt的内容复制保存到input_data1.txt,将log2.txt的内容复制保存到input_data2.txt。 在客户端安装节点下创建文件目录:“/home/data”。将上述两个文件上传到此“/home/data”目录下。 将Kafka的Broker配置参数“allow
iled to configure SaslClientAuthenticator异常信息,如图3所示。 图3 异常日志信息 认证失败导致创建KafkaChannel失败,导致通过channel(key)方法获取的KafkaChannel为空,以至于疯狂打印NullPointer
若使用EIP公网通信,那么集群节点均需要绑定公网,尤其是分析节点,必须绑定公网才能保证作业正常运行。 sqoop实例一般分布在Master节点,但作业真正运行在分析节点,因此创建数据库连接,是和Master节点通信,作业是通过Yarn任务分发到分析节点执行。 检查Sqoop实例安装目录下是否放置数据库驱动jar包,
catalogs命令,确认可以查询Presto的数据源列表。 执行show schemas from mysql命令即可查询MySQL数据库。 MRS 2.x版本。 创建“mysql.properties”配置文件,内容如下: connector.name=mysql connection-url=jdbc:mysql://MySQL