检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
首先查看ZooKeeper中/flink_base的目录权限是否为:'world,'anyone: cdrwa;如果不是,请修改/flink_base的目录权限为:'world,'anyone: cdrwa,然后继续根据步骤二排查;如果是,请根据步骤二排查。 由于在Flink配置文件中“high-availability
首先查看ZooKeeper中/flink_base的目录权限是否为:'world,'anyone: cdrwa;如果不是,请修改/flink_base的目录权限为:'world,'anyone: cdrwa,然后继续根据步骤二排查;如果是,请根据步骤二排查。 由于在Flink配置文件中“high-availability
available hive server......” 原因分析 对于开启Kerberos认证的集群,admin用户不具有操作Hue WebUI的权限。可以创建一个“人机”用户(例如hueuser),并加入“hive”、“hadoop”、“supergroup”用户组和“System_admi
对历史数据进行一次major compaction,之后将不会考虑这些segments进行minor compaction。 加载增量数据。 用户可以根据自己的需要配置minor compaction阈值。 配置示例和预期输出: 用户将所有历史数据加载到CarbonData,此数据的一个segment的大小假定为500GB。
k集群时会在每个节点下自动创建。 进入客户端路径,执行命令./bin/yarn-session.sh -jm 2048 -tm 3072,可以看到yarn-session正常启动并且成功创建目录。 图2 执行命令 父主题: Flink应用开发常见问题
下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“hetu-examples\hetu-examples-security”。 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,选择“File
通过Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“hetu-examples”。 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,选择“File
SnappyCodec org.apache.hadoop.io.compress.GzipCodec 如需要全局设置,即对所有表都进行压缩,可以在Manager页面对Hive的服务配置参数进行如下全局配置: hive.exec.compress.output设置为true mapreduce
使用当前用户登录Hue WebUI后,在界面左侧导航栏单击 ,选择“Workflow”后报错: 建议使用新建的具有对应组件管理权限的用户访问,此时可以参考创建用户章节,创建一个业务用户,例如创建一个具有HDFS管理权限的用户登录并访问HDFS WebUI界面。 父主题: Web页面访问类
JDK默认TLS只支持1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS1.0/1.1/1.2。 详情请参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8
首先查看ZooKeeper中/flink_base的目录权限是否为:'world,'anyone: cdrwa;如果不是,请修改/flink_base的目录权限为:'world,'anyone: cdrwa,然后继续根据2排查;如果是,请根据2排查。 由于在Flink配置文件中“high-availability
数或者文件数,默认值1048576,取值范围1~6400000。 解决办法 确认该目录不含递归拥有100万以上文件目录是否正常,如果正常,可以将HDFS的参数dfs.namenode.fs-limits.max-directory-items调大并且重启HDFS NameNode生效。
使用当前用户登录Hue WebUI后,在界面左侧导航栏单击 ,选择“Workflow”后报错: 建议使用新建的具有对于组件管理权限的用户访问,此时可以参考创建用户章节,创建一个业务用户,例如创建一个具有HDFS管理权限的用户登录并访问HDFS WebUI界面。 父主题: 访问MRS组件Web
较多的partition对应的executor将成为数据处理的瓶颈,所以在执行Producer程序时,数据平均发送到每个partition可以提升处理的速度。 在partition数据均匀分布的情况下,同时提高partition和executor个数,将会提升Spark处理速度(
sql.hive.convertInsertingPartitionedTable=true时使用datasource表逻辑,使用如下方式即可以正常查询: desc formatted test_hive_orc_snappy_internal_table partition(a='2016-08-01
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
提供访问OBS的临时认证凭据的统一缓存刷新能力。 Guardian服务端主要是TokenServer角色提供功能和能力,TokenServer支持多实例部署,每个实例都可以提供相同的功能,单点故障不影响服务功能,且对外提供RPC和HTTPS接口获取访问OBS的临时认证凭据。 Guardian架构 Guardian的基本架构如图
Loader权限: “管理员”:Loader管理员权限。 “作业连接器”:Loader的连接权限。 “作业分组”:Loader的作业分组操作权限。用户可以在指定作业分组下设置具体作业的操作权限,包括作业的编辑“编辑”与执行“执行”权限。 “作业调度”:Loader的作业调度权限。 表1 设置Loader角色
/opt/Bigdata/python3/bin/pip3 /usr/bin/pip3 配置变量的目录需要跟4中安装的目录保持一致。 配置成功后,执行如下命令,在Python3.x环境中安装Kafka组件。 cp /usr/include/gssapi/* /home/omm/kerberos/include/gssapi/