正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若项目未通过maven导入,需要执行以下步骤: 右键选择单击样例代码项目中的pom文件,选择“Add as Maven Project”,添加Maven项目 图2 添加Maven项目 通过Maven生成Jar包。 在Maven工具窗口,选择clean生命周期,执行Maven构建过程。 图3 选
在待修改项的“Operation”列单击“Action > Config”,弹出的页面中可修改Topic的“Key”和“Value”值,如需要添加多条,可单击添加。单击“OK”完成修改。 搜索Topic。 在页面右上角,用户可以输入Topic名称搜索查看该Topic信息。 删除Topic。
配置 > 全部配置”,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory.always-scan-user-dir”,设置值为“true”。 保存配置,并重启Mapreduce服务。
* from KafkaSource; Kafka端口号: 集群的“认证模式”为“安全模式”时为“sasl.port”的值,默认为“21007”。 集群的“认证模式”为“普通模式”时为“port”的值,默认为“9092”。如果配置端口号为9092,则需要配置“allow.everyone
*.jar); IFS=,; echo "${files[*]}") 由于运行模式为安全模式,需要添加新配置并修改命令参数: $SPARK_HOME/conf/jaas.conf添加新配置: KafkaClient { com.sun.security.auth.module.Krb5LoginModule
修改HBase表 插入HBase数据 删除HBase数据 使用Get读取HBase数据 使用Scan读取HBase数据 使用HBase过滤器Filter 添加HBase二级索引 启用/禁用HBase二级索引 查询HBase二级索引列表 使用HBase二级索引读取数据 删除HBase二级索引 HBase
0及以后版本,Elasticsearch支持7.x及以后版本但不支持HTTPS的Elasticsearch集群。 数据规划 如果使用自定义数据源,需保证源端集群和目标端之间网络端口通信正常。 如果使用Kafka,MySQL等外源数据,需要确保对应用户具备数据操作的权限。 开发思路 导入Flink相关依赖包,版本需与集群Flink版本一致。
运行Colocation相关操作的样例代码,则此用户需属supergroup用户组。设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码。 添加环境变量HADOOP_USER_NAME:参考调测HDFS应用章节。 修改代码:在没有设置HADOOP_US
OutputStream类提供的接口进行文件的写入,其中f为文件的完整路径,overwrite为true时表示如果文件已经存在,则重写文件;如果为false,当文件已经存在时,则抛出异常。 public FSDataOutputStream append(Path f) 通过该接
customized.configs”中添加该参数项及参数值。 写并发小,不用更改。 写并发大,可适当调大。 WAL积压,可适当调小。 CPU使用持续80%以上,可适当调小。 avg_series_point_number_threshold 当内存数据平均点数达到此阈值时,Flush数据到Tsfile。
afka和Hive权限。 根据所用的开发语言安装并配置IntelliJ IDEA及JDK等工具。 已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序,需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并
HFile/StoreFile所使用的块缓存的最大heap(-Xmx setting)的百分比。 当offheap关闭时,默认值为0.25,当offheap开启时,默认值是0.1。 Handler相关参数 表3 Handler相关参数 参数 描述 默认值 hbase.regionserver
File/StoreFile所使用的块缓存的最大heap(-Xmx setting)的百分比。 当offheap关闭时,默认值为“0.25”,当offheap开启时,默认值是“0.1”。 Handler相关参数 表3 Handler相关参数 参数 描述 默认值 hbase.regionserver
utStream类提供的接口进行文件的写入。 其中“f”为文件的完整路径。 overwrite为true时表示如果文件已经存在,则重写文件;如果为false,当文件已经存在时,则上报异常。 public FSDataOutputStream append(Path f) 通过该接
tputStream类提供的接口进行文件的写入。 其中f为文件的完整路径。 overwrite为true时表示如果文件已经存在,则重写文件;如果为false,当文件已经存在时,则上报异常。 public FSDataOutputStream append(Path f) 通过该接
OutputStream类提供的接口进行文件的写入,其中f为文件的完整路径,overwrite为true时表示如果文件已经存在,则重写文件;如果为false,当文件已经存在时,则抛出异常。 public FSDataOutputStream append(Path f) 通过该接
OutputStream类提供的接口进行文件的写入,其中f为文件的完整路径,overwrite为true时表示如果文件已经存在,则重写文件;如果为false,当文件已经存在时,则抛出异常。 public FSDataOutputStream append(Path f) 通过该接
解决集群中部分Core节点互信丢失问题 解决补丁安装后添加实例失败问题 MRS Manager页面支持修改hiveserver的滚动重启超时时间 MRS大数据组件 obs包升级 MRS 1.9.0.1 修复问题列表: MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件
IAM这边加入的组没有任何权限设置。 经过分析用户的VPC企业项目B里缺少vpc readonly权限导致了该报错的发生。 处理步骤 给VPC所在的企业项目添加VPC只读权限后问题解决。 父主题: 账号权限类
*.jar); IFS=,; echo "${files[*]}") 由于运行模式为安全模式,需要添加新配置并修改命令参数: $SPARK_HOME/conf/jaas.conf添加新配置: KafkaClient { com.sun.security.auth.module.Krb5LoginModule