检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCrede
准备Flink安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行。
utation（alter table update/delete）任务的多少。queue队列中的mutation任务优先级最低（同一个表上的mutation任务是串行执行的），能并行执行多少个delete任务直接受merge任务执行情况的影响。 表中part个数也决定了轻量化删除的性能，part越多，删除越慢。
准备本地应用开发环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境： Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK
默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCrede
e-examples”以及Maven相关配置。 在应用开发环境中，导入样例工程到IntelliJ IDEA开发环境。 在IDEA界面选择“File > New > Project from Existing Sources”。 在显示的“Select File or Directory
e-examples”以及Maven相关配置。 在应用开发环境中，导入样例工程到IntelliJ IDEA开发环境。 在IDEA界面选择“File > New > Project from Existing Sources”。 在显示的“Select File or Directory
org/project/setuptools/#files。 将下载的setuptools压缩文件复制到客户端机器上，解压后进入setuptools项目目录，在客户端机器的命令行终端执行python3 setup.py install。 以47.3.1版本为例，如下内容表示安装setuptools的47
c4-*.jar”，与开源PgSQL服务不兼容导致报错。 处理步骤 用户在“pg_hba.conf”文件配置白名单。 驱动重复，集群自带，将其余驱动清除，所有Core节点上的gsjdbc4 jar包去掉，在sqoop/lib目录下添加PgSQL Jar包即可。 mv /opt/B
<ZooKeeper的任意一个节点的业务IP:zkPort/kafka> 一般在迁移没有正常执行完成时用来清理ZooKeeper上的中间状态信息。 Kafka集群IP端口号安全模式下是21007，普通模式下是9092。 异常情况处理 在使用Kafka均衡工具进行Partition迁移的过程中，如果
close() sc.stop() println("Done!") 样例：在HBase表中插入数据 //建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 val conf = new SparkConf()
准备ClickHouse应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK
schema不相同时，projections在部分条件下允许变更，如：sdf.selectExpr("a").writeStream变更为sdf.selectExpr("b").writeStream，只有当sink支持“a”到“b”的schema转换时才不会出错。 状态操作的变更，在部分场景下会导致状态恢复失败：
好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.co
ab放到Flink客户端所在主机的某个文件夹下(例如/home/flinkuser/keytab)。 在“${FLINK_HOME}/conf/flink-conf.yaml”上配置： keytab路径（注意配置参数前面有空格）： security.kerberos.login.keytab:
创建一个名为web的schema： CREATE SCHEMA web; 在指定路径创建schema，兼容写法示例： CREATE SCHEMA test_schema_5 LOCATION '/user/hive'; 在名为Hive的CATALOG下创建一个名为sales的schema：
0~3000个region，在集群正常情况下(HBase无异常，HDFS无大量的读写操作等)，建议此参数依据集群的规格进行调整，如果实际规格（实际平均每个regonserver上region的个数）大于默认规格（默认平均每个regionserver上region的个数，即2000），则调整方案为（实际规格
https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客户端机器上，解压后进入解压目录，在客户端机器的命令行终端执行python3 setup.py install。 如下内容表示安装setuptools的47.3.1版本成功。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（application/job）通常会把输
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
