检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数，详见代码。 Properties props = initProperties(); consumer = new
准备开发和运行环境 Hive的应用程序支持使用Java、Python两种语言进行开发。推荐使用Eclipse工具，请根据指导完成不同语言的开发环境配置。 Hive应用开发环境简介 根据场景开发工程 提供了Java、Python两种不同语言的样例工程，还提供了从建表、数据加载到数据查询的样例工程。
Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令： cd {客户端安装目录} source bigdata_env source Hudi/component_env
Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令： cd {客户端安装目录} source bigdata_env source Hudi/component_env
newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接
N，缓存中将会找不到HDFS_DELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token，为MapReduce任务配置参数。当参数为false时，用户能够再次使用同一个Token。 jobConf.setBoolean("mapreduce.job.complete
如果是其他依赖包，可能是没有使用--jars添加到任务里面。 如果是已经添加到任务里面，但是依旧没有取到，可能是因为配置文件的driver或者executor的classpath配置不正确，可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错，需
案： 进入到服务端Spark2x SparkResource的安装目录（集群安装时，SparkResource可能会安装在多个节点上，登录任意一个SparkResource节点，进入到SparkResource的安装目录）。 准备好自己的jar包，例如xx.jar的x86版本和T
Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack，以及日志文件太大不滚动问题 补丁兼容关系 无。 安装补丁的影响 安装MRS 2.0.1.1补丁期间会重启MRS Manager和Presto服务，重启服务期间会引起服务暂时不可用。 父主题： MRS集群补丁说明
滚动问题 补丁兼容关系 MRS 2.0.1.3补丁包中包含MRS 2.0.1.2补丁包和MRS 2.0.1.1补丁包的全部内容。 安装补丁的影响 安装MRS 2.0.1.3补丁期间会重启MRS Manager和Presto服务，重启服务期间会引起服务暂时不可用。 父主题： MRS集群补丁说明
main()”运行应用工程。 如果集群开启了ZooKeeper SSL，则运行该样例前，需要检查配置文件mapred-site.xml（准备运行环境中样例工程的“conf”配置文件目录中获取）的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce
准备Manager应用开发和运行环境 准备样例工程 Manager REST API提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 配置并导入Manager样例工程 根据场景开发工程 提供了Java语言的样例工程，包含添加用户、查找用户、修改用户、删除用户，导出用户列表等典型应用场景。
期保持不变。 单击“确定”完成修改操作。 修改用户信息（MRS 2.x及之前版本） 在MRS Manager，单击“系统设置”。 在“权限配置”区域，单击“用户管理”。 在要修改用户所在的行，单击“修改”，修改用户信息。 为用户修改用户组或分配的角色权限，最长可能需要3分钟时间生效。
Presto应用开发常用概念 准备开发和运行环境 Presto的应用程序支持使用Java进行开发。推荐使用Eclipse工具，请根据指导完成开发环境配置。 Presto应用开发环境简介 根据场景开发工程 提供了Java语言的样例工程和数据查询的样例工程。 Presto样例程序开发思路 运行程序及查看结果
spark.examples.FemaleInfoCollection。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： //配置Spark应用名称 val conf = new SparkConf().setAppName("CollectFemaleInfo")
Managers、Job Manager的日志，具体操作如下： 下载并安装Yarn客户端（例安装目录：/opt/client）。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
如何查看指定Yarn任务的日志？ 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
Managers、Job Manager的日志，具体操作如下： 下载并安装Yarn客户端（例安装目录：/opt/client）。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
/xxxxx/clickhouse_ugsync_check.sh >/dev/null 2>&1 是，守护任务配置正常，等待5min，查看告警是否清除。若告警清除，操作结束，若告警未清除，执行8。 否，守护任务配置不正常或不存在，执行5。 登录FusionInsight Manager页面，选择“集群
文件的footer中。 Bucket索引：在写入数据过程中，通过主键进行Hash计算，将数据进行分桶写入；该索引写入速度最快，但是需要合理配置分桶数目；Flink、Spark均支持该索引写入。 状态索引：Flink引擎独有索引，是将行记录的存储位置记录到状态后端的一种索引形式，在
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
