检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark-archive-2x-x86.zip x86/* zip -qDj spark-archive-2x-arm.zip arm/* 执行以下命令查看hdfs上的spark2x依赖的jar包： hdfs dfs -ls /user/spark2x/jars/8.1.0.1 8.1.0.1是版本号，不同版本不同。
在FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写包丢包率”，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“运维 >
50000000：限制网络带宽为50MB。带宽可根据数据量大小及客户对均衡时间的要求进行调整，5TB数据量，使用50MB带宽，均衡时长约8小时。 执行以下命令查看迁移状态。 ./kafka-reassign-partitions.sh --zookeeper 172.16.0.119:2181/kafka
Spark Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
Spark Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
spark-archive-2x-x86.zip x86/* zip -qDj spark-archive-2x-arm.zip arm/* 执行以下命令查看hdfs上的spark2x依赖的jar包： hdfs dfs -ls /user/spark2x/jars/8.1.0.1 8.1.0.1是版本号，不同版本不同。
待连接的IoTDBServer所在的节点IP地址，可通过登录FusionInsight Manage界面，选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight Manager，选择“集群 > 服务 > IoTDB > 配置 > 全部配置”，搜索参
“保存”，单击“确定”。 出现此告警时，说明当前Doris实例设置的堆内存无法满足当前数据传输所需的堆内存，建议打开实例监控界面，在页面上查看“Doris堆内存资源状况”监控图表，观察该监控图表中“Doris使用的堆内存大小”的变化趋势，根据当前堆内存使用的大小，调整“-Xmx”
在FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包错误率”，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“运维 >
如果作业尚未结束，可单击“Tracking URL”链接进入到Flink的原生页面，查看作业的运行信息。 如果作业已运行结束，对于在session中提交的作业，可以单击“Tracking URL”链接登录Flink原生页面查看作业信息。 图5 application 父主题： 使用Flink
登录华为云管理控制台，在“控制台”页面，鼠标移动至右上方的用户名，在下拉列表中选择“我的凭证”。 单击“访问密钥”页签，您可以在访问密钥列表中查看访问密钥ID（AK），在下载的.csv文件中查看秘密访问密钥（SK）. 若没有可用的访问密钥，需单击“新增访问密钥”，输入验证码或密码。单击“确定”，生成并下载访问密钥。
定Location）默认也指向当前HDFS。如需修改默认建表策略可以修改数据库的Location重新指向OBS。 操作如下： 执行以下命令查看数据库Location。 show create database obs_test; 执行以下命令修改数据库Location。 alter
Zone”。单击“Save”保存。如需添加多条策略有效期，可单击按钮添加。如需删除策略有效期，可单击按钮删除。 单击“Add”，在策略列表可查看策略的基本信息。等待策略生效后，验证相关权限是否正常。 如需禁用某条策略，可单击按钮编辑策略，设置策略开关为“Disabled”。 如果不再使用策略，可单击按钮删除策略。
在Yarn原生页面显示ApplicationMaster启动两次均失败，任务退出，如图1信息： 图1 ApplicationMaster启动失败 查看ApplicationMaster日志看到如下异常信息： Exception in thread "main" java.lang.Exc
右键单击“PrestoJDBCExample.java”。 单击“Run as > Java Application”运行对应的应用程序工程。 查看结果。运行成功结果会有如下信息： NY Metro : 2 Mid Atlantic : 6 Mid Atlantic : 6 North
x及后续版本，登录FusionInsight Manager，然后选择“集群 > 待操作的集群名称 > 服务 > Kafka”。 单击“实例”，查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，登录安装客户端的节点。
id=hoodie-delta-streamer offset.rang.limit=10000 指定HoodieDeltaStreamer执行参数（具体参数配置，请查看官网https://hudi.apache.org/ ）执行如下命令： spark-submit --master yarn --jars
Scala样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com
操作步骤 MRS 3.x之前的版本集群执行以下操作： 检查环境。 登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。选择“组件管理”，查看Yarn的“健康状态”是否为“良好”。 是，执行1.c。 否，Yarn状态不健康，执行1.b。 请先修复Yarn异常，任务结束。 确定修改NodeManager的存储目录场景。
bigdata.mrs.test 确认作业配置信息，单击“确定”，完成作业的新增。 作业提交成功中，可在作业列表中查看作业运行状态及执行结果，等待作业状态变为“已完成”，可查看相关程序分析结果。 通过集群客户端提交作业 安装MRS集群客户端，具体操作可参考安装MRS集群客户端。 MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
