检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群Flume配置工具界面上所展示Customer Source、Customer Channel及Customer Sink需要用户根据自己开发的代码来进行配置，下述常用配置不再展示。 常用Source配置 Avro Source Avro Source监测Avro端口，接收外部A
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
WebUI”右侧，单击链接，访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业，在“操作”列单击“开发”进入作业开发界面。 在作业开发界面的“自定义参数”项中，根据实际需求添加如下参数并保存，热数据（常用及使用中数据）可参考表1，冷数据（不常用、较长时间未使用的数据）可参考表2。
请求处理。也可作为Leader的储备，当Leader故障时从Follower当中选举出Leader，避免出现单点故障。 观察者 观察者（Observer）不参与选举和写请求的投票，只负责处理读请求、并向Leader转发写请求，避免系统处理能力浪费。 离散流 Spark Strea
访问Hue WebUI，请参考访问Hue WebUI界面。 在界面左侧导航栏选择“ > Workflow”，打开Workflow编辑器。 单击“文档”， 在操作列表中选择Hive脚本，将其拖到操作界面中。 在弹出的“HiveServer2 Script”框中, 选择之前保存的Hive脚本，关于保存Hive脚本参考在Hue
HDFS客户端使用NameNode黑名单特性。配置成org.apache.hadoop.hdfs.server.namenode.ha.ObserverReadProxyProvider，可使用从NameNode支持读的特性。 org.apache.hadoop.hdfs.server
HDFS客户端使用NameNode黑名单特性。配置成org.apache.hadoop.hdfs.server.namenode.ha.ObserverReadProxyProvider，可使用从NameNode支持读的特性。 org.apache.hadoop.hdfs.server
flinktest1 作业类型 作业数据来源类型，包括流作业和批作业。 流作业 描述 作业描述，不能超过100个字符。 - 在作业开发界面进行作业开发，输入如下语句，可以单击上方“语义校验”对输入内容校验。 CREATE TABLE test_kafka ( user_id varchar
流程，启动流程，运行流程，终止流程，恢复流程等操作。 SDK 软件开发工具包SDK（SoftwareDevelopmentKit）是被软件工程师用于为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合。 Database pg数据库。 WebApp（Oozie）
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
操作，包括参数配置修改、重启、容量规划、组件性能优化以及集群上任何运维操作等。 不负责基于MRS集群之上的客户业务应用开发问题答疑和处理，例如业务设计、代码开发、作业性能调优和业务迁移等。 在MRS集群组件服务无明显异常或明确产品质量缺陷的情况下，不负责单个大数据作业运行异常问题的排查分析。
作业运行过程不依赖FlinkResource。 FlinkServer：基于Web的作业管理二次开发平台，可直接在界面开发与管理FlinkSQL作业。具有运维管理界面化、作业开发SQL标准化等特点。 Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分：
ewRatio”。如“ -XX:NewRatio=2”，则表示老年代与新生代的比值为2:1，新生代占整个堆空间的1/3，老年代占2/3。 开发Flink应用程序时，优化DataStream的数据分区或分组操作。 当分区导致数据倾斜时，需要考虑优化分区。 避免非并行度操作，有些对D
单击“查看日志”。 弹出一个新页面，显示作业执行的实时日志信息。 每个租户并发提交作业和查看日志的个数均为10。 当选择保留作业日志到OBS或HDFS时，系统在作业执行结束后，将日志压缩并存储到对应路径。因此，此类作业运行结束后，作业状态仍然为“运行中”，需等日志存储成功后，状
用于同步用户及用户组的内部用户。 rangertagsync 系统随机生成 用于同步标签的内部用户。 rangerobs/hadoop.<系统域名> 系统随机生成 Guardian访问ranger系统管理员用户。 jobserver 系统随机生成 JobGateway的系统管理员，用户权限： HDFS文件操作权限：
onInsight Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本），选择“集群 > 服务 > Flink”。 对于开启了Kerberos认证的MRS集群，访问Flink WebUI，需提前创建具有FlinkServer管理员权
UDF”。 一个普通UDF必须至少实现一个evaluate()方法，evaluate函数支持重载。 开发自定义函数需要在工程中添加“hive-exec-*.jar”依赖包，可从Hive服务的安装目录下获取，例如在“${BIGDATA_HOME}/components/FusionIn
Manager（首次登录需要修改密码），选择“集群 > 服务 > Hue”，单击“Hue WebUI”右侧的链接，进入Hue WebUI界面。 在界面左侧导航栏单击 ，选择“Workflow”，打开Workflow编辑器。 单击“文档”后的下拉框选择“操作”， 在操作列表中选择需要创建的作业类型，将其拖到操作界面中即可。
Manager（首次登录需要修改密码），选择“集群 > 服务 > Hue”，单击“Hue WebUI”右侧的链接，进入Hue WebUI界面。 在界面左侧导航栏单击 ，选择“Workflow”，打开Workflow编辑器。 单击“文档”后的下拉框选择“操作”， 在操作列表中选择需要创建的作业类型，将其拖到操作界面中即可。
ProportionalCapacityPreemptionPolicy yarn.resourcemanager.monitor.capacity.preemption.observe_only 设置为“true”，则执行策略，但是不对集群资源进程抢占操作。 设置为“false”，则执行策略，且根据策略启用集群资源抢占的功能。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
