检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通模式不涉及） 使用HDFS客户端 安装客户端，详细操作请参考使用MRS客户端。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执
rce、channel以及sink，将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和Kafka Sink，如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。
rce、channel以及sink，将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和Kafka Sink，如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。
本实践演示如何使用MRS Spark SQL访问GaussDB(DWS)数据。 方案架构 Spark的应用运行架构如图1所示，运行流程如下所示： 应用程序（Application）是作为一个进程的集合运行在集群上的，由Driver进行协调。 在运行一个应用时，Driver会去连接集群管理器（Stan
Loader、ClickHouse、HetuEngine、Oozie、CDL和IoTDB服务 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控，正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。
read_write_kafka() 表1 使用Python提交普通作业参数说明 参数 说明 示例 bootstrap.servers Kafka的Broker实例业务IP和端口。 192.168.12.25:21005 specific_jars “客户端安装目录/Flink/flink/lib/flink-connector-kafka-*
（审计日志） Container：“/srv/BigData/hadoop/data1/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中，运行结束后会基于YARN的配置是否汇聚到
stderr/stdin/syslog Yarn服务上运行的应用所对应的container日志。 yarn-application-check.log Yarn服务上运行的应用检查日志。 yarn-appsummary.log Yarn服务上运行的应用的运行结果日志。 yarn-switch-resourcemanager
Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB服务 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控，正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。
read_write_kafka() 表1 使用Python提交普通作业参数说明 参数 说明 示例 bootstrap.servers Kafka的Broker实例业务IP和端口。 192.168.12.25:21005 specific_jars “客户端安装目录/Flink/flink/lib/flink-connector-kafka-*
使用Ranger安全区管理员用户登录Ranger管理页面。 在Ranger首页右上角的“Security Zone”选项的下拉列表中选择对应的安全区，即可切换至该安全区内的权限视图。 单击组件名称下的权限插件名称，即可进入组件安全访问策略列表页面。 各组件的策略列表中，系统默认生成的条目会自动继
RPC_PORT”的值，默认为“22260”。 （可选）根据需求可添加自定义配置。 单击“确定”。 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户
x/install/FusionInsight-Oozie-x.x.x/oozie-x.x.x/embedded-oozie-server/webapp/WEB-INF/lib”路径拷贝“curator-x-discovery-x.x.x.jar”包到“$BIGDATA_HOME/FusionInsight_Porter_x
apache.org/dist/spark/docs/3.1.1/job-scheduling.html#scheduling-within-an-application。 在JDBC客户端中设置公平调度。 在BeeLine命令行客户端或者JDBC自定义代码中，执行如下语句，其中PoolName是公平调度的某一个调度池。
Master.java:848) at org.apache.hadoop.hbase.master.HMaster.access$600(HMaster.java:199) at org.apache.hadoop.hbase.master.HMaster$2
保存配置需要等待一段时间，界面右上角弹出提示“租户创建成功。”，租户成功添加。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制，不支持通过“角色管理”进行手动管理。 使用此租户时，请创建一个系统用户，并分配
Nullable。 ngrambf_v1索引 记录的是数据短语的布隆表过滤器，只支持String和FixedString数据类型。只能够提升in、notIn、like、equals和notEquals查询的性能，其完整形式为： ngrambf_v1(n, size_of_bloom_filter_in_bytes
'ORC', location='/user',external=true); --如果表orders不存在，则创建表orders，并且增加表注释和列注释： CREATE TABLE IF NOT EXISTS new_orders ( orderkey bigint, orderstatus
server”关键字日志，即表示客户端成功开启Multicast功能。 以验证hbase shell客户端执行的读写任务是否成功开启Multicast功能为例： 执行以下命令切换到客户端安装目录，配置环境变量并认证用户： cd HBase客户端安装目录 source bigdata_env kinit 组件业务用户
升级，应用程序仍然可以运行旧版本的Hadoop。 配置描述 进入HDFS客户端。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
