检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行以下命令，切换到客户端安装目录，如：/opt/client。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 若集群为安全模式，执行以下命令认证用户。 kinit MRS用户名 通过HDFS接口创建<groupid> hdfs colocationadmin -createGroup
查看Spark应用程序运行情况。 Spark主要有两个Web页面。 Spark UI页面，用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Environment、Executors和SQL等部分。Streaming应用会多一个Streaming标签页。
source /opt/client/bigdata_env 判断集群认证模式。 安全模式，执行kinit命令进行用户认证。 例如，使用oozieuser用户进行认证。 kinit oozieuser 普通模式，执行4。 执行以下命令，进入样例目录。 cd /opt/client/
1版本集群，如需了解更多参数配置请参考快速创建MRS集群）。 表1 MRS集群配置参数 参数 示例 参数说明 计费模式 按需计费 选择待创建的集群的计费模式，MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式，即先使用再付费，按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。
硬盘、未绑定的EIP等。 计费模式优化 不同类型的业务对资源使用周期有不同的要求，为每一类业务确定合适的计费模式，灵活组合以达到最优效果。 针对长期稳定的成熟业务，使用包年/包月计费模式。 针对不能中断的短期、突增或不可预测的业务，使用按需计费模式。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
source /opt/client/bigdata_env 判断集群认证模式。 安全模式，执行kinit命令进行用户认证。 例如，使用oozieuser用户进行认证。 kinit oozieuser 普通模式，执行4。 执行以下命令，进入样例目录。 cd /opt/client/
用的内存更大，但会导致集群并发能力变小，可根据实际业务情况动态调整。 添加完成后将“立即启动”置为“是”，单击“确定”。 启用TASK容错模式后，会产生中间数据并缓存到文件系统中，过大的查询并发会对文件系统产生较大的磁盘压力。当前HetuEngine默认支持将中间数据缓冲至HDF
出的路径。 通过以上过滤规则，拼凑到的字符串“*20160221.txt”，会作为文件过滤器的模糊匹配模式，在作业配置的输入路径下，所有符合“*20160221.txt”这个模式的文件都将被作业处理。 父主题： 客户端工具说明
出的路径。 通过以上过滤规则，拼凑到的字符串“*20160221.txt”，会作为文件过滤器的模糊匹配模式，在作业配置的输入路径下，所有符合“*20160221.txt”这个模式的文件都将被作业处理。 父主题： 客户端工具说明
'scan.records-per-second.limit' = '1000' #真实的限流流量如下 min( parallelism * scan.records-per-second.limit，partitions num * scan.records-per-second
<arg>：为Yarn application自定义类型。 -D <property=value>：动态参数配置。 -d,--detached：关闭交互模式，启动一个分离的Flink YARN session。 -h,--help: 显示Yarn session CLI的帮助。 -id,--applicationId
行以下命令： cd 客户端安装目录 source bigdata_env kinit 组件业务用户（若集群未启用Kerberos认证（普通模式），请跳过该操作） 执行以下命令查看损坏的WAL文件，并执行4。 hdfs dfs -ls hdfs://hacluster/hbase/corrupt/*%2C*
COM" useTicketCache=false storeKey=true debug=true; }; 在Spark on YARN模式下，jaas.conf和user.keytab通过YARN分发到Spark on YARN的container目录下，因此KafkaCli
tableinfo和.regioninfo文件。 hbase:acl表在HDFS上的目录、.tableinfo和.regioninfo文件(该表在普通模式集群默认不存在)。 告警属性 告警ID 告警级别 是否自动清除 19012 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理？ 出于安全考虑，MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级，导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS
集群已启用Kerberos认证（安全模式）： kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证（普通模式）： clickhouse client
配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted
所有表的附加属性都会放到TBLPROPERTIES中来定义。 参数描述 表1 CREATE TABLE参数描述 参数 描述 db_name Database名称，由字母、数字和下划线（_）组成。 col_name data_type 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线（_）组成。
所有表的附加属性都会放到TBLPROPERTIES中来定义。 参数描述 表1 CREATE TABLE参数描述 参数 描述 db_name Database名称，由字母、数字和下划线（_）组成。 col_name data_type 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线（_）组成。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
