检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问Loader页面，默认显示Loader作业管理页面。 如果集群启用了Kerberos认证，则默认显示所有当前用户创建的作业，不支持显示其他用户的作业。 如果集群未启用Kerberos认证，则显示集群中全部的作业。 在“Sqoop作业”中输入指定作业的名称或连接类型，可以筛选该作业。
VARCHAR IoTDB数据源功能增强 IoTDB可为时间序列设置任意标签字段，HetuEngine侧查询可将IoTDB的这些标签字段与其他数据源进行融合查询。 IoTDB数据库节点到时间序列中的任意节点，均可作为HetuEngine侧查询的表进行数据查询。 添加IoTDB数据源约束
如需自动扩缩容，将“高级配置”中的“是否开启动态伸缩”开关置于“是”，并参考表1配置参数，开启动态伸缩： 处于“运行中”的计算实例会即时根据设置的动态伸缩参数进行扩缩容；其他状态的计算实例仅保存配置，保存的配置将在计算实例重启时生效。 表1 动态伸缩参数说明 参数 描述 取值样例 负载采集周期 每进行一次实例负载采集间隔的时间。单位：秒。
待操作集群的名称 > 服务 > HDFS”。 在“基本信息”区域，单击“NameNode(主)”，进入HDFS WebUI页面。 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 在HDFS
基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 安装和配置IntelliJ IDEA 开发环境的基本配置，建议使用2019.1或其他兼容版本。 说明： 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK，请确保IntelliJ
rver连接到Spark SQL。 CarbonData结构 CarbonData作为Spark内部数据源运行，不需要额外启动集群节点中的其他进程，CarbonData Engine在Spark Executor进程之中运行。 图2 CarbonData结构 存储在CarbonData
户端配置、用户认证密钥文件。 快速建立数据连接：通过数据连接功能配置访问一个组件。创建“数据连接类型”为“HDFS”类型时需创建集群连接，其他数据连接类型的“认证类型”为“KERBEROS”需创建集群连接，“认证类型”为“SIMPLE”不需创建集群连接。 “数据连接类型”为“Ka
待操作集群的名称 > 服务 > HDFS”。 在“基本信息”区域，单击“NameNode(主)”，显示HDFS WebUI页面。 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 在HDFS
户端配置、用户认证密钥文件。 快速建立数据连接：通过数据连接功能配置访问一个组件。创建“数据连接类型”为“HDFS”类型时需创建集群连接，其他数据连接类型的“认证类型”为“KERBEROS”需创建集群连接，“认证类型”为“SIMPLE”不需创建集群连接。 “数据连接类型”为“Ka
当前实例中正在RUNNING的DRIVERS数量 BYTES/SEC 当前实例中每秒读取的数据量 Blocked Queries 当前实例中由于资源或其他原因被阻塞的任务数 RESERVED MEMORY (B) 当前实例中使用正在RUNNING状态的任务占用的内存 WORKER PARALLEISM
职称信息为例，其他用户类似。 alter table user_info add columns(education string,technical string); 根据用户编号查询用户姓名和地址。 以查询编号为12005000201的用户姓名和地址为例，其他用户类似。 select
Policy”，添加Yarn权限控制策略。 根据业务需求配置相关参数。 表1 Yarn权限参数 参数名称 描述 Policy Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略，可自定义，配置当前策略适用的主机节点，可填写一个或多个IP或IP段，并且IP填写支持“*”通配符，例如：192
移动：表示移动文件，在“移至”页面选择新的目录并单击“移动”完成移动。 复制：表示复制选中的文件或目录。 更改权限：表示修改选中目录或文件的访问权限。 可以为属主、属组和其他用户设置“读取”、“写”和“执行”权限。 “易贴”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “递归”表示递归设置权限到子目录。
集群详情页面。 在集群“概览”页单击“IAM用户同步”右侧的“同步”。 退服或者隔离节点。 目前仅以下版本集群支持退订包周期集群指定节点，其他版本集群请联系技术支持处理。 MRS 2.1.0（需安装 2.1.0.5或之后版本的补丁） MRS 3.1.0（需安装 3.1.0.0.2或之后版本的补丁）
会被替换为\"，例如："world"导出为"\"world\""。 运行8的命令会出现CSV注入风险提示，输入“yes”继续执行命令，输入其他，则取消数据导出操作。 例如：输入“yes”后，需根据提示输入业务用户名和对应密码，当显示以下信息，表示数据导出成功。 为避免安全风险，推荐使用交互式方式导出CSV文件。
进入Spark客户端目录，调用bin/spark-submit脚本运行代码。 由于Spark Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同，如其他依赖包路径为“$SPARK_HOME/jars”，而Spark Streaming Kafka依赖包路径为“$SPARK_HOME
Join数据倾斜问题 执行任务的时候，任务进度长时间维持在99%，这种现象叫数据倾斜。 数据倾斜是经常存在的，因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大，导致大部分Reduce都已完成任务，但少量Reduce任务还没完成的情况。 解决数据倾斜的问题，可通过设置“set hive
指定业务用户名，则输入“yes”，并根据提示输入业务用户名和对应的业务用户密码： 不指定业务用户名，则输入“no”；此时，则使用5中的用户执行后续操作： 输入其他，则退出登录： 集群未启用Kerberos认证（普通模式）使用root用户登录。 登录客户端时可以通过-maxRPC参数，控制执行结果一次
选择处于非“良好”状态的NodeManager实例并重启该实例。检查该告警是否恢复。 NodeManager重启过程中，提交到该节点的Container可能会重试到其他节点。 是，处理完毕。 否，执行11。 检查网络状态。 登录管理节点，ping丢失的NodeManager节点的IP地址，检查网络是否断连
Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.5补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
