检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击作业。 默认显示当前集群的所有作业。 作业浏览器显示的数字表示集群中所有作业的总数。
sql.uselocalFileCollect开启的情况下生效。直接序列化的方式,还是间接序列化的方式保存结果数据到磁盘。 优点:针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点:和spark.sql.uselocalFileCollect开启时候的缺点一样。
Yarn服务不可用的处理步骤处理该故障。 在告警列表中,查看“Loader服务不可用”告警是否清除。 是,处理完毕。 否,执行19。 检查Loader和依赖组件之间的网络连接。 在FusionInsight Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Loader”。 单击“实例”,显示LoaderServer实例列表。
使用IE浏览器配置Loader作业时无法保存数据 问题 通过IE 10&IE 11浏览器访问Loader界面,提交数据后,会报错。 回答 现象 保存提交数据,出现类似报错:Invalid query parameter jobgroup id. cause: [jobgroup]。
开发Kudu应用 建立Kudu连接 创建Kudu表 打开Kudu表 修改Kudu表 写Kudu数据 读Kudu数据 删除Kudu表 父主题: 开发Kudu应用
为:“/srv/BigData/data2”,则执行以下命令: mount /dev/vdb2 /srv/BigData/data2 弹性云服务器重启后,挂载会失效。您可以修改“/etc/fstab”文件,将新建磁盘分区设置为开机自动挂载,具体请参见设置开机自动挂载磁盘分区。 参
MRS是否支持变更MRS集群节点? MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MRS集群节点进行了上述
new SparkContext(master, appName, [SparkHome], [jars]) 参数介绍: master:连接字符串,连接方式有local、yarn-cluster、yarn-client等。 appName:构建的Application名称。 Spar
test_1 (id int, name text, value text); 配置“Hive输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
test_1 (id int, name text, value text); 配置“Spark输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
数据湖:其他IT系统上的数据,时序数据库可以通过跨源分析能力与数据湖中的全量数据进行关联,与IT数据进行进一步的复杂分析。 HetuEngine:跨源分析引擎,可以连接多个大数据组件进行数据查询,并可以将多个大数据组件中的数据在HetuEngine中进行统一分析。 IoTDB时序数据库:时序数据分析的核心
sql.uselocalFileCollect开启的情况下生效。直接序列化的方式,还是间接序列化的方式保存结果数据到磁盘。 优点:针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点:和spark.sql.uselocalFileCollect开启时候的缺点一样。
test_1 (id int, name text, value text); 配置“HBase输入”算子,生成三个字段A、B和C: 设置了数据连接器后,可以单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
准备Flink应用开发环境 准备本地应用开发环境 准备连接集群配置文件 导入并配置Flink样例工程 准备Flink安全认证 父主题: Flink开发指南(安全模式)
项fs.defaultFS不能配置为viewfs://ClusterX。 设置系统的环境变量说明 Hadoop在安全认证的时候,需要获取客户端所在主机的域名(Default Realm,从环境变量USERDNSDOMAIN中获取)。如果该主机没有域名,则运行样例程序会有如下报错:
输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND 条件 配置过滤条件相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND 条件 配置过滤条件相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
准备IoTDB应用开发环境 准备本地应用开发环境 准备连接IoTDB集群配置文件 导入并配置IoTDB样例工程 父主题: IoTDB开发指南(普通模式)
JOIN table_2 ON table_1.Id = table_2.Id running_0001 Select类型的SQL语句向客户端返回的结果行数超限制。 Hive Spark HetuEngine ClickHouse 查询返回结果的行数阈值。 建议配置值:100000
准备Kafka应用开发环境 准备本地应用开发环境 准备连接Kafka集群配置文件 导入并配置Kafka样例工程 配置Kafka应用安全认证 父主题: Kafka开发指南(安全模式)