检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
转储参数 表1 审计日志转储参数 参数 示例 参数说明 SFTP IP 模式 IPv4 目标IP的IP地址模式,可选择“IPv4”或者“IPv6”。 SFTP IP 192.168.xxx.xxx 指定审计日志转储后存放的SFTP服务器,建议使用基于SSH v2的SFTP服务,否则存在安全风险。
获取,例如“hacluster”。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端主NameNode IP地址”:填写备集群主NameNode业务平面IP地址。 “目的端备NameNode IP地址”:填写
参数值格式为:对端系统内要配置互信集群的Kerberos服务部署的节点IP地址:端口。 如果是双平面组网,需填写业务平面IP地址。 采用IPv6地址时,IP地址应写在中括号“[]”中。 部署主备Kerberos服务或者对端系统内有多个集群需要与本端建立互信时,多个KDC地址使用逗号分隔。
所有”,选择“Presto”并打开。参考图2新建连接。 图2 新建连接 参考下表配置连接参数。配置完成后单击“测试连接”,或在“模式”单击“点击连接数据库”测试数据连接,测试成功后单击“保存”。 表1 HSFabric连接参数 参数名 参数值 数据连接名称 自定义 驱动 io.prestosql
端集群NameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “目的端路径”:填写备集群保
单击“连接”后的下拉列表框,选择待编辑的连接名称。 在“连接”后单击“编辑”,进入编辑页面。 根据业务需要,修改连接配置参数。 单击“测试”。 如果显示测试成功,则执行6。 如果显示测试失败,则需要重复4。 单击“保存”。 如果某个Loader作业已集成一个Loader连接,那么编辑连接参数后可能导致Loader作业运行效果也产生变化。
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务(如2T的TPCDS测试套),任务运行成功后,在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息,相关日志如下所示:
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务(如2T的TPCDS测试套),任务运行成功后,在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息,相关日志如下所示:
端集群NameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “源端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “源端路径”:填写备集群保存备
录。 如果需要使用SSH方式登录集群节点,需要在集群的安全组规则中手动添加入方向规则:其中源地址为“客户端IPv4地址/32(或者客户端IPv6地址/128)”,端口为22,具体请参见添加安全组规则。 登录弹性云服务器(VNC方式) 登录MapReduce服务管理控制台。 选择“
(可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过演示在DWS创建测试表,并插入测试数据进行演示。 使用Data Studio创建测试表warehouse_t1,并插入测试数据。 CREATE TABLE warehouse_t1 ( W_WAREHOUSE_SK
(可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过演示在DWS创建测试表,并插入测试数据进行演示。 使用Data Studio创建测试表warehouse_t1,并插入测试数据。 CREATE TABLE warehouse_t1 ( W_WAREHOUSE_SK
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 解决步骤 检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如
创建CarbonData Table的建议 操作场景 本章节根据超过50个测试用例总结得出建议,帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
length exceeds 2147483647: 2717729270 - discarded 例如,SparkSQL运行TPCDS 500G的测试时,使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称
创建高查询性能的CarbonData表 操作场景 本章节根据超过50个测试用例总结得出建议,帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
length exceeds 2147483647: 2717729270 - discarded 例如,SparkSQL运行TPCDS 500G的测试时,使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口: 在Manager系统中,选择“集群 > 服务 >
运行Producer.java样例报错“ERROR fetching topic metadata...” 解决步骤 检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kaf
dows云服务器,并且与集群的网络是通的,直接填写节点的业务IP地址即可)。 图11 配置主机 单击“测试连接”,如图10 测试连接所示表示对接成功,单击“确定”。 图12 测试连接 以客户端安装用户登录安装HBase客户端的节点,执行以下命令创建新的命名空间MY_NS: cd 客户端安装目录
运行Producer.java样例运行获取元数据失败如何处理 解决步骤 检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。