百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

大数据ClickHouse(二):多种安装方式

nanshan 2025-02-09 13:33 5 浏览 0 评论

#头条创作挑战赛#

多种安装方式


Clickhouse官网为:https://clickhouse.tech/


在官网中可以看到ClickHouse可以基于多种方式安装,rpm安装、tgz安装包安装、docker镜像安装、源码编译安装等。这里我们使用rpm安装包安装。目前Clickhouse仅支持Linux系统且cpu必须支持SSE4.2指令集,可以通过以下命令查询Linux是否支持:


grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"



如果服务器不支持SSE4.2指令集,则不能下载预编译安装包,需要通过源码编译特定版本进行安装。


一、rpm安装包下载


ClickHouse rpm安装包查询地址为
:https://packagecloud.io/Altinity/clickhouse

这里需要在linux中使用wget命令下载对应的clickHouse版本。选择一台服务器创建/software目录并进入此目录,在当前目录下执行如下命令下载ClickHouse需要的rpm安装包,这里只需要下载以下四个rpm安装包即可。


wget --content-disposition https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-common-static-20.8.3.18-1.el7.x86_64.rpm/download.rpm
wget --content-disposition https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-common-20.8.3.18-1.el7.x86_64.rpm/download.rpm
wget --content-disposition https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-20.8.3.18-1.el7.x86_64.rpm/download.rpm
wget --content-disposition https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-client-20.8.3.18-1.el7.x86_64.rpm/download.rpm



二、??????单节点安装


选择一台服务器,将下载好的clickHouse安装包直接安装即可,安装顺序如下:


rpm -ivh clickhouse-common-static-20.8.3.18-1.el7.x86_64.rpm
rpm -ivh clickhouse-server-common-20.8.3.18-1.el7.x86_64.rpm
rpm -ivh clickhouse-server-20.8.3.18-1.el7.x86_64.rpm
rpm -ivh clickhouse-client-20.8.3.18-1.el7.x86_64.rpm



这里也可以在当前节点直接执行如下命令,也可以按照依赖关系安装各个rpm包:


rpm -ivh ./clickhouse-*.rpm



Preparing... ################################# [100%]

Updating / installing...

1:clickhouse-server-common-20.8.3.1################################# [ 25%]

2:clickhouse-common-static-20.8.3.1################################# [ 50%]

3:clickhouse-server-20.8.3.18-1.el7################################# [ 75%]

Create user clickhouse.clickhouse with datadir /var/lib/clickhouse

4:clickhouse-client-20.8.3.18-1.el7################################# [100%]

Create user clickhouse.clickhouse with datadir /var/lib/clickhouse


1、目录介绍


安装完成之后会生成如下对应的目录,每个目录的介绍如下:


  • /etc/clickhouse-server : 服务端的配置文件目录,包括全局配置config.xml 和用户配置users.xml。
  • /var/lib/clickhouse : 默认的数据存储目录,通常会修改,将数据保存到大容量磁盘路径中。
  • /var/log/cilckhouse-server : 默认保存日志的目录,通常会修改,将数据保存到大容量磁盘路径中。
  • 在/usr/bin下会有可执行文件:


clickhouse:主程序可执行文件


clickhouse-server:一个指向clickhouse可执行文件的软连接,供服务端启动使用。


clickhouse-client:一个指向clickhouse可执行文件的软连接,供客户端启动使用。


2、启动&停止服务


启动clickhouse-server服务:


service clickhouse-server start



启动clickhouse服务后可以使用命令行客户端连接到服务:


# client客户端连接到ch服务
clickhouse-client 
# 或者使用命令:
clickhouse-client --host localhost --port 9000



ClickHouse client version 20.8.3.18.
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.8.3 revision 54438.

node1 :)


#查看9000 端口占用情况
[root@node5 bin]# yum install net-tools
[root@node5 bin]# netstat -tunlp |grep 9000

#查看当前所有数据库
show databases;



┌─name───────────────────────────┐

│ _temporary_and_external_tables │

│ default                        │

│ system                         │

└────────────────────────────────┘



???????????


#查看当前使用的数据库
select database();



┌─database()─┐
│ default    │
└────────────┘



#退出客户端
quit;



关闭ClickHouse服务:


service clickhouse-server stop



三、分布式安装


1、clickhouse分布式安装


Clickhouse支持分布式搭建,搭建步骤如下:


1.1、选择三台clickhouse节点,在每台节点上安装clickhouse需要的安装包


这里选择node1、node2,node3三台节点,分别按照clickhouse单节点安装方式在每台节点上安装clickhouse。


1.2、安装zookeeper集群并启动


搭建Clickhouse集群时,需要使用Zookeeper去实现集群副本之间的同步,所以这里需要zookeeper集群,zookeeper集群安装后可忽略此步骤。


1.3、配置外网可访问


在每台clickhouse节点中配置
/etc/clickhouse-server/config.xml文件第114行,如下:


::



1.4、在每台节点/etc/目录下创建metrika.xml文件,写入以下内容


在node1、node2、node3节点上/etc/下配置metrika.xml文件:


vim /etc/metrika.xml




    
        
            
                true
                
                    node1
                    9000
                
            
            
                
                    true
                    node2
                    9000
                
            
            
                true
                
                    node3
                    9000
                
            
        
    
     
    
        
            node3
            2181
        
        
            node4
            2181
        
        
            node5
            2181
        
    
    
        01
    
    
        ::/0
    
    
        
            10000000000
            0.01
            lz4
        
    



对以上配置文件中配置项的解释如下:


  • clickhouse_remote_servers:


clickhouse集群配置标签,固定写法。


  • clickhouse_cluster_3shards_1replicas:


配置clickhouse的集群名称,可自由定义名称,注意集群名称中不能包含点号。这里代表集群中有3个分片,每个分片有1个副本。


分片是指包含部分数据的服务器,要读取所有的数据,必须访问所有的分片。


副本是指存储分片备份数据的服务器,要读取所有的数据,访问任意副本上的数据即可。


  • shard:


分片,一个clickhouse集群可以分多个分片,每个分片可以存储数据,这里分片可以理解为clickhouse机器中的每个节点。这里可以配置一个或者任意多个分片,在每个分片中可以配置一个或任意多个副本,不同分片可配置不同数量的副本。如果只是配置一个分片,这种情况下查询操作应该称为远程查询,而不是分布式查询。


  • replica:


每个分片的副本,默认每个分片配置了一个副本。也可以配置多个。如果配置了副本,读取操作可以从每个分片里选择一个可用的副本。如果副本不可用,会依次选择下个副本进行连接。该机制利于系统的可用性。


  • internal_replication:


默认为false,写数据操作会将数据写入所有的副本,设置为true,写操作只会选择一个正常的副本写入数据,数据的同步在后台自动进行。


  • zookeeper-servers:


配置的zookeeper集群


  • macros:


区分每台clickhouse节点的宏配置,每台clickhouse需要配置不同名称。


  • networks:


这里配置ip为“::/0”代表任意IP可以访问,包含IPv4和IPv6。


注意:允许外网访问还需配置
/etc/clickhouse-server/config.xml 参照第三步骤。


  • clickhouse_compression:


MergeTree引擎表的数据压缩设置,min_part_size:代表数据部分最小大小。min_part_size_ratio:数据部分大小与表大小的比率。method:数据压缩格式。


注意:需要在每台clickhouse节点上配置metrika.xml文件,并且修改每个节点的 macros配置名称。


1.5、在每台节点上启动clickhouse服务


首先启动zookeeper集群,然后分别在node1、node2、node3节点上启动clickhouse服务,这里每台节点和单节点启动一样。启动之后,clickhouse集群配置完成。


service clickhouse-server start



1.6、检查集群配置是否完成


在node1、node2、node3任意一台节点进入clickhouse客户端,查询集群配置:


#选择三台clickhouse任意一台节点,进入客户端
clickhouse-client 
#查询集群信息,看到下图所示即代表集群配置成功。
node1 :) select * from system.clusters;





四、??????????????rpm其他方式安装问题


以上介绍clickhouse安装方式是下载好rpm包之后进行安装,我们也可以自己配置clickhouse的yum源,直接使用yum命令进行安装,不过这个过程是从外网直接下载clickhouse安装包之后自动进行安装。配置如下:


1、??????????????添加官方存储库


选择需要安装clickhouse的节点执行如下命令,添加clickhouse的官方yum源:


[root@node1 ~]# yum -y install yum-utils
[root@node1 ~]# rpm --import https://repo.yandex.ru/clickhouse/CLICKHOUSE-KEY.GPG
[root@node1 ~]# yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_64



Loaded plugins: fastestmirror

adding repo from: https://repo.yandex.ru/clickhouse/rpm/stable/x86_64

[repo.yandex.ru_clickhouse_rpm_stable_x86_64]

name=added from: https://repo.yandex.ru/clickhouse/rpm/stable/x86_64

baseurl=https://repo.yandex.ru/clickhouse/rpm/stable/x86_64

enabled=1


2、??????????????安装clickhouse server和client


yum -y install clickhouse-server clickhouse-client



经过以上两个步骤即可完成安装,这里安装单机和安装集群都可以使用以上这种模式。


注意:在Centos7 中采用配置yum 源方式安装ClickHouse启动时使用命令:systemctl start clickhouse-server

相关推荐

三种自建KMS激活系统自动激活windows方法

第一种:在windows服务器上搭建主要针对vol版本(win7、win10、win20xx、win2012等等)平台:我自己搭建的windows虚拟机,windows2016的操作系统软件:...

重装系统被收98元?避开Windows付费陷阱的实用指南

重装系统被收98元?避开Windows付费陷阱的实用指南有网友反映,在重装Windows系统后,屏幕突然弹出“激活系统需支付98元服务费”的提示,疑惑自己是不是遭遇了付费陷阱。事实上,微软官方的Wi...

Windows Server2012远程桌面服务配置和授权激活

安装:注意:安装完毕之后需手动重启一下计算机配置终端服务管理工具---远程桌面服务---RD授权诊断程序,查看当前服务器有没有授权授权:运行—>gpedit.msc->计算机配置---管理...

新书速览|Windows Server 2022 系统与网站配置实战

讲述桌面体验、ServerCore/NanoServer,容器与云系统的配置1本书内容《WindowsServer2022系统与网站配置实战》秉持作者一贯理论兼具实践的写作风格,以新版的Wi...

Windows激活全攻略:KMS神钥与专业工具的完美结合!

对于许多Windows用户来说,系统的激活是一个必经的过程。虽然Windows操作系统在未经激活的状态下也可以使用一段时间,但长期来看,未激活的系统会限制某些功能并频繁提示用户激活。以下是两种流行的激...

微软Win9全新激活技术曝光(微软系统激活有什么用)

2014-07-0905:46:00作者:徐日俄罗斯Wzor日前披露了更多关于Windows9的最新消息,据悉,Windows9将会在今年秋季亮相,其宣传口号是“想要开始按钮和开始菜单?如你所...

快速激活Windows 10/11:CMD命令详细教程

#记录我的2024#激活Windows操作系统是确保系统功能和安全更新正常运行的重要步骤。本文将为您分享如何使用命令提示符(CMD)在Windows10和Windows11上进行激活的详细步骤。...

Wndows 2019 RDS应用发布部署(rds的安装和应用程序的发布)

安装前的准备1、需要提供服务器作为应用中心,应用中心的推荐配置如下表所示。规格建议1-10人11-20人21-50人51-100人100+人CPU4核8核16核内存8GB16GB32GB64GB系统盘...

解决 Windows 系统激活难题(如何解决windows激活问题)

今天,一位朋友给我说,他手头有三台电脑,均同时弹出系统未激活的提示。他对此毫无头绪,便急忙将电脑上出现的激活提示信息一股脑发给了我。我看到其中一台显示的是“Windows10企业版LTSC尚...

自建KMS激活服务器(自建kms激活服务器的风险)

自建KMS激活服务器Win10和office安装后,都需要激活才可以使用,一般可以输入购买的MAK激活码进行在线激活,也可以通过KMS激活,网上也有很多激活工具,但这些工具一般都含有病毒或木马程序,容...

30秒免费激活windows和office亲测有效!

“第三方工具有病毒?”“KMS服务器激活总失效?”今天给大家分享一个开源激活工具——MicrosoftActivationScripts(MAS),无需密钥、不装软件,30秒永久激活Window...

「操作系统」Windows 10 LTSC 2019 企业版C大集成更新版

Windows10LTSC企业版CHIANNET集成更新优化整合多镜像版,CHIANNET,是USBOS超级PE维护盘工具箱作者,长久以来一直默默的更新着,USBOSPE软件,电脑城装机及...

一文看懂Windows激活:自查方法+授权类型科普(Win7/Win10通用)

一、如何判断Windows是否永久激活?无论是Win7还是Win10,均可通过以下方法快速验证:命令提示符法(通用):按下Win+R,输入slmgr.vbs/xpr并按回车键运行即可查看是否...

部分Windows Server 2019/2022用户反馈无法运行微软Teams应用

IT之家7月2日消息,科技媒体borncity今天(7月2日)发布博文,报道称在多个WindowsServer版本上,MicrosoftTeams应用近期出现了运行故障。用...

这种Windows激活方式已有20年...(windows现在激活)

2006年微软正式发布WindowsVista,随之而来引入了一项新的激活机制「OEM激活」,这项机制在Vista和Win7上最为流行。其实WindowsServer自2008开始至2025版本一...

取消回复欢迎 发表评论: