apache tomcat 6集群负载和session复制

    无意间看到tomcat 6集群的内容，就尝试配置了一下，还是遇到很多问题，特此记录。apache服务器和tomcat的连接方法其实有三种:JK、http_proxy和ajp_proxy。本文主要介绍最为常见的JK。

环境：PC2台：pc1(IP 192.168.88.118)安装了apache和tomcat

                     pc2(IP 192.168.88.168)安装了tomcat

         系统 win xp sp3

  1.安装tomcat、apache服务器及版本对应的JK

  这里需要注意的是JK版本必须与apache服务器版本号对应，可以直接从我参考附件下载。apache_home表示apache服务器安装目录.

  2.配置apache服务器

  2.1 httpd.conf文件

 apache_home目录下的conf/httpd.conf文件中添加

LoadModule jk_module modules/mod_jk-1.2.26-httpd-2.2.4.so
JkWorkersFile conf/workers.properties
JkMount /* lbcontroller 

 具体的说明如下：

LoadModule jk_module modules/mod_jk-1.2.26-httpd-2.2.4.so

 表示载入JK模块。

JkWorkersFile conf/workers.properties

tomcat实例配置，具体参见2.2。

JkMount /* lbcontroller 

  设置apache分发器，/*表示apache将所有文件都由分发器lbcontroller 进行分发，你可以自行设置*.jsp,*.do等 

  2.2 workers.properties文件

在apache_home下conf目录中新建workers.properties文件，输入以下内容

worker.list=lbcontroller

#Tomcat1实例配置
worker.tomcat1.host=192.168.88.118
worker.tomcat1.port=8009
worker.tomcat1.type=ajp13
#分发权重 值越大负载越大
worker.tomcat1.lbfactor = 1

#Tomcat2实例配置
worker.tomcat2.host=192.168.88.168
worker.tomcat2.port=9009
worker.tomcat2.type=ajp13
#分发权重 值越大负载越大
worker.tomcat2.lbfactor = 1

#负载均衡分发控制器
worker.lbcontroller.type=lb
worker.lbcontroller.balance_workers=tomcat1,tomcat2
worker.lbcontroller.sticky_session=True

 在这里

worker.list=lbcontroller

 内容即为httpd.conf文件中的分发器名称。需要注意的内容是，tomcat实例名称

worker.tomcat1.host=....
...
worker.tomcat2.host=....
...

 在这里就是tomcat1和tomcat2必须与之后tomcat中的server.xml中jvmRoute值一致。

3.tomcat集群配置

配置每个tomcat目录下的server.xml文件，具体修改内容如下

3.1 Engine配置

修改前

<Engine name="Catalina" defaultHost="localhost">

修改后

 <Engine name="Catalina" defaultHost="localhost"  jvmRoute="tomcat1" >

 具体tomcat中jvmRoute的值根据在workers.properties的配置，注意IP地址、tomcat实例名称和jvmRoute值必须一一对应。

3.2 Connector配置

修改前

    <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

修改后

    <Connector port="9009" protocol="AJP/1.3" redirectPort="8443" />

 这里tomcat的port值必须与在workers.properties中的port值一致。

3.3 Cluster配置

修改前

<!--
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" >
-->

 修改后，去掉注释并添加一些内容如下

   <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"  channelSendOptions="8">   
         
          <Manager className="org.apache.catalina.ha.session.DeltaManager"  
                   expireSessionsOnShutdown="false"  
                   notifyListenersOnReplication="true"/>   
  
          <Channel className="org.apache.catalina.tribes.group.GroupChannel">   
            <Membership className="org.apache.catalina.tribes.membership.McastService"  
            	         address="228.0.0.4"  
                        port="45564"  
                        frequency="500"  
                        dropTime="3000"/>   
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"  
            	        address="auto"
                      port="4001"  
                      autoBind="100"  
                      selectorTimeout="5000"  
                      maxThreads="6"/>   
            <!-- timeout="60000"-->   
            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">   
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender" />   
            </Sender>   
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>   
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>   
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>   
          </Channel>   
  
          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"  
                 filter=""/>   
          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>   
  
          <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>   
          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>   
        </Cluster>

 上述配置跟tomcat官方建议的配置，去掉了

 <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
                    tempDir="/tmp/war-temp/"
                    deployDir="/tmp/war-deploy/"
                    watchDir="/tmp/war-listen/"
                    watchEnabled="false"/>

 如果不去掉这部分，则tomcat启动会报"FarmWarDeployer can only work as host cluster subelement!."

3.4 session复制配置

tomcat集群中的session管理，主要有两种方式：

1).粘性session

表示从同一窗口发来的请求都将有集群中的同一个tomcat进行处理。配置方式是在上面workers.properties文件中

worker.lbcontroller.sticky_session=True 

粘性session的好处在不会在不同的tomcat上来回跳动处理请求，但是坏处是如果处理该session的tomcat崩溃，那么之后的请求将由其他tomcat处理，原有session失效而重新新建一个新的session，这样如果继续从session取值，会抛出nullpointer的访问异常。

2).session复制

session复制是指tomcat彼此之间通过组播方式将session发到各个tomcat实例上，如果其中一个访问出错，则另外tomcat仍然具有有效的session内容，从而能正常接管其session。坏处是当tomcat实例很多，或者用户在session中有大量操作时，组播发送的信息量十分惊人。session复制配置则是在发布的web应用程序中的web.xml中添加

 <distributable/>

 此外,session复制所需的JDK必须是JDK 5.0及其以上版本。

4.测试

1) 先启动apache服务器httpd

2) 启动名为tomcat2的服务器

 在浏览器中输入访问地址http://localhost/test/index.html

 可以看到请求被转发到了tomcat2进行处理

3)启动tomcat 1 ,界面如下

 可以发现，tomcat1启动后搜索到了tomcat2实例，并进行了session复制。在tomcat2的控制台也可以找到如下输出

 4)关闭tomcat 2，后继续刷新url访问。tomcat1控制台中输出的session 依然与之前tomcat2中的一致，并且在session中保存的属性值仍然有效。

5.问题

上面的配置是在两台不同的配置上进行，tomcat负载和session复制都成功了。但是如果在同一台机子上配置，则session复制总是不能成功，搜索了很多解决方式都不正确。
6.参考

http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/index.html

http://tomcat.apache.org/tomcat-6.0-doc/cluster-howto.html#Cluster Basics 

评论

9 楼 renjie120 2013-12-12  

renjie120 写道

yangleilt 写道

首选对楼主这种乐于分享的精神表示感谢，祝楼主天天有粉木耳。。

之于楼主所说的一台电脑上不能实现的问题，我按照你的步骤弄了一遍，的确。

最后再web.xml web-app节点中中添加了

<display-name>TomcatClusterDemo</display-name>     
       <distributable/>

然后可以了...

哈哈，谢谢。

汗死，我还以为是我的帖子。。。搞笑啊。。 

8 楼 renjie120 2013-12-12  

yangleilt 写道

首选对楼主这种乐于分享的精神表示感谢，祝楼主天天有粉木耳。。

之于楼主所说的一台电脑上不能实现的问题，我按照你的步骤弄了一遍，的确。

最后再web.xml web-app节点中中添加了

<display-name>TomcatClusterDemo</display-name>     
       <distributable/>

然后可以了...

哈哈，谢谢。

7 楼 yangleilt 2013-12-09  

首选对楼主这种乐于分享的精神表示感谢，祝楼主天天有粉木耳。。

之于楼主所说的一台电脑上不能实现的问题，我按照你的步骤弄了一遍，的确。

最后再web.xml web-app节点中中添加了

<display-name>TomcatClusterDemo</display-name>     
       <distributable/>

然后可以了...

6 楼 tuyuan 2013-06-09  

jd2bs 写道

同台机器上可能要 McastService和Receiver的port要改成不同吧？

不过没试过  我们都部署在不同机器上 

这个也是不行.  但是很奇怪.  在 Centos6.4上session始终复制不成功
但是在Ubuntu13.04 上.就没问题. 其中. 2个系统中.3个tomcat完全一样.
就只有httpd 是分别在2个系统上编译安装的.

5 楼 jd2bs 2013-05-13  

同台机器上可能要 McastService和Receiver的port要改成不同吧？

不过没试过  我们都部署在不同机器上 

4 楼 steed_ns 2012-08-24  

renjie120 写道

JackAndroid 写道

hanjienana 写道

博主最后提到的

引用

上面的配置是在两台不同的配置上进行，tomcat负载和session复制都成功了。但是如果在同一台机子上配置，则session复制总是不能成功，搜索了很多解决方式都不正确。

我也碰到了这种情况，如果在同一台机子上配置2个tomcat，则session复制总是不能成功。
网上找了1天，误解，那是不是真的没有办法解决？

我试过几次发现都不行。不过都是在xp系统下，其他系统不知道怎么样

我试过几次发现都不行。不过都是在xp系统下，其他系统不知道怎么样

我也是这样的问题，找了几天了，也是这样的情况三台机器在一起做集群可以，但是session总是复制不了。找了很多资料都不行，如果有谁知道原因，回复一下哈！

同一台机器上 port="4001" 端口要改一成不一样。

3 楼 renjie120 2011-05-17  

JackAndroid 写道

hanjienana 写道

博主最后提到的

引用

上面的配置是在两台不同的配置上进行，tomcat负载和session复制都成功了。但是如果在同一台机子上配置，则session复制总是不能成功，搜索了很多解决方式都不正确。

我也碰到了这种情况，如果在同一台机子上配置2个tomcat，则session复制总是不能成功。
网上找了1天，误解，那是不是真的没有办法解决？

我试过几次发现都不行。不过都是在xp系统下，其他系统不知道怎么样

我试过几次发现都不行。不过都是在xp系统下，其他系统不知道怎么样

我也是这样的问题，找了几天了，也是这样的情况三台机器在一起做集群可以，但是session总是复制不了。找了很多资料都不行，如果有谁知道原因，回复一下哈！

2 楼 JackAndroid 2011-02-14  

hanjienana 写道

博主最后提到的

引用

上面的配置是在两台不同的配置上进行，tomcat负载和session复制都成功了。但是如果在同一台机子上配置，则session复制总是不能成功，搜索了很多解决方式都不正确。

我也碰到了这种情况，如果在同一台机子上配置2个tomcat，则session复制总是不能成功。
网上找了1天，误解，那是不是真的没有办法解决？

我试过几次发现都不行。不过都是在xp系统下，其他系统不知道怎么样

1 楼 hanjienana 2011-02-13  

博主最后提到的

引用

上面的配置是在两台不同的配置上进行，tomcat负载和session复制都成功了。但是如果在同一台机子上配置，则session复制总是不能成功，搜索了很多解决方式都不正确。

我也碰到了这种情况，如果在同一台机子上配置2个tomcat，则session复制总是不能成功。
网上找了1天，误解，那是不是真的没有办法解决？