monit on ubuntu error connecting to the monit daemon

Install

sudo apt-get install monit

Start

sudo service monit start

When i tried monit status, i got the error message:

monit: error connecting to the monit daemon

Solution

vi /etc/monit/monitrc

uncomment the follow lines

set httpd port 2812 and
use address localhost
allow localhost

Save and restart

service monit restart

Check port netstat -lpn | grep 2812

tcp        0      0 127.0.0.1:2812          0.0.0.0:*               LISTEN      16331/monit

Run monit status

The Monit daemon 5.3.2 uptime: 0m

System 'system_AY1404211138578652eaZ'
  status                            Running
  monitoring status                 Monitored
  load average                      [0.00] [0.01] [0.05]
  cpu                               0.0%us 0.0%sy 0.0%wa
  memory usage                      1779196 kB [86.7%]
  swap usage                        0 kB [0.0%]
  data collected                    Mon, 08 Dec 2014 11:35:57

项目总结-美食类社交app的架构设计

很早之前就想写这一篇东西,或者说是自己的总结吧。项目虽然融资失败了,作为技术者来讲,心里的失落是难免的,不过在项目的这段时间,技术架构上也积累了不少东西,有必要对自己一个交代。

先来讲讲这个项目整体上用到的一些技术和框架:

1)使用Ruby on Rails开发,rails基于3.2版本,兼容性上升级到4也是无压力,ruby使用2.0以上版本。

2)数据库使用mongodb,由于用到了aggregate,需要2.4以上版本。
因为mongodb对于地理位置的优势,这是一个不错的技术选型。

3)数据库还使用了redis,用来持久化一些计数或者关联比较弱的数据,
例如,某一道菜喜欢的人数,某一个用户follow的用户的动态,
这些数据是可以延迟更新或者允许丢失一部分也不会造成脏数据。

另外redis还用在缓存一些数据,这部分数据不能放在memcache中,因为是不允许丢失的,
例如某一道菜所有喜欢它的用户的id,已数组的形式保存在redis中。

最后redis还用在了队列系统中。

4)数据库还使用了memcache,用来做缓存一些简单的数据和页面,例如用户的个人主页,用户的积分页等等。

5)使用了sidekiq,用来处理异步处理耗时比较大的请求,例如发推送,切割图片,同步相关数据等等。

6)使用了solr,用来检索门店,
10万级别的门店数据,如果用mongodb,即使加索引,
对于一些模糊匹配还是会非常的慢,
全文检索可以解决速度的问题。(幸好solr也支持地理位置检索)

在服务器架构上,两台应用服务器负载均衡,一台服务器做nginx反向代理,三台mongodb使用replica set模式,两台redis,两台memcache,架构图如下:(比较简单)

关于follow和followers的问题

这个我想是每个做社交都不可避免的。随之而来的问题是,不一定像twitter或者微博那么的数据量大,但是核心会员有个一两万粉丝还是肯定的,这一两万粉丝的动态推送估计就够呛了。

我们知道这里无外乎两种模型,“推”和“拉”,推的问题是每次都需要推很多数据,就算用后台队列也不一定可以很快的到达,并且非常占用系统资源,如果用户不去看,推都推了,更是资源的浪费。拉的问题是每次用户访问的时候去拉数据,资源不会浪费,可是对于关注的多的用户,那会是灾难性的。

我这边的做法是“推”和“拉”结合起来,系统对于每个用户会做一次区分,当发现这个用户关注的人数在一定比较少的范围,例如100个以内,或者用户自从注册以后很长一段时间都没有访问,例如一个月都没有登录过,那么我就认为这个用户是“死用户”,对于死用户,我就采用拉的模式,因为就算他登录,因为数据量不大,也不会有太大的问题。相对于那些活跃用户,我用推模型,因为对于一个网站来讲,确实只有20%的属于活跃用户。

当然,在这个基础上,还可以更加深入下去,例如增加缓存,或者更好的来判断用户的权重,不过因为优化后没有遇到更大的问题,就先这样了,毕竟过度优化是万恶之源。

要做就做健壮的应用

首先,这里应用包括web网站,手机app等等。

健壮的应用应该是可维护的,可自动恢复,可持续更新,可跟踪日志,可及时反馈。

先来看看目前项目的方式:

项目代码 + 自动部署

仅仅这样远远不够,存在的问题:

1)服务器如果重启,如何做到项目自动开始运行,而不是手动再部署一遍

2)正式环境下项目日志会每天不断增长,不利于以后日志的分析

3)正式环境下项目如果自己挂了,如何自动重启,如何给出通知

4)数据库如何自动备份

5)部署的时候如何自动测试

所以健壮的应用应该在项目一开始就解决上面的问题

目前我是这么做的

1) 使用脚本来启动应用服务,脚本放在服务器的自启动里面

2)使用log_rotation按天切割日志

3)使用monit自检查应用进程,如果挂了自行重启,并且给出邮件通知

4)使用<a href="https://github.com/meskyanichi/backup">backup</a>自动备份数据库

5)使用Git hooks在部署到production的时候自动测试

另外上述的功能在一个deploy的期间,自动完成。

至此,这样才是一个健壮的上线应用。

更改默认的mysql和mongodb数据dbpath

修改mysql

sudo /etc/init.d/mysql stop
sudo cp -R -p /var/lib/mysql /newpath
sudo chown mysql:mysql /newpath
vi /etc/mysql/my.cnf
#####Look for lines beginning with /var/lib/mysql. Change /var/lib/mysql in the lines with the new path.
sudo /etc/init.d/mysql restart

修改mongodb

sudo service mongod stop
vi /etc/mongodb.conf

####
Change this:
dbpath=/var/lib/mongo

With:
dbpath=/home/myuser/data/mongo
###

cp -ra /var/lib/mongo  /home/myuser/data/mongo

chown mongodb:mongodb /home/myuser/data/mongo

sudo service mongod start

502 bad gateway error when deploy rails app with dokku on digitalocean

Follow this how-to-use-the-dokku-one-click-digitalocean-image-to-run-a-ruby-on-rails-app guide, i got nginx error – ’502 bad gateway’.

How to solve?

first, check app logs to see what happen.

dokku logs <your-app-name>

I got DATABASE_URL error. it seems dokku didn’t link my app with PostgreSQL.

Checkout the PostgreSQL database_url:

dokku postgresql:info <your-app-name>

Host: xxxxxx
Port: 49154
User: 'root'
Password: '*********'
Database: 'db'

Url: 'postgres://root:*******@xxxxx:49154/db'

now link this url with my app:

dokku postgresql:link <your-app-name> <your-db-name>

or

dokku config:set <your-app-name> DATABASE_URL='postgres://root:*******@xxxxx:49154/db'

git push again, got db:migration error!

rake manually according to this gist:

docker run -i -t app/mg /bin/bash

cd app/
export HOME=/app
for file in /app/.profile.d/*; do source $file; done
hash -r
cd /app
RAILS_ENV=production rake db:migrate

DONE! push again, it works.