分享每一天-基于 SMProxy 通过协程调度实现 MySQL 连接池,让数据库操作快三倍

基于 SMProxy 通过协程调度实现 MySQL 连接池,让数据库操作快三倍

PHP 3375 0 创建时间：2020-08-22 14:30:49

SMProxy

#### SMProxy，让你的数据库操作快三倍
SMProxy 的全称是 Swoole MySQL Proxy，是一个基于 Swoole 开发的 MySQL 数据库连接池。

#### 优点:
- 明显客观的性能提升，减少创建连接的资源消耗
- 无需对框架进行任何的修改即可使用

#### 缺点:
- 需要对 mysql 协议有一定的了解，如果希望改动，则需要对协议有更深入的理解。
- 如果发生错误，增加了排查错误的成本。

#### 特性
- 支持读写分离
- 支持数据库连接池，能够有效解决 PHP 带来的数据库连接瓶颈
- 支持 SQL92 标准
- 采用协程调度
- 支持多个数据库连接，多个数据库，多个用户，灵活搭配
- 遵守 MySQL 原生协议，跨语言，跨平台的通用中间件代理
- 支持 MySQL 事务
- 支持 HandshakeV10 协议版本
- 完美兼容 MySQL5.5 - 8.0
- 兼容各大框架，无缝提升性能

#### 环境要求:
```php
Swoole >= 2.1.3 swoole_version
PHP >= 7.0 php_version
```
#### 安装
```php

（推荐）直接下载最新发行版的 PHAR 文件，解压即用：

https://github.com/louislivi/SMProxy/releases/latest

或者使用 Git 切换任意版本：

git clone https://github.com/louislivi/SMProxy.git
composer install --no-dev # 如果你想贡献你的代码，请不要使用 --no-dev 参数。

```

#### 运行

需要给予 bin/SMProxy 执行权限。

- start 运行服务
- stop 停止服务
- restart 重启服务
- status 查询服务运行状态
- reload 平滑重启
- -h --help 帮助
- -v --version 查看当前服务版本
- -c --config 设置配置项目录
- --console 前台运行(SMProxy>=1.2.5)
- -f --force 强制执行(SMProxy>=1.3.0)

![](http://www.seedblog.cn/uploads/article/2020-08-22/mqmgL3CH1pLlMVXdsPscAqOaFA79d7oj5zPfkO0d.png)

![](http://www.seedblog.cn/uploads/article/2020-08-23/titBeX2wiQPxNyR8NgkSeAlodl72f4HdtROb2LBq.png)

#### 配置
配置文件位于 smproxy/conf 目录中，其中大写 ROOT 代表当前 SMProxy 根目录。
##### database.json:
```php
{
  "database": {
    "account": {
      "自定义用户名": {
        "user": "必选，数据库账户",
        "password": "必选，数据库密码"
      },
      "...": "必选1个，自定义用户名 与serverInfo中的account相对应"
    },
    "serverInfo": {
      "自定义数据库连接信息": {
        "write": {
          "host": "必选，写库地址 多个用[]表示",
          "port": "必选，写库端口",
          "timeout": "必选，写库连接超时时间（秒）",
          "account": "必选，自定义用户名 与 account中的自定义用户名相对应",
          "maxConns": "重载，对应databases",
          "maxSpareConns": "重载，对应databases",
          "startConns": "重载，对应databases",
          "maxSpareExp": "重载，对应databases"
        },
        "read": {
          "host": "可选，读库地址 多个用[]表示",
          "port": "可选，读库端口",
          "timeout": "可选，读库连接超时时间（秒）",
          "account": "可选，自定义用户名 与 account中的自定义用户名相对应",
          "maxConns": "重载，对应databases",
          "maxSpareConns": "重载，对应databases",
          "startConns": "重载，对应databases",
          "maxSpareExp": "重载，对应databases"
        }
      },
      "...": "必选1个，自定义数据库连接信息 与databases中的serverInfo相对应,read读库可不配置"
    },
    "databases": {
      "数据库别名": {
        "databaseName": "可选，指定真实链接数据库名称（默认不指定与别名相同）",
        "serverInfo": "必选，自定义数据库连接信息 与serverInfo中的自定义数据库连接信息相对应",
        "maxConns": "必选，该库服务最大连接数，支持计算",
        "maxSpareConns": "必选，该库服务最大空闲连接数，支持计算",
        "startConns": "可选，该库服务默认启动连接数，支持计算",
        "maxSpareExp": "可选，该库服务空闲连接数最大空闲时间（秒），默认为0，支持计算",
        "charset": "可选，该库编码格式"
      },
      "...": "必选1个，数据库名称 多个数据库配置多个"
    }
  }
}
```
参数名称	描述
1. maxSpareExp	 活动连接的最大空闲时间,单位为秒 超过此时间的连接会被释放到连接池中,针对未被关闭的活动连接。
2. maxSpareConns	连接池中最多可空闲maxConns个连接 ，这里取值为20，表示即使没有数据库连接时依然可以保持20空闲的连接，而不被清除，随时处于待命状态。
3. maxConns	连接池支持的最大连接数，这里取值为20，表示同时最多有20个数据库连接。一般把maxConns设置成可能的并发量就行了。
4. startConns	初始化连接数目,服务启动时生成连接数。

##### maxConns,maxSpareConns,startConns
推荐设置为server.json中配置的worker_num的倍数swoole_cpu_num()*N
多个读库，写库
目前采取的是随机获取连接，推荐将maxConns，startConns，startConns至少设置为max(读库,写库)*worker_num 的1倍以上

##### timeout
设置2-5秒最佳。

##### databaseName
databaseName与数据库别名的区别在于，数据库别名是供链接SMProxy时指定的库名，databaseName为SMProxy链接到MySQL的库名。

##### Laravel框架使用时需要注释

Illuminate/Database/Connectors/ConnectionFactory.php中的的如下代码避免重复选择数据库导致出现数据库不存在的问题。

if (! empty($config['database'])) {
   $connection->exec("use `{$config['database']}`;");
}

##### 重载
使用重载后会覆盖原对应参数的值，比如maxConns因读写使用频率不同，所以可以将读写设置不同的maxConns。

##### server.json
```php
{
  "server": {
    "user": "必选，SMProxy服务用户",
    "password": "必选，SMProxy服务密码",
    "charset": "可选，SMProxy编码，默认utf8mb4",
    "host": "可选，SMProxy地址，默认0.0.0.0",
    "port": "可选，SMProxy端口，默认3366 如需多个以`,`隔开",
    "mode": "可选，SMProxy运行模式，SWOOLE_PROCESS多进程模式（默认），SWOOLE_BASE基本模式",
    "sock_type": "可选，sock类型，SWOOLE_SOCK_TCP tcp",
    "logs": {
      "open":"必选，日志开关，true 开 false 关",
      "config": {
        "system": {
          "log_path": "必选，SMProxy系统日志目录",
          "log_file": "必选，SMProxy系统日志文件名",
          "format": "必选，SMProxy系统日志目录日期格式"
        },
        "mysql": {
          "log_path": "必选，SMProxyMySQL日志目录",
          "log_file": "必选，SMProxyMySQL日志文件名",
          "format": "必选，SMProxyMySQL日志目录日期格式"
        }
      }
    },
    "swoole": {
      "worker_num": "必选，SWOOLE worker进程数，支持计算",
      "max_coro_num": "必选，SWOOLE 协程数，推荐不低于3000",
      "pid_file": "必选，worker进程和manager进程pid目录",
      "open_tcp_nodelay": "可选，关闭Nagle合并算法",
      "daemonize": "可选，守护进程化，true 为守护进程 false 关闭守护进程",
      "heartbeat_check_interval": "可选，心跳检测",
      "heartbeat_idle_time": "可选，心跳检测最大空闲时间",
      "reload_async": "可选，异步重启，true 开启异步重启 false 关闭异步重启",
      "log_file": "可选，SWOOLE日志目录"
    },
    "swoole_client_setting": {
      "package_max_length": "可选，SWOOLE Client 最大包长，默认16777216MySQL最大支持包长"
    },
    "swoole_client_sock_setting": {
      "sock_type": "可选，SWOOLE Client sock 类型，默认tcp 仅支持tcp"
    }
  }
}
```
#### user,password,port,host
- 为SMProxy的账户|密码|端口|地址(非Mysql数据库账户|密码|端口|地址)
- 可随意设置用于SMProxy登录验证
- 例如默认配置登录为mysql -uroot -p123456 -P 3366 -h 127.0.0.1
- SMProxy登录成功MySQL COMMIT会提示Server version: 5.6.0-SMProxy

#### worker_num
- 推荐使用swoole_cpu_num() 或 swoole_cpu_num()*N

#### 在项目中如何进行配置
Laravel应用:
```php
.env

DB_CONNECTION=mysql
DB_HOST=server.json中配置的host
DB_PORT=server.json中配置的port
DB_DATABASE=databse.json中配置的数据库名称
DB_USERNAME=server.json中配置的user
DB_PASSWORD=server.json中配置的password
```
#### MySQL8.0

- SMProxy1.2.4及以上可直接使用

- SMProxy1.2.4以下需要做如下兼容处理：

- MySQL-8.0默认使用了安全性更强的caching_sha2_password插件，其他版本如果是从5.x升级上来的, 可以直接使用所有MySQL功能, 如是新建的MySQL, 需要进入MySQL命令行执行以下操作来兼容:

- ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'password';
- flush privileges;
- 将语句中的 'root'@'%' 替换成你所使用的用户, password 替换成其密码.

- 如仍无法使用, 应在my.cnf中设置 default_authentication_plugin = mysql_native_password

#### 常见问题

- SMProxy@access denied for user

- 请检查serve.json中的账号密码与业务代码中配置的是否一致。

- 数据库host请勿配置localhost。

- **SMProxy@Database config dbname write is not exists! **

- **请将database.json中的dbname项改为你的业务数据库名。**

- Config serverInfo->*->account is not exists!

- 请仔细比对database.json中databse->serverInfo->*->*->account是否在database->account下含有相对于的键值对。

- Reach max connections! Cann't pending fetch!

- 适当增加maxSpareConns或maxConns,或增加database.json中的timeout项。

- Must be connected before sending data!

- 检查MySQL是否有外网访问权限。

- 检查MySQL验证插件是否为mysql_native_password或caching_sha2_password

- 排查是否有服务冲突，推荐使用Docker进行运行排查环境问题。

- Connection * waiting timeout

- 检查MySQL是否有外网访问权限。

- 启动出现数据库连接超时请检查数据库配置，若正常请降低startConns或增加database.json中的timeout项。

- The server is not running

- 查看SMProxy下的日志mysql.log和system.log。

- 防止SMProxy异常退出，建议使用Supervisor或docker进行服务挂载。

- Supervisor || docker

- 使用Supervisor和docker时需要使用前台运行模式(v1.2.5+使用--console,或使用daemonize参数)否则无法正常启动。

- 502 Bad Gateway

- MySQL异常崩溃后连接出现502或连接超时，请不要开启长连接模式。

- SQL语句过大不要使用连接池，会导致连接阻塞，程序异常。

- 启动SMProxy后CPU占用过高

- 因Swoole4.2.12及以下未开启协程Client读写分离所以CPU占比会比较大。

- 升级Swoole版本到4.2.13及以上并升级SMProxy版本到1.2.8及以上。

Github仓库地址在这里：https://github.com/louislivi/smproxy

基于 SMProxy 通过协程调度实现 MySQL 连接池,让数据库操作快三倍

商品推荐

广告推荐

推荐文章