• 展开微博窗口
  • QQ:52619941
  • 微信:cnmemory
  • 展开分类目录
  • 还没有账号?

Memory

利用ssh tunnel进行socks5代理

为了从本地浏览器能够直接访问公司内网的web,我们需要额外的vpn代理或者其他方式代理。经过查阅资料,找到一种比较快速的方案,即通过ssh隧道和socks5代理实现访问公司内网项目,前提是跳板机能通过外网访问,并且支持ssh方式登录。

开启支持socks5协议的ssh隧道

ssh -D 1337 -f -C -q -N user@remote -p 2222
  • -D 表示本地端口转发,当监听到此端口有连接时,此连接中的数据将通过安全隧道转发到server端,目前支持socks4和socks5协议
  • -f 请求ssh在工作在后台模式。该选项隐含了"-n"选项,所以标准输入将变为/dev/null。
  • -C 请求会话间的数据压缩传递。对于网络缓慢的主机,压缩对连接有所提升。但对网络流畅的主机来说,压缩只会更糟糕。
  • -q 静默模式。大多数警告信息将不输出。

ElementUI Selection Table 中获取被勾选的index

<el-table>中加入:row-class-name="tableRowClassName",利用tableRowClassName方法将rowIndex赋值给row对象

html

<el-table 
    ref="multipleTable"
    :data="data"
    :row-class-name="tableRowClassName"
    @selection-change="handleSelectionChange"
>

javascript

handleSelectionChange(rows) {
    //用一个变量来存放被选中的index
    this.selectionItemIndexes = 

启用swap来应对临时的内存不足问题

前段时间在一台小内存服务器上使用composer更新第三方类库时出现了内存不足的问题,以至于触发了OOM异常,使得composer进程被kill,无法完成更新。
通过free -h查看,测试服务器上并没有启用swap交换分区

当内存不足时,系统会将部分数据交换到swap空间上。类似win上的虚拟内存

OK,那就让我们启用swap。

  1. 创建交换分区文件
mkdir /data
touch /data/swapfile
  1. 分配交换分区容量
dd if=/dev/zero of=/data/swapfile bs=1M count=2048

/dev/zero是linux设备上一个特殊的文件,当你读它的时候,它会提供无限的空字符(NULL,

mysql索引小记

在表关联查询时,如两个表的关联字段类型、编码不同,是无法利用索引的。

星期五

记一次redis响应慢的处理

背景

前段时间,公司某业务在高并发下,单机单个redis实例中,有个大字符串的get操作总是很慢。查看slowlog并无慢日志记录。

原因

通过咨询掌阅@老錢,得到了以下答复

redis的网络读写和逻辑处理都是单个线程处理的,slowlog只是衡量逻辑处理的时间并不包括接受指令和发送响应的时间。字符串的get操作逻辑非常快,所以slowlog没有任何信息。但是网络读写就慢了,特别是高并发下何况你的value也大的有点离谱,内存中有大量待发送的缓冲数据堆积在那里,单线程需要拼命地发送数据,所以才会这样缓慢。建议将value于本地内存缓存起来。

解决

老錢的建议是将value缓存到本地内存,当然也可以考虑增加redis实例做读写分离来分散压力,但是受限于当时项目的规模,在项目初期都是在用单个redis实例操作,如果做redis集群,业务代码改动相对较大,于是还是决定将value进行本地缓存。

那么由于项目架构采用的是传统的nginx+php-fpm,无法常驻内存,于是决定利用/dev/shm(tmpfs)将这个value缓存到本地内存文件系统中。

既然用到了本地缓存,就要考虑集群下机器的value一致性,所以最终使用redis在每台机器上部署了一个订阅服务,当value发生改变时,更新本地缓存。

效果

从zabbix中可以很明显看到网络传输的峰值下降了非常多,可见这个key在业务高峰期时读取有多频繁。

结论

对于大字符串,偶尔读写不会存在问题,但是在频繁读写就会给redis带来不小的压力,所以可以考虑做本地缓存和redis集群。…

对布隆过滤器(Bloom Filter)一点总结

布隆过滤器是一种空间利用率高,可以用来对数据进行排重过滤处理的数据结构,具有以下两点特征:

  • 判定为不存在的数据一定不存在
  • 判定为存在的数据可能存在也可能不存在

存在的数据如果实际上并不存在,称为false positive,那么为什么会有这种现象呢?

布隆过滤器是通过khash函数将某个key映射到m个的比特位上。那么某个key的比特位有可能会被其他的一个或多个key占用,即会产生误判为存在的情况,所以这个误判率取决于…

笔记

磁盘IO是非常高昂的操作,计算机操作系统做了一些优化,当一次IO时,不光把当前磁盘地址的数据,而是把相邻的数据也都读取到内存缓冲区内,因为局部预读性原理告诉我们,当计算机访问一个地址的数据的时候,与其相邻的数据也会很快被访问到。每一次IO读取的数据我们称之为一页(page)。具体一页有多大数据跟操作系统有关,一般为4k或8k,也就是我们读取一页内的数据时候,实际上才发生了一次IO

星期三