最近在研究 kubernetes 各个节点间容器通信的原理，深感自己网络知识的不足，从简单的 flannel 开始看起，搜集整理了网上的资料，记录下来。 kubernetes 各节点间网络结构如下图： 实验环境如下：   IP 角色 服务 node1 192.1...

最近在尝试使用 ansible 部署 ceph 作为对象存储使用，因为没有部署 openstack，所以只能手动对虚拟机进行快照以及回滚操作了。但是发现 virsh 没有对挂载盘进行 snapshot 相关的操作。只能对虚拟机整机级别的快照回滚。回忆 cinder 对 volume 的快照，取决于后端存储是否支持，例如 ceph 对 rbd 就提供了 snapshot 的操作。这篇文章基于 ...

最近这段时间补习了下 Spark 相关的知识点，也纠正了之前不少错误的理解，总的来说实践出真理，只有动手才能更好的理解。这篇文章主要记录第一次使用 spark 结合 hadoop 跑 python 程序的过程，算是大数据学习的起点吧。 Spark 的运行模式 官网上已经很详细的介绍了几种模式，我就总结下： 1. Local 由于本地资源有限，用于开发测试用，验证代码。 2. Sta...

针对线上 Zabbix 所需数据库磁盘占用空间进行了一个简单的计算。 计算公式 定义： 被监控服务器数为：n（台） 每台被监控服务器监控项为：m（个） 监控项更新间隔平均值约为：f1（秒） 监控项历史数据保留时长为：t1（秒） 监控项趋势存储时间为：t2（秒） 一条MySQL记录占用字节数为：x（B） 已知： 趋势数据每小时生成一次，即趋势数据更新间隔 f2 = 3600...

随着公司开发业务的不断增重，Dell 服务器上的虚拟机日益增多，而虚拟机磁盘却都压在物理服务器单块raid 磁盘上共享 IO。考虑到某台虚拟机将要部署爬虫业务，可能占用大量 IO，因此防患与未然，限制其虚拟机的磁盘 IO，以免影响其他虚拟机或者宿主机的正常读写。 鉴于我的经验以及公司运维团队规模，部署的是 KVM 虚拟化，通过 Libvirt 管理虚机，网络是桥接模式的 flat netw...

在生产环境中，因为数据量的增加，存在动态扩容 greenplum 存储容量的需求。 纵向扩容指在现有服务器上增加配置，如增加磁盘，增加内存等，因为在集群初始化部署规划中就已经考虑到了服务器各资源的配置，一般而言多用于测试环境。 横向扩容指增加服务器节点，这在分布式存储系统上是通用解决方案，如 hdfs，ceph 等都能做到横向动态扩容。 本文续接上文：greenplum 部署 因此环境...

2018.6 月某宝入手 小米路由器 3G 价格 179 元，结合配置来看性价比高，适合用来折腾，遂刷机。 配置信息如下：   参数 处理器 MT7621A MIPS双核880MHz ROM 128MB SLC Nand Flash ...

greenplum 官方提供安装工具，只需要先部署 master 节点就可以通过 gpseginstall 命令分发到各个 segment 节点，但是各个节点的系统环境参数调优工作需要提前处理，因此使用 ansible 提前对各个节点进行预处理。 节点说明 IP hostname role 数据盘 ...

起因是想写一个脚本在 Windows 虚拟机启动的时候对 SQLServer 服务进行一些初始化的操作，如修改用户密码，修改配置之类的。 于是写了一个 PowerShell 脚本去做这些事情，同时修改注册表设为自启动。 但是 Windows 实际情况却和 CentOS下 的 /etc/rc.d/rc.local 启动脚本不太一样，关键的区别就在于 Windows 需要等用户登录以后才会执行这...

radosgw 是建立在 librados 之上的对象存储网关，和 openstack swift 一样用来存放 object。同时它支持两种API：s3 和 swift。就是说 radosgw 可以替代 swift 作为 openstack 的对象存储（object storage）。 本文使用的版本是 jewel 10.2.1，下载地址：http://download.ceph.com...