CESM on Infiniband / 10GbE 夢幻競演 (什麼啦

OK, 這是上次那篇的續集.
系統後來加上了Infiniband 56GB/s, 所以變成同時有IB跟10GbE.
難得遇到的機會, 當然要來測一測!

CESM on 10GbE vs Infiniband

CESM是一個大氣科學的計算模型, 不過我不會假裝我知道裡面在幹嘛XD
這裡主要紀錄一下最近遇到的狀況: 在10GbE上面跑超慢的.

tar的多重exclude寫法

正常是這樣:

tar --exclude=EXCLUDE_1 --exclude=EXCLUDE_2 ....

但是多起來的時候會很囉嗦.

另一個比較簡便的寫法是, 用大括號:

tar --exclude={EXCLUDE_1,EXCLUDE_2.....}

GlusterFS disperse volume測試

這是3.7.0的新功能, 如果能穩定使用的話會是一個很厲害的功能...
以之前的GlusterFS來說, 在容錯方面都是用replicate來做, 或是搭配stripe做成stripe replicate volume.
因為複製就是1:1(或更多), 所以實際可用容量會是底層容量的1/2或更少, 說起來相當浪費
而disperse volume目前看起來是一個很好的想法.

從BMC更新Dell C6220 ii的BIOS

不是BMC FW喔, 是BIOS.
官方的說明都只有說in OS的更新方式, 就是直接從OS裡面跑相對應的更新包.
但是其實可以從BMC裡面更新.

GlusterFS replicate volume測試

最近突然想到測試一下這個XD
隨手筆記一下.

測試環境:
CentOS 6.6的VM, 安裝GlusterFS 3.6.3
gfs1: 192.168.20.101, /dev/sda3 XFS, 掛在/export/sda3
gfs2: 192.168.20.102, /dev/sda3 XFS, 掛在/export/sda3
gfsc: 192.168.20.103 (c是client的意思)

用Raspberry Pi 2架設Ganglia server

之前曾經在Raspberry Pi model B上面試過, 但是超級緩慢的I/O根本沒辦法應付node較多時的需求.
以現在的狀況來說, 我要收80個node的資料, rrd資料檔就到1.8GB左右...
而且就算node少, 單核心的CPU光是回應rrdtool的需求就喘了XD

[Torque] 讓node重開機後, 不會重跑job的方法

正常來說, 如果一個node跑job跑到一半重新開機的話, 下一次與server連線後, server會要求node重新跑這些job.
但是在某些情形下, 這樣反而會造成不想要的效果, 例如某個把記憶體吃光的job又重新跑, 然後又再當機一次...
或是使用者可以用跑一半的資料接續下去使用, 但是job自動重跑的話, 跑一半的資料反而被洗掉等等.

[CentOS 7] NIS domain name 開機不會自動設定

在之前的CentOS版本, 開機時系統會去找 /etc/sysconfig/network 裡面的:
NISDOMAIN=
這一行, 用來設定NIS domain name.
但是在現在的CentOS, 這不會work XD

[CentOS 7] 輕量化的桌面安裝

話說預設的那個GNOME桌面, 在VM上跑真是慢到想掀桌... 而且佔容量.

作為server的話有圖形介面可以做基本管理就好, 實在沒必要搞成這樣吧...

Maui scheduler partition setup (test and clarification)

Maui scheduler provides node partition function.
You can also setup multiple queue and node properties, but so far I can't make it enforced with acl_users setting.
However, there seems hard to find detailed (and working) Maui partition setup guide...

Maui partition 設定

用Maui可以做到cluster的node分組, 而且是強制性的,
如果用Torque的multiple queue加上acl_user方法, 看起來並不是強制性.
但是網路上似乎很缺乏Maui的partition設定參考...

[CentOS 7] 防火牆設定

CentOS 7 預設不用iptables了, 而是改用firewalld.
因此設定的方式已經整個不同.

不用重開機, 偵測新磁碟的方法

假設這樣的情境:
有一台server連接了一台新買的RAID, 剛剛才把LUN的對應做好.
有沒有辦法讓server不用重開, 就抓到新的LUN?

[CentOS 7] 網路介面的命名規則 / 基本網路設定

第一次裝的人看到那一大串網卡名稱一定會傻XD 本來那單純的eth0跑到哪去了XD

Mellanox IB switch update FW

安裝完OFED, 會有flint這個工具, 可以對Mellanox的IB卡片/switch做韌體相關的操作.

[CentOS 7] VMware-tools安裝

在VMware Workstation裡面, 按照以前的方法安裝vmware-tools的時候, 會遇到兩個問題:

[CentOS 7] Ganglia + RRDcached

這是CentOS 7系列的第一發~
因為7版跟6比起來改了不少東西, 所以決定在我嘗試用CentOS 7架設cluster的同時,
會把遇到的狀況跟做法記錄下來.

在Ganglia中監測主機溫度

雖然Ganglia 3.4.x之後支援直接用python寫module, 但是小弟的python功力還未夠班XD

所以用比較土法煉鋼的方法.

[CentOS 7] LVM cache測試

在前一篇我們提到了LVM cache的原理, 觀念及建立方式.
不過相信大家都很想知道實際運作的狀況...

測試環境是用VMWare Workstation, 實體機器是Sandisk Extreme SSD + WD黑標1TB.
建立的VM有1GB RAM, 兩個硬碟上的8GB VMDK, 一個裝系統, 另一個做測試的OriginData LV.
另外在SSD上建立一個2GB的VMDK, 放置CacheDataLV與CacheMetaLV.
設定成2GB, 是為了讓SSD Cache資料量大於RAM的兩倍, 以免測到的變成RAM Cache的速度.