[Torque] 讓node重開機後, 不會重跑job的方法

正常來說, 如果一個node跑job跑到一半重新開機的話, 下一次與server連線後, server會要求node重新跑這些job.
但是在某些情形下, 這樣反而會造成不想要的效果, 例如某個把記憶體吃光的job又重新跑, 然後又再當機一次...
或是使用者可以用跑一半的資料接續下去使用, 但是job自動重跑的話, 跑一半的資料反而被洗掉等等.

[CentOS 7] NIS domain name 開機不會自動設定

在之前的CentOS版本, 開機時系統會去找 /etc/sysconfig/network 裡面的:
NISDOMAIN=
這一行, 用來設定NIS domain name.
但是在現在的CentOS, 這不會work XD

[CentOS 7] 輕量化的桌面安裝

話說預設的那個GNOME桌面, 在VM上跑真是慢到想掀桌... 而且佔容量.

作為server的話有圖形介面可以做基本管理就好, 實在沒必要搞成這樣吧...

Maui scheduler partition setup (test and clarification)

Maui scheduler provides node partition function.
You can also setup multiple queue and node properties, but so far I can't make it enforced with acl_users setting.
However, there seems hard to find detailed (and working) Maui partition setup guide...

Maui partition 設定

用Maui可以做到cluster的node分組, 而且是強制性的,
如果用Torque的multiple queue加上acl_user方法, 看起來並不是強制性.
但是網路上似乎很缺乏Maui的partition設定參考...

[CentOS 7] 防火牆設定

CentOS 7 預設不用iptables了, 而是改用firewalld.
因此設定的方式已經整個不同.

不用重開機, 偵測新磁碟的方法

假設這樣的情境:
有一台server連接了一台新買的RAID, 剛剛才把LUN的對應做好.
有沒有辦法讓server不用重開, 就抓到新的LUN?

[CentOS 7] 網路介面的命名規則 / 基本網路設定

第一次裝的人看到那一大串網卡名稱一定會傻XD 本來那單純的eth0跑到哪去了XD

Mellanox IB switch update FW

安裝完OFED, 會有flint這個工具, 可以對Mellanox的IB卡片/switch做韌體相關的操作.

[CentOS 7] VMware-tools安裝

在VMware Workstation裡面, 按照以前的方法安裝vmware-tools的時候, 會遇到兩個問題:

[CentOS 7] Ganglia + RRDcached

這是CentOS 7系列的第一發~
因為7版跟6比起來改了不少東西, 所以決定在我嘗試用CentOS 7架設cluster的同時,
會把遇到的狀況跟做法記錄下來.

在Ganglia中監測主機溫度

雖然Ganglia 3.4.x之後支援直接用python寫module, 但是小弟的python功力還未夠班XD

所以用比較土法煉鋼的方法.

[CentOS 7] LVM cache測試

在前一篇我們提到了LVM cache的原理, 觀念及建立方式.
不過相信大家都很想知道實際運作的狀況...

測試環境是用VMWare Workstation, 實體機器是Sandisk Extreme SSD + WD黑標1TB.
建立的VM有1GB RAM, 兩個硬碟上的8GB VMDK, 一個裝系統, 另一個做測試的OriginData LV.
另外在SSD上建立一個2GB的VMDK, 放置CacheDataLV與CacheMetaLV.
設定成2GB, 是為了讓SSD Cache資料量大於RAM的兩倍, 以免測到的變成RAM Cache的速度.

[CentOS 7] LVM cache介紹

CentOS 7 / RHEL 7已經正式發布囉~
在Release notes裡面有提到:

Red Hat Enterprise Linux 7 introduces LVM cache as a Technology Preview. This feature allows users to
create logical volumes with a small fast device performing as a cache to larger slower devices.
(RHEL 7以技術預覽的方式, 引進LVM快取功能. 這個功能允許使用者在建立邏輯卷冊的同時, 設定一個較小但較快的裝置作為快取.)

tar搭配多核心壓縮軟體

正常來說, tar的壓縮可以在tar指令裡面就寫, 例如加z表示要做gzip壓縮, 加j做bzip2壓縮:
tar czf output.tar.gz *.nc
tar cjf output.tar.bz2 *.nc
但是這樣的話, 是tar幫你去call zlib / libbzip2, 只有用單核心在做壓縮.
明明現在的機器都有多核心了...

針對不同IP限制root SSH登入

關閉root的遠端SSH登入, 是常見的Linux資安手段.

但是如果想要針對某個或某些IP來源, 允許root登入, 應該怎麼寫?

host-based SSH host keys in cluster

之前一般的作法, 是把root從master已經連線到每台nodes的:
/root/.ssh/known_hosts
複製到/etc/skel/.ssh, 這樣新建出來的帳號就會自動有這個known_hosts檔案
只要加上.ssh/authorized_keys就可以免密碼連線.