目前看到寫的最簡單的就是這一篇了.

How to Install Ubuntu 14.04 with RAID 1 using desktop installer?

apt-get install mdadm
mdadm --create /dev/md0 --bitmap=internal --level=1 -n 2 /dev/sda1 missing
fdisk /dev/md0

會產生 /dev/md0p1 /dev/md0p2 /dev/md0p3

用 try ubuntu 在 console 下這個指令安裝, 要做點小手腳

ubiquity -b

安裝的時候要選 /dev/md0p1 /dev/md0p2 /dev/md0p3 不要選別的.

安裝完之後, 要重新安裝 grub

sudo -s
mount /dev/md0p1 /mnt
mount -o bind /dev /mnt/dev
mount -o bind /dev/pts /mnt/dev/pts
mount -o bind /sys /mnt/sys
mount -o bind /proc /mnt/proc
chroot /mnt
apt-get install mdadm
nano /etc/grub.d/10_linux  # change quick_boot to 0
grub-install /dev/sda
grub-install /dev/sdb
update-grub
exit

如果 /etc/grub.d/10_linux quick_boot 沒有設成 0
開機會出現

error:  Diskfilter writes are not supported

The post kubuntu 14.04 Desktop Install on Raid Disk appeared first on richliu's blog.

主要論述是因為計算 URE(uncorrectable read error or Non-recoverable read errors per bits read) 這個參數. 不過我認為他犯了一個很基礎的錯誤, 誤將機率當作一定會發生.
“平均每讀取12.5TB，就會讀到1位元壞掉、且無法修復的資料。”

不止他, 有些外國網站或文章也提到同樣的事情
ex: RAID failures

很抱歉的是, 我沒有查到 URE 的定義, 或是廠商怎麼測量他的, 目前只有在 WD 的 Datacenter Capacity HDD內. 找到一小段話. “No non-recoverable errors during operating tests or after non-operating tests”.
不過這個小標並沒有標在該標的位置, 所以我不確定是不是講該段. 不過也有可能是講整個測試過程.

當然, 如果是像原文講到 4TB Raid5 重建出錯的機率是 72.6% 的數字, 那做 Raid 的廠商早就罵翻天了. 合理的 failure rate 的應該是如何呢?
我認為這一篇比較合理 RAID array failure probabilities
這篇採用的是 MTBF, 所以估出來的數字是這樣

In terms of probability of failure over the life of the array (3 years):
RAID0 – 10.5%
RAID5 – 0.000105%
RAID10 – 0.0000525%
RAID6 – 0.00000000000105%

合理多了, 不是嗎?

那 URE 的定義是什麼呢? 為什麼明明沒有還是要生出一個數字.
我認為應該和泛科學這篇講核電廠危機的是相關的從好像不太準的千萬分之一，到有點危言聳聽的24%，核災機率到底怎麼算？

應該是從讀取, 線路, 元件, 控制器, 等等這一串, 每一個部份都有其出問題的機率, 綜合起來就是 10^-16 ~ 10^-18 了. 但是是不是會出問題呢? 不一定. 但是廠商就保證二個 bit 在這個區間不會出現 URE 了

這根本是一個對廠商放水的數字呀…

ref. http://www.raidtips.com/raid5-ure.aspx

The post Raid 5 重建的機率很低嗎? appeared first on richliu's blog.

所以最近就在找下一代的解決方案. 目標高效低功耗PC.

接下來是新電腦清單
CPU: Intel i5-4670T 45W

本來有考慮 Intel i5-4570T, Max TDP 少 10W, 但是速度比較快, 後來想想, 如果要 Multi-Thread 編 Code , 還要跑 VM 的話, 還是多核好一點. 所以後來就選 4670T. 不管是 4570T/4670T, 台灣都買不到, 只有向淘寶購物, 這也是我第一次跑去淘寶買東西. 不過搞進來花了不少時間, 不清楚轉運規則呀(而且淘寶網頁流程也寫的不清楚, 轉運公司更是複雜, 搞好久才知道原來洶寶上的電話才是該打的電話, 轉運公司的客服無法處理國際單). 弄進來這顆 CPU 是 QS 版, 雖然不是 ES 版(QS/ES差別), 但是還是有點悶. (購入價是比 Tray 低一點啦, 4570T 有 BOX 價, 一般人可以考慮買這個). TRAY 的缺點是沒有風扇, 還好我之前有不小心多買一套 CPU 風扇, 所以將就著用…… Intel 為什麼不出 BOX 版… -_-!

另外, 4670T 那個 Up To 3.3G 是指只開1核時, TurboBoost 可以到 3.3G, 四核全開只能到 2.9G. (我也被搞混一陣子過, 所以現在清楚了).
詳情可以看這個網頁 Intel® Core i5 Desktop Processor Turbo boost frequency table
BIOS 還是有可以調整的選項, 我猜四核要跑 3.3G 也是可以, 只是 TDP 就不是 45W 了, Max TDP BIOS 內也可以調整(驚!!).

MotherBoard: Gigabyte H87-D3H

之前某一次用 ASUS 接 HDMI 還是 DVI 輸出有問題, 沒有辦法正確判斷電視種類, 但是 Gigabyte 的主機板 OK, 之後就都換 Gigabyte 的, 目前二塊在我手上還活的好好的, 所以第三塊還是用 Gigabyte 的. 也沒有特別的理由. 選這塊的原因是因為內建 Intel 網卡. 不過電腦機殼就只能選 ATX 了.

Power: 海韻 S12G 450W 金牌

我承認我選 Power 就是看那家貨比較齊全就買那家的, 金牌 450W 很難選, 生產的不多, 這個也沒有模組化, 不過我用過模組化的 Power , 又不是會飛天會唱歌, 所以有和沒有都 OK. 至於金牌和銅牌的論述就算了, 我自己拿來做 Server 的, 省個 5% 也高興, 反正金牌和銅牌沒有差很多, 就當買心理因素吧 XD.

Case : Cooler Master Silencio 550

上一個 Case 是買 Antec 的 P280 靜音機殼, 其實沒有感覺很安靜. 比較起來, CM 550 用料和 P280 各有優缺點, 很難說誰好誰不好, 不過CM 550 有一個 SATA 插槽, 這個還不錯, 可以拿來 hot-plug 用. 硬碟是橫置, 免螺絲, 不過還是要拆背蓋才能裝 Power 和 Cable. 這樣設計沒有比較好, OK?
不過我的 Antec P280 有一個墊子壞了, 寫信問代理商沒有回, 丟 FB 也還沒有回… 呃. 希望 CM 會好一點. 對了, CM 多一個 SD 插槽, Linux 下抓的到, 算是加分吧.

記憶體 : 用舊的KingSton DDR3-1067 (省錢 XD)

HDD : Seagate NAS 64M ST3000VN000

3T 的硬碟要搞開機有點麻煩. 不過還是要用.

花了一些功夫的成果照

接下來來是 Gentoo 安裝心得, 各位可以 END 看最後面了.

在做完了基本的 memory test 之後, 接下來就是開始安裝 Gentoo.
*) Use Legacy BIOS
首先第一件事情, 強迫BIOS使用 Legacy BIOS, UEFI 貌似也可以用, 不過我並不打算花時間研究這個, 而且這一台電腦並沒有要裝 Windows. (剛想到, 以前都拿舊電腦裝 Linux, 現在買新的裝 Linux. 十年河東十年河西呀…)

因為這次是要安裝 64Bit Linux, 所以是拿 kubuntu 13.10 x64 版開機.
(P.S 這不是安裝手冊, 所以我只會記錄我覺得重要的部份).

*) Booting Disk.
如何讓 BIOS 認到 3T 的硬碟是最重要的, 要安裝套件 gdisk 取代 fdisk. 忘了 parted 吧, 那是給 geek 用的 (誤)
# apt-get install gdisk
這時候還是用 kubuntu 哦….

重點
1) 要切一個 1M Partition 給 UEFI 用(我有預留,不確定不留可不可以)
2) 沒有 Primary Partition 的概念了.
3) Partition Code 不一樣, 第一個 Partition ID 是 EF02, Linux Raid 是 FD00

系統切四個, UEFI, System , Data, Swap , 看起來像這樣

Disk /dev/sda: 5860533168 sectors, 2.7 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 601175B7-D96A-4316-AA27-856D195717F4
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 5860533134
Partitions will be aligned on 2048-sector boundaries
Total free space is 2014 sectors (1007.0 KiB)

Number Start (sector) End (sector) Size Code Name
1 2048 4095 1024.0 KiB EF02 BIOS boot partition
2 4096 209719295 100.0 GiB FD00 Linux RAID
3 209719296 5830086655 2.6 TiB FD00 Linux RAID
4 5830086656 5860533134 14.5 GiB FD00 Linux RAID

接下來將 sda 的 partition copy 到 sdb 去
# sgdisk -R=/dev/sdb /dev/sda
重新亂數產生 sdb 的 UUID
# sgdisk -G /dev/sdb
大功告成, 接下來就可以檢查 sdb , 沒有問題之後就可以建 Raid 了.

Ref:
http://en.wikipedia.org/wiki/BIOS_Boot_Partition_%28GPT%29
http://forums.funtoo.org/viewtopic.php?pid=9944

*) Create Raid / Format Disk
可以參考我自己以前寫的文章(Linux Software Raid 系統轉移)
# modprobe raid1
# apt-get install mdadm
GRUB2 開機一定要 0.90 的 raid partition, 我沒有找到用新版也可以的文章, 不想賭人品.
# mdadm –create /dev/md1 -l 1 -n 2 –metadata=0.90 /dev/sda2 missing
其他不用應該沒關係.
# mdadm –create /dev/md2 -l 1 -n 2 /dev/sda3 missing
# mdadm –create /dev/md3 -l 1 -n 2 /dev/sda4 missing

先建一顆, 等到去睡覺的時候再 Sync .

Grub 1.97 之後有支援 ext4, 不過在 grub 內的 module name 還是叫 ext2.mod .
# mkfs.ext4 /dev/md1
# mkfs.ext4 /dev/md2
# mkswap /dev/md3

* ) Download Gentoo stage3 x64 from server
ftp://ftp.twaren.net/Linux/Gentoo/releases/amd64/current-stage3

* ) Modify Gentoo Configure

# mount –bind /proc proc
# mount –bind /sys sys
# mount –bind /dev dev
# chroot disk

modify /etc/portage/make.conf
# nano /etc/portage/make.conf

GENTOO_MIRRORS=”
ftp://ftp.twaren.net/Linux/Gentoo
http://gentoo.oregonstate.edu
ftp://ftp.nsysu.edu.tw/Unix-like/Gentoo/
”

SYNC=”rsync://rsync.tw.gentoo.org/gentoo-portage”

MAKEOPTS=”-j5″

https://wiki.gentoo.org/wiki/AMD64/FAQ

# echo “nameserver 8.8.8.8″ > /etc/resolv.conf
# emerge sync

修改 /etc/fstab
用 blkid dump 出來之後, 填到 fstab 去
# blkid
# vim /etc/fstab
/dev/md1: UUID=”a12d45e4-3eab-4f12-ba6a-111111111111″ TYPE=”ext4″
/dev/md2: UUID=”a34bb49d-6ecd-4f34-8a1b-222222222222″ TYPE=”ext4″
/dev/md3: UUID=”856c43d9-00ef-4756-9732-333333333333″ TYPE=”swap”

After installation edit /etc/default/grub:

GRUB_CMDLINE_LINUX_DEFAULT=”root=/dev/md1 real_root=/dev/md1 rootfstype=ext4 net.ifnames=0″
有人說加 domdadm, 不過對我沒有用, net.ifnames=0 就是用傳統的 ethernet 命名方式, 要不然 Gentoo 又要用 PredictableNetworkInterfaceNames 了.
我覺得這個超麻煩的, 雖然安全一點, 不過我不喜歡.
Ref. http://www.freedesktop.org/wiki/Software/systemd/PredictableNetworkInterfaceNames/

# ln -s /dev/null /etc/udev/rules.d/80-net-name-slot.rules
另一種 Disable PredictableNetworkInterfaceNames 的方式

我後來在 Kernel 內有看到 Predictable Network Interface Name 的選項, 早知道後來要改很多次 Kernel , 就直接在 Kernel compile 時閹了它.

setlocale: LC_ALL: cannot change locale (zh_TW.UTF-8)
解法參考：http://ubuntuforums.org/showthread.php?t=1471876

vim /etc/locale-gen
add
zh_TW UTF-8
zh_TW.UTF-8 UTF-8

than
# locale-gen

*) Install GRUB
如果在 install GRUB 時有看到奇怪的字串像是
Path `/boot/grub’ is not readable by GRUB on boot.
記得要裝 mdadm 才會正常

# emerge mdadm
兩個目錄一樣
# ln -sf /boot/grub /boot/grub2
# grub2-mkconfig -o /boot/grub2/grub.cfg
# grub2-install /dev/sda
# grub2-install /dev/sdb

如果有裝完 mdadm, grub 應該安全就沒有問題了

*) Linux Kernel
RTC 和 USBSerial 相關的 Driver 要裝一裝.

如果要讓 lm_sensor 可以正常運作, it87 module 要 install
所以要 edit /etc/conf.d/modules , 加上.
modules=”it87 intel-agp nf_nat_pptp nf_nat_proto_gre”

*) X
這是一個神奇的經驗, 我第一次知道原來 X 是不用設定任何東西的.
首先按照
https://wiki.gentoo.org/wiki/Xorg/Configuration
在 Kernel 加上
[TEXT]
< *> Intel 8xx/9xx/G3x/G4x/HD Graphics
[*] Enable modesetting on intel by default
[/TEXT]
這選項非常重要.

edit /etc/portage/package.use
加上
x11-drivers/xf86-video-intel dri glamor sna udev uxa xvmc
全開就對了.
然後 X 就莫名奇妙的動起來了 (什麼 O_O)

*) MySQL ==> MariaDB

MariaDB 是從 MySQL Fork 出來的 Project .
http://en.wikipedia.org/wiki/MariaDB

大家都知道, MySQL 自從被 Oracle 拿到之後, 就千方百計的想要消滅它.
不過這也無可厚非, business is business.

這邊就是直接搬 mysql db 過去, 用 mysql_upgrade 升級
不過這邊有一個問題, mysql 自己的 innodb 似乎升不過去,
可能要用 mysql_dump , 我自己那些 db 都是不重要的, 所以就……

# /etc/init.d/mysql stop
# emerge -1 mariadb
# /etc/init.d/mysql start
# mysql_upgrade -u root -p
# mysqlcheck –repair –all-databases -u root -p

Ref:
http://od-eon.com/blogs/stefan/migrating-from-mysql-to-mariadb-on-gentoo/

*) Samba
smbpasswd 不能用了
改用
pdbedit -a -u user
加入
選項與參數：
-L ：列出目前在資料庫當中的帳號與 UID 等相關資訊；
-v ：需要搭配 -L 來執行，可列出更多的訊息，包括家目錄等資料；
-w ：需要搭配 -L 來執行，使用舊版的 smbpasswd 格式來顯示資料；
-a ：新增一個可使用 Samba 的帳號，後面的帳號需要在 /etc/passwd 內存在者；
-r ：修改一個帳號的相關資訊，需搭配很多特殊參數，請 man pdbedit；
-x ：刪除一個可使用 Samba 的帳號，可先用 -L 找到帳號後再刪除；
-m ：後面接的是機器的代碼 (machine account)，與 domain model 有關！

http://linux.vbird.org/linux_server/0370samba.php

*) radvd
如果有出現
“radvd could not daemonize”
建 radvd 的 /var/run/radvd 並且 chown radvd .

*) cacti
抓自身的 snmp 要用 127.0.0.1 , 不能用 localhost .
編輯 /etc/portage/package.use
net-analyzer/net-snmp lm_sensors diskio ucd-compat netlink

Ref:
http://forums.cacti.net/about15067.html
http://www.powercram.com/2010/01/multi-cpu-graphing-in-cacti.html

*) konqueror 一直開一直開 (我是裝 KDE)
http://forums.gentoo.org/viewtopic-t-966160-start-0.html
裝 dolphin 就好了

*) 中文
幹, 什麼年代了, 中文還是很難搞. 而且裝了還是很難用 (哭哭)
# emerge scim-bridge scim-tables
按照 Gentoo 的文件 http://www.gentoo-wiki.info/Input_Methods
加上
[Qt]
DefaultInputMethod=scim-bridge

在 ~/.xprofile 加上
[TEXT]
export LC_CTYPE=zh_TW.UTF-8
export GTK_IM_MODULE=scim-bridge
export QT_IM_MODULE=scim-bridge
export XMODIFIERS=”@im=SCIM”
scim -d
[/TEXT]

*) Dropbox
emerge net-misc/dropbox
再在 user mode 下執行 dropbox 就可以了.

*) Power/Frequency
結論是, 什麼都不用動. 系統會自己跑 800Mhz~2.9G.
Linux kernel version 3.12.3-gentoo. 看起來問題不大.

不過 cpufreq-info 回報的 CPU Frequency 是錯的, 要用 i7z 去看.
如果 i7z 執行有問題, 可以參考這個網頁最後 patch 一下就可以執行了.
https://bbs.archlinux.org/viewtopic.php?pid=1306943
P.S 我是 patch 之後會出現 C7 State .

可以開啟內鍵的 Intel pstate driver, 這會啟動 pstate-drver 取代 cpufreq-acpi 管理程式. 不過i7z 內顯示的頻率就會變得很怪, 但是按照 intel 的說法 ondaemnd 己經不適合 intel 目前的管理模式了, 我現在也不太確定到底什麼是正確的.
還是用原來的 cpufreq-acpi driver 跑 ondaemnd.

Ref.
https://bbs.archlinux.org/viewtopic.php?pid=1306943
http://forums.gentoo.org/viewtopic-p-7442152.html
http://forums.gentoo.org/viewtopic-p-7396848.html#7396848
phc-intel
http://forums.gentoo.org/viewtopic-t-932096-start-0.html
http://www.expreview.com/25426.html

*) Un-Plug SATA

# echo 1 > /sys/block/sdg/device/delete
or
# hdparm -F /dev/sdb # force flush write cache
# hdparm -Y /dev/sdb # spin down and switch off the drive completely (until the kernel makes it spin up again)

不過我都是 unmount 就算了.
Ref.
http://forums.gentoo.org/viewtopic-p-6660527.html?sid=e63439cb70cd4c79f96cec3249590058

*) Vmware 抓不到 USB Device 的問題

在 /etc/init.d/vmware 前先執行
# /etc/init.d/vmware-USBArbitrator start
可以用
# rc-update add vmware-USBArbitrator boot
確保先執行.

如果沒有這個檔案, 可以解開 vmware 的 Package 再 copy 進去.

*) Sound
預設 sound 應該就可以工作, 有一個小問題是要在 alsa 內指定 default sound device.
要不然就會有如下的字樣
[TEXT]
ALSA lib pcm_dmix.c:1022:(snd_pcm_dmix_open) unable to open slave
[/TEXT]

可以在 ~/.asoundrc 加入如下的內容就可以了
[TEXT]
defaults.pcm.!card 1
defaults.pcm.!device 7

pcm.!default {
type hw
card 1
}

ctl.!default {
type hw
card 1
}
[/TEXT]
可以用
# aplay -L
# aplay -l
查看 device 和 hw mixer 的資訊

Ref.
Gentoo USB Device not Reconzgized
https://bbs.archlinux.org/viewtopic.php?pid=1356156

*) Disable UltraNav Touchpad
首先安裝 xinput
# emerge -av xinput

再來就是用 xinput 列出 device
[TEXT]
$ DISPLAY=:0 xinput
⎡ Virtual core pointer id=2 [master pointer (3)]
⎜ ↳ Virtual core XTEST pointer id=4 [slave pointer (2)]
⎜ ↳ Logitech USB-PS/2 Trackball id=13 [slave pointer (2)]
⎜ ↳ Synaptics Inc. Composite TouchPad / TrackPoint id=10 [slave pointer (2)]
⎜ ↳ Synaptics Inc. Composite TouchPad / TrackPoint id=9 [slave pointer (2)]
⎣ Virtual core keyboard id=3 [master keyboard (2)]
↳ Virtual core XTEST keyboard id=5 [slave keyboard (3)]
↳ Power Button id=6 [slave keyboard (3)]
↳ Video Bus id=7 [slave keyboard (3)]
↳ Power Button id=8 [slave keyboard (3)]
↳ AT Translated Set 2 keyboard id=14 [slave keyboard (3)]
↳ Lite-On Tech IBM USB Keyboard with UltraNav id=11 [slave keyboard (3)]
↳ Lite-On Tech IBM USB Keyboard with UltraNav id=12 [slave keyboard (3)]
[/TEXT]
“Synaptics Inc. Composite TouchPad / TrackPoint id=9 [slave pointer (2)]” 這個就是我們要 Disable 的目標.

執行
# xinput –set-prop 9 “Device Enabled” 0
就可以 Disable touch pad, 如果要重新啟動, 就執行
# xinput –set-prop 9 “Device Enabled” 1
id = 10 的那個是小紅點, 如果不小心 diable 小紅點, 可以交換一下 id 試試看

*) 心得

這一台是我今年年末大升級的機器, 雖然花了將近一萬五. (驚, 有這麼多).
不過在節能上還是看起來很威的.
舊平台是 4850e + 780G + 4*HDDs, 當然 Power , HDD 也有差異, 不過應該相去不遠.

待機耗電 : 3.xW (OLD: 10W)
開機不跑程式 : 58W (如果只有裝 2*HDDs, 是 3xW, OLD: 9XW)
全速執行程式 : 100W (OLD: 130W)
一核全速 : 6XW (只有裝 2*HDDs)

大概比前一個平台省了約 30~40W, 算是小弟對節能的小小貢獻.

若是和另一台 Q6600 + ATI 4850 顯卡比, 這一台待機就要耗 160W, 跑個程式就要耗 210W 以上. 想必新電腦省電很多很多了 :p
和 Q6600 (o.c 3.0G) 比, 這台的 compile 速度也快上很多, 不過我不知道是不是我的心理因素, 我沒有去測試過. 不過應該符合我目前對這個平台速度和節能的期望了.

一句話: 我很滿意

==
VMWARE workstation 12 or VMWARE Player 12 在新的系統有個小問題 USB Arb 有錯誤訊息, 有跑 Process 不過懶得查了, 短時間沒找到解決方案, 改用 VirtualBox

2016-04-25T04:24:42.623+08:00| usbArb| I125: VMware USB Arbitration Service Version 15.1.7
2016-04-25T04:24:42.623+08:00| usbArb| I125: USBGL: USB Sysfs found at /dev/bus/usb
2016-04-25T04:24:42.623+08:00| usbArb| I125: USBArb: Attempting to connect to existing arbitrator on /var/run/vmware/usbarbitrator-socket.
2016-04-25T04:24:42.623+08:00| usbArb| I125: SOCKET creating new socket, connecting to /var/run/vmware/usbarbitrator-socket
2016-04-25T04:24:42.623+08:00| usbArb| I125: SOCKET connect failed, error 2: No such file or directory
2016-04-25T04:24:42.623+08:00| usbArb| I125: USBArb: Failed to connect to the existing arbitrator.
2016-04-25T04:31:01.719+08:00| usbArb| I125: USBArb: UsbArbPipeConnected: Connected to client, socket:4
2016-04-25T04:31:01.730+08:00| usbArb| I125: USBArb: Closing client, error:2
2016-04-25T04:31:01.730+08:00| usbArb| I125: USBArb: Client 0 disconnected

升級到 Linux kernel 4.5 直接安裝 app-emulation/vmware-modules 就可以了

後記: 升級到 Linux kernel 3.18 long term stable version

vmware 要從這邊下載 patch
https://aur.archlinux.org/packages/vmware-patch/

記得 kvm 要關
https://wiki.archlinux.org/index.php/VMware

Kernel 3.18 要升級到 udev 2.16 以上, userspace firmware helper 要關掉.
https://wiki.gentoo.org/wiki/Udev/upgrade

The post [Gentoo] 電腦升級案 32bit -> 64bit Linux appeared first on richliu's blog.

原來只有一顆硬碟, 現在要換就直接要二顆來做 Raid.
不過原來沒有 Raid, 現在要弄有點麻煩
主要還是參考我自己寫的Linux Software Raid 系統轉移

其中有一些小小的不一樣.
1. 如果是轉移過來的, 記得要先安裝 madm
[BASH]
# apt-get install mdadm
[/BASH]

2. Grub Install
ubuntu 10.04.02 LTS 沒有 grub 這個指令 (可能要安裝), 所以要改用
[BASH]
# grub-install /dev/sda
# grub-install /dev/sdb
[/BASH]
取代之.

3. 請直接用 blkid 抓到的 devid 放在 /etc/fstab 內
接下來的 update-grub 似乎是直接抓 /etc/fstab 內的資訊.
或是有可能是己 mount 的 mdadm 資訊. (因為我都是用光碟片開機再 chroot 測試)

最後要 Update GRUB 和 initramfs, initramfs 這個動作在 install mdadm 的時候也會做.
[BASH]
# update-initramfs -k `uname -r` -c -t
[/BASH]
Update GRUB
[BASH]
# update-grub
[/BASH]

這一篇不算完整, 因為我才成功一次, 並且沒有空進行測試.
若有錯誤, 敬請指教.

P.S1 雖然如此, 不過我資料碟的 RAID 似乎無法自動用 UUID mount. 原因不明.
P.S2 這次有注意到一件事情, 原來 mdadm –detail /dev/md0 回報的 UUID 和 blkid 回報的 UUID 是不同的, 之前都用 blkid 的 UUID.

The post ubuntu 遷移到 raid 0 的問題. appeared first on richliu's blog.

以這樣的更換頻率來看, Item 1) 和 Item 2) 是最常換的.
像是某 s 長輩搬東西都還要注意 md5 checksum 的問題, 不過我實在是沒有這麼多力氣去處理
所以都只是搬過去就好了.

如果只是 copy data, 那問題還算簡單, 但是 Linux Software Raid Copy 還是需要一些技巧.

我的 Raid 1 Disk 大概二到三年更換一次, 每次都需要查 Software Raid 相關的指令, 很大的機會還會連回到自己的 Blog, 乾脆這次記錄下來, 以後還可以用, 也可以給大家參考

將兩顆新硬碟設定成 Raid 系統

我 Raid 1 系統比較喜歡在 Local 系統上 Copy, 這樣一來可以少掉 network 的 overhead, 也可以確定完整保留檔案的屬性, 是比較好的做法.

在 Copy 之前, 先簡單說一下步驟
1) 將舊的 Raid Disk 卸下來, 換上新的二顆硬碟上去
2) 拿舊的其中一顆裝上去.
3) 使用 Linux LiveCD 開機
4) 將新硬碟(一顆)設上 Raid
5) 將舊硬碟也設上 Raid
6) Copy 系統碟資料
7) 使用新 Raid 重新開機
8) Copy 資料碟資料
9) 卸下舊 Raid 硬碟
10) 將第二顆硬碟加入到 Raid Disk

其中硬體安裝步驟就省略了, 除非我有事業線美女還有大砲級的器材, 不過這二樣我都沒有.

Linux LiveCD 的選擇

這次是使用 Ubuntu 11.04 x86, 新的 Unity 介面看起來不錯, 但是我找不到 Terminal, 要用 Search 的才行, 不過這並不影響使用.
啟動之後主要是要連上網路. 這個就依照個人環境不同修改了.
這是 Static IP 的範例

# ifconfig eth0 211.21.1.1
# route add default gw 211.21.1.254
# echo "nameserver 168.95.1.1" > /etc/resolv.conf
# ping www.hinet.net

安裝 mdadm

因為接下來幾乎都是要在 root 下做, 懶得每次 sudo 的話
就直接切到 root 吧.

# sudo su -
# apt-get install mdadm

設定新硬碟的分割表, 這邊不多說, 用 cfdisk 應該就可以很順利的將二顆硬碟切成一樣的.

sfdisk copy partition

# sfdisk -d /dev/sda > sda.layout
# sfdisk /dev/sdb < sda.layout

sfdisk 已經可以支援 gpt 了（2021年)
或是 sgdisk

$ sgdisk --backup=table /dev/sda 
$ sgdisk --load-backup=table /dev/sdb 
$ sgdisk -G /dev/sdb

新硬碟是二顆 2T 的硬碟, 新的規劃是三個 partition , /var /tmp 呢…. 呃~ 我懶嘛, / 切大一點就好了.
/dev/md1 (First Partition) : System Disk : 50G
/dev/md2 (Second Partition) : Data Disk : 1945G
/dev/md3 (Third Primary Partition) : Swap Disk : 5G
建立 md device node
一般來說, 以我的狀況 4 個就夠用了, 但是我原先的硬碟 /boot 和 / 是分開的, 所以我多建一個.

# mknod /dev/md0 b 9 0 
# mknod /dev/md1 b 9 1 
# mknod /dev/md2 b 9 2 
# mknod /dev/md3 b 9 3 
# mknod /dev/md4 b 9 4

如果是 GPT

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048          616447   300.0 MiB   EF00  EFI System
   2          616448       420046847   200.0 GiB   FD00  Linux RAID
   3       420046848     11700000000   5.3 TiB     FD00  Linux RAID
   4     11700000768     11721045134   10.0 GiB    FD00  Linux RAID

1 : UEFI 用
2 : root 用
3 : /home 用
4 : swap 用
註: 用 Kubuntu 17.04 時, 己經不需要自己建 /dev/md1 的 node.

將新的硬碟規劃成 Raid 1 Device

這邊要注意的是,
1) 新的硬碟在系統內是被抓成 /dev/sdb, 如果看倌要抄的話, 記得要改名.
2) –metadata=0.90 , 表示 Raid 格式用 0.90, 新的 mdadm 支援 1.0, 1.1, 1.2, 查到的資料是 grub 目前不支援 1.0 以上, lilo 看起來也不支援, mdadm 預設支援 1.2 . 有人有提到用 1.2 沒有辦法 auto-detect raid device. 所以這邊一定要停在 0.90. (我是 grub 認不到, 所以有重來過 Orz)
(註: 現在應該可以用 1.2, 但是 boot 還是要用 0.90)
3) Missing : Raid 1 要二顆硬碟, 我這邊只用了一顆硬碟, 另一顆等到 Copy 完畢再做 Sync 即可. 這樣會比較快.

# modprobe raid1
# mdadm --create /dev/md1 -l 1 -n 2 --metadata=0.90 /dev/sdb1 missing
# mdadm --create /dev/md2 -l 1 -n 2 /dev/sdb2 missing
# mdadm --create /dev/md3 -l 1 -n 2 /dev/sdb3 missing

第一行要將 raid1 的 module load 進來, 不知道不執行可不可以, 我是都有執行.
Format Fisk , 這邊就隨你高興了, 不過系統碟建議用 ext3/ext4

# mkfs.ext3 /dev/md1
# mkfs.xfs -f /dev/md2
# mkswap /dev/md3

重建舊的 Raid 硬碟

為什麼只拿一顆硬碟就好, 那是因為舊硬碟是 Raid 1 呀, 所以重建也可以忽略掉另一顆, 這邊我每次都忘記怎麼做, 所以也是這次讓我寫這篇文章的原因.

# mdadm --assemble /dev/md0 /dev/sdc1 missing
# mdadm --assemble /dev/md4 /dev/sdc2 missing
# mdadm --run /dev/md0
# mdadm --run /dev/md4

指令很簡單, 才二行而己, 但是讓我搞很久 -_-!

mount 系統碟

這邊請依照你當時現場的狀況決定.

# mkdir -p /mnt/target
# mkdir -p /mnt/source
# mount /dev/md1 /mnt/target
# mount /dev/md4 /mnt/source
# mount /dev/md0 /mnt/source/boot

清除多餘空間

我的系統是 Gentoo, 在 Copy 之前, 可以先清除一些空間, 讓 Copy 更順暢
這邊的建議是
1) /tmp, /var/tmp : 有些舊系統不會清 /tmp, 和 /var/tmp, 在 copy 之前要清一下
2) 清除 Linux kernel object code
3) 清除 Portage, 這檔案很多又小, /usr/portage/distfiles 又很多 download file, 不必要, 清空
4) 清除 /usr/share/doc : 這個看個人, 我覺得可以清, 但是沒有清的項目.

assume root is /mnt/source

# rm -rf /tmp/*
# rm -rf /var/tmp/*
# cd /usr/src
# cd linux
# make mrproper
# cd /usr/portage
# rm -rf *
# cd /usr/share/doc
# rm -rf *

Copy System Data

# rsync -av /mnt/source/ /mnt/target/

先別休息呀, 還有別的活要幹, 別忘了 LiveCD 是 GUI 介面, Copy 的同時我們還有很多事情要做.
1) 修改 /etc/fstab
2) 安裝 Grub
3) 修改 /boot/grub/menu.lst (如果有需要的話)

# blkid /dev/md1
/dev/md1: UUID="11111111-2be8-4156-98d9-018e20da6dc1" SEC_TYPE="ext2" TYPE="ext3"
# blkid /dev/md2
/dev/md2: UUID="22222222-af0a-41de-a67e-72652a6e8521" TYPE="xfs"
# blkid /dev/md3
/dev/md3: UUID="33333333-e972-4d8f-9879-c58576ea0d03" TYPE="swap"
# vi /etc/fstab

記好 UUID, 準備修改 /etc/fstab, 以下是範例.

UUID=11111111-2be8-4156-98d9-018e20da6dc1 / ext3 noatime 0 0
UUID=22222222-af0a-41de-a67e-72652a6e8521 /home xfs defaults,noatime 0 0
UUID=33333333-e972-4d8f-9879-c58576ea0d03 none swap sw 0 0

安裝 Grub

當 Copy 的差不多的時候, 就可以準備安裝 Grub 了, 步驟是
1) 先 bind 系統上的 /proc /dev 到 目錄內
2) chroot 進去
3) 執行 grub

# cd /mnt/target
# mount --bind /proc proc
# mount --bind /dev dev
# cd ..
# chroot target
# grub
grub> root (hd1,0)
Filesystem type is ext2fs, partition type 0xfd
grub> root (hd1,1)

Filesystem type is xfs, partition type 0xfd

grub> setup (hd1)

如果是 GPT + BIOS 仍然可以用這個指令, 用 grub 應該是有點久了

$ grub-install /dev/sda 
$ grub-install /dev/sdb

如果是搬家還要修一下 grub 的設定, 編輯 /etc/default/grub, 將 mdX 換成你要的開機 raid.
GRUB_CMDLINE_LINUX_DEFAULT=”root=/dev/mdX real_root=/dev/mdX rootfstype=ext4 “
別忘了 update 一下 grub 的設定

grub-mkconfig -o /boot/grub/grub.cfg

grub 判斷 device 不一定很準確, 需要一些經驗.
不過大致上來說,
sda = hd0, sdb = hd1, sdc = hd2 是沒有錯的.
我也有碰過開完機之後是
sda = hd0, sdd = hd2, sdc = hd1
這樣的.
至於 grub.conf (menu.lst) 就跳過了Copy 完就可以重開機了, 順利的話就和原來的系統差不多.

我自己是很順利, 沒有什麼問題.新的系統上, raid 會自己抓到, 在我的系統是在 md126, md127, 之前進系統改過的 Raid 就是 md0 和 md4.
直接再 mount 上去再 rsync 一下.

以我而言, 資料碟大概都是數百 G 上下, 所以 rsync 指令一下, 我就跑去睡覺了.
以上的步驟大概要 2~4 Hours , 依照狀況能力的不同, 不過大概在下午六點左右開始轉換是最好的.

將第二顆硬碟加入 Raid

所有資料都 Copy 完了以後, 確定不會再重開機, 因為 sync 時中斷就要重來, 所以這個步驟大概會耗掉非常久的時間, 以 2T 的硬碟來說, 會超過 14Hours. 如果中間有大量存取會更慢.
這邊要注意的是, 加入的硬碟和 LiveCD 重開抓到的硬碟不同, 所以要用 dmesg | grep sd 看一下, 還有用 cat /proc/mdstat 看一下目前己經加入 Raid 的是那一顆 HDD.

mdadm --manage --add /dev/md1 /dev/sdc1
mdadm --manage --add /dev/md2 /dev/sdc2
mdadm --manage --add /dev/md3 /dev/sdc3

下完指令之後就可以看到在跑 sync 了

# cat /proc/mdstat
Personalities : [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md2 : active raid1 sdc2[2] sda2[0]
1899413056 blocks [2/1] [U_]
resync=DELAYED

md3 : active raid1 sdc3[2] sda3[0]
5269248 blocks [2/1] [U_]
resync=DELAYED

md1 : active raid1 sdc1[2] sda1[0]
48829440 blocks [2/1] [U_]
[==>..................] recovery = 12.4% (6068736/48829440) finish=6.6min speed=107126K/sec

unused devices:

大功告成… 親一個~~

每次這樣備份都要花一天, 有沒有簡單一點的方法呢?
不要說買 Raid Box 二個, 直接 Copy 過去,  Raid Box 又貴又不一定穩定, 我之前買某一家的, 操一年就掛了, 維修的費用快可以買一台新. 所以我再也不想碰 Raid Box.

換掉一顆硬碟

2021/02/27
前二天 Power 掛掉，可能連帶影響到某顆 HDD 出問題，只能再花錢換掉，這次就沒有一次換二顆硬碟，就先換一顆就好

換的過程也不難，大致上就是
1) 裝新硬碟
2) 確定要換下的舊硬碟
3) 將舊硬碟從系統移除
4) 加上新硬碟

檢查目前的 Raid

# cat /proc/mdstat
Personalities : [raid1]
md125 : active raid1 sda3[2] sdc3[0]
      5639845504 blocks super 1.2 [2/2] [UU]
      bitmap: 0/43 pages [0KB], 65536KB chunk

md126 : active (auto-read-only) raid1 sda4[2] sdc4[0]
      10513984 blocks super 1.2 [2/2] [UU]

md127 : active raid1 sda2[1] sdc2[0]
      209715136 blocks [2/2] [UU]
      bitmap: 2/2 pages [8KB], 65536KB chunk

檢查要換下來的硬碟

# smartctl -A /dev/sdc
smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.10.18-gentoo-x86_64] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   090   090   016    Pre-fail  Always       -       3342351
  2 Throughput_Performance  0x0005   138   138   054    Pre-fail  Offline      -       100
  3 Spin_Up_Time            0x0007   156   156   024    Pre-fail  Always       -       412 (Average 433)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       53
  5 Reallocated_Sector_Ct   0x0033   034   034   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   140   140   020    Pre-fail  Offline      -       15
  9 Power_On_Hours          0x0012   096   096   000    Old_age   Always       -       29568
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       52
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       1195
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       1195
194 Temperature_Celsius     0x0002   125   125   000    Old_age   Always       -       48 (Min/Max 24/65)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   034   034   000    Old_age   Always       -       65535
198 Offline_Uncorrectable   0x0008   032   032   000    Old_age   Offline      -       15341
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

這邊可以看到
Current_Pending_Sector Offline_Uncorrectable 這兩個值異常高，雖然 Reallocated_Event_Count 目前是 0 ，但是還是預防性換硬碟好了

將壞掉的硬碟從 Raid 移除

mdadm --manage  /dev/md125 --fail /dev/sdc3
mdadm --manage --remove /dev/md125 /dev/sdc3

mdadm --manage  /dev/md126 --fail /dev/sdc4
mdadm --manage --remove /dev/md126 /dev/sdc4

mdadm --manage  /dev/md127 --fail /dev/sdc2
mdadm --manage --remove /dev/md127 /dev/sdc2

再次檢查 mdstat 的狀態

# cat /proc/mdstat
Personalities : [raid1]
md125 : active raid1 sda3[2]
      5639845504 blocks super 1.2 [2/1] [_U]
      bitmap: 3/43 pages [12KB], 65536KB chunk

md126 : active (auto-read-only) raid1 sda4[2]
      10513984 blocks super 1.2 [2/1] [_U]

md127 : active raid1 sda2[1]
      209715136 blocks [2/1] [_U]
      bitmap: 2/2 pages [8KB], 65536KB chunk

unused devices: <none>

複製 partition 到新硬碟

這一步驟前面也有，不過還是附上

# sfdisk -d /dev/sda > sda.layout
# sfdisk /dev/sdb < sda.layout

檢查 Partition 是不是確定複製過去

# fdisk /dev/sda

Welcome to fdisk (util-linux 2.36.2).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.


命令 (m 以獲得說明)：p

Disk /dev/sda: 5.46 TiB, 6001175126016 bytes, 11721045168 sectors
Disk model: HGST HDN726060AL
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: C82DA0A3-9657-4807-BBEA-79FA0EB48349

所用裝置         Start        結束        磁區  Size 類型
/dev/sda1         2048      616447      614400  300M EFI System
/dev/sda2       616448   420046847   419430400  200G Linux RAID
/dev/sda3    420046848 11700000000 11279953153  5.3T Linux RAID
/dev/sda4  11700000768 11721045134    21044367   10G Linux RAID

命令 (m 以獲得說明)：q
ms1 ~ # fdisk /dev/sdb

Welcome to fdisk (util-linux 2.36.2).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.


命令 (m 以獲得說明)：p
Disk /dev/sdb: 5.46 TiB, 6001175126016 bytes, 11721045168 sectors
Disk model: TOSHIBA MG06ACA6
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: C82DA0A3-9657-4807-BBEA-79FA0EB48349

所用裝置         Start        結束        磁區  Size 類型
/dev/sdb1         2048      616447      614400  300M EFI System
/dev/sdb2       616448   420046847   419430400  200G Linux RAID
/dev/sdb3    420046848 11700000000 11279953153  5.3T Linux RAID
/dev/sdb4  11700000768 11721045134    21044367   10G Linux RAID

命令 (m 以獲得說明)：q

將新硬碟加入 Raid 系統

mdadm --manage --add /dev/md125 /dev/sdb3
mdadm --manage --add /dev/md126 /dev/sdb4
mdadm --manage --add /dev/md127 /dev/sdb2

檢查 raid status

# cat /proc/mdstat
Personalities : [raid1]
md125 : active raid1 sdb3[3] sda3[2]
      5639845504 blocks super 1.2 [2/1] [_U]
      [>....................]  recovery =  3.0% (174198208/5639845504) finish=459.3min speed=198286K/sec
      bitmap: 2/43 pages [8KB], 65536KB chunk

md126 : active raid1 sdb4[3] sda4[2]
      10513984 blocks super 1.2 [2/1] [_U]
        resync=DELAYED

md127 : active raid1 sdb2[2] sda2[1]
      209715136 blocks [2/1] [_U]
        resync=DELAYED
      bitmap: 2/2 pages [8KB], 65536KB chunk

unused devices: <none>

後記

雖然升級 Linux kernel 後 md 的位置都變了，本來從 md1x 變成 md12x，但是整個 Software Raid 1 的移轉算很順利，前後不到 10 分鐘就弄完了，主要還是確認輸入的資料正確性花比較久時間，加上換硬碟的時間大概 30 分鐘

只是買硬碟心比較痛而已

其他

遇到 inactivate md 怎麼辦

這問題很簡單，啟動就好了

$ cat /proc/mdstat
md127 : inactive sda2[1](S)
      209715136 blocks
# mdadm --run /dev/md127

md127 : active (auto-read-only) raid1 sda2[1]
      209715136 blocks [2/1] [_U]
      bitmap: 2/2 pages [8KB], 65536KB chunk

$ mdadm --manage --add /dev/md127 /dev/sdb2
mdadm: re-added /dev/sdb2


$ cat /proc/mdstat
md127 : active raid1 sdb2[0] sda2[1]
      209715136 blocks [2/2] [UU]
      bitmap: 0/2 pages [0KB], 65536KB chunk

The post Linux Software Raid 系統轉移 appeared first on richliu's blog.