TCP 已經是一個非常陳舊的 Protocol ，其中很多特性已經不再適合目前的網路環境，像QUIC架在UDP上層，增加安全性和速度。SCTP主打多連結，可靠性和安全，SCTP在電信環境用的比較多。基於 UDP 大量傳送資料的有 UDT (UDP-Based Data Transfer protocol) 等等

TTPoE 看起來應該是 Telsa 降本增效（名詞好用就拿來用）的實作，因為如果是使用RDMA之類的解決方案應該都有更快的 NIC Card 可以用(目前最快是 800Gbps 2 Ports QSPF-DD), 但是 TTPoE 是用 100G NIC 卡但是重新實做了整個 NIC Card ，雖然這樣講，未來仍然有升級的空間

我認為 TTPoE 的主要設計目地就是 Low Latency and Low Cost，因為 TTPoE 看起來是要做 HBM2HBM 的資料同步，Low latency 應該還是主要考量，因為他們要實作在 Hardware 上

而 data center(DC) 下是 data loseless 的環境，相對的網路環境比較好，如果有開啟 ethernet congession control ，理論下會丟掉的封包比較少，頻寬大。基於這個特性，TTPoE 就是做刪去法，將 TCP 協定中多餘的 Latency 去掉，仍然使用 IP 協定，保有和現有網路的相容性，以下這張圖就可以清楚的知道，TTP 是取代 TCP 的位置，上層仍然能夠跟 RDMA 接，其他 socket 或 APP 應該也可以，不過主要應該還是給RDMA這類高速記憶體協定用

（註： 本圖來自 Tesla’s TTPoE at Hot Chips 2024: Replacing TCP for Low Latency Applications ，原圖應該是 Hot Chips 2024 Telsa 的 slide，以下不再重覆說明 ）

為了讓 Hardware 更容易設計，所以簡化了 TTP 的 Protocol State machine ，這是是目標也是結果，因為簡化 Protocol 也會簡化 state machine

將 TCP 的 Three way handshake 改成 Two way handshake，其實 internet 防火牆需要這個機制判斷是不是真實連線，但是 DC 內部不需要，拿掉合理，也可以減少很多 Latency
有些人要加速會改 TCP ACK 到下一筆資料送出的時間，不過這會造成某些硬體加速器的問題

這邊應該是要將如果有個 Packet 是 NACK ，後面的 packet 都重送，這樣雖然會傳比較多資料，但是 DC package loseless 環境，這樣的機率小，可以接受這樣的設計
TTP 也拿掉 tcp congestion control 這個功能，如果只在 DC 用，這功能完全不需要，因為路上幾乎都是大頻寬，如果頻寬不夠就要從別的地方觀測調整，不是 Protocol 的問題，packet 的 sliding window 就設一個固定值，符合系統大部份時間都可以以最高速運作即可

TTP Protocol 有些有趣的地方，Extension header 二個，第一個是指定 type 用的，第二個可能是未來用，這應該是固定大小，然後 Data payload 是 64 bytes 的倍數

有趣的是用 SRAM size 做 speculative transmission，這個設計我喜歡，好的演算法就是不需要演算法，讓系統自己去調整(self-adaptive)，不過我懷疑這個就是 ethernet 的 tx buffer 講成高大上而已

這意思就是前面還放傳統的 ethernet 架構，TTP mac controller 控制　ethernet 介面傳送資料，灰色部份都是現成的

TTP hardware micro-architecture 設計

下方的 Next packet linked list SRAM，雖然講是 linked list SRAM，不過為什麼不做 array 當 ring buffer 呢？還是指的是同一件事，做過 NIC 卡就知道這種地方設計就固定是那樣，尤其是做成 hardware 又要結構更簡單，所以我才懷疑前面講的 SRAM 做 flow control 就是講這邊，如果 ring buffer 滿了就表示外面滿了

一般這種高階通常都有數個 TX/RX buffer ，不知道是不是因為專供 RDMA 用所以這邊就只畫上一個 TX/RX buffer ？而且不確定是不是因為一個 Buffer 頻寬就滿了（或是 FPGA 只能規劃 1MB，都有可能）

80 microseconds 在高速網路世界已經算很久了，算 OK
slide 最後一行我覺得才是真正的目地，如果是在 AI server 上要跑這個，那不用更高階的卡跑 RDMA 就很合理了

“Mojo” 100GB dumb-NIC （話說我以前做過的某 project 我叫 SmartXXX 呢）
中間這麼大一顆可能是 SoC 也可能是 FPGA ，我覺得 FPGA 的機率大一點，畢竟要改 code 這階段還是用 FPGA 穩定

CPU 的是用 Gen3 x16 和 8GB DDR4，Gen3 比較有趣，表示這真的是降成本達到目地

Latencies ，竟然 TTPoE 比 Nvlink 還快，Nvlink 已經算是對傳了，要過 ethernet 還比較快讓我難以想像

總結

我覺得技術細節透露有限，但是這個方向的確可以大幅減少 latency ，在網路的世界內，減少 latency 就是增加速率和效率，在頻寬固定的狀況之下

雖然相容性不佳，只是給 RDMA 用，但是我覺得仍不失為 intranet 上有趣的應用，而且的確很適合 DC 使用

ref. Github ttpoe Linux kernel 的 software 實作和規格, 要先有 software 才能搞 hardware 啊.

The post TTPoE Tesla Transport Protocol (TTP) Over Ethernet 簡評 appeared first on richliu's blog.

8 Free DNS Services to Block Porn Sites without Installing Software
這一篇就有提一些免費的 DNS 可以防國外的成人內容，像是 OpenDNS OpenDNS Family Shield
DNS 設為
Preferred DNS Server: 208.67.222.123
Alternate DNS Server: 208.67.220.123

不過呢，這樣爸爸也會被擋掉，實在不是一個好解決方案

不過如果你有自已架 Linux Server，這到也不是什麼難事對吧，首先我猜你應該有了 dhcp 和 bind (name server) ，好吧，我知道現在大家都沒有，所以我也是寫來自 high 用的，畢竟我不想寫怎麼架 Linux router

但是其實步驟並不會太複雜的
1. 設定 bind dns 到 OpenDNS 去查資料
在 /etc/bind/named.conf 內的 options session 加上以下這個選項，這樣會讓 bind 強迫去用 OpenDNS 查詢網址

    forwarders {
        208.67.222.123;
        208.67.220.123;
    };

2. 將 dhcp 給的 DNS Server 設到 OpenDNS 和自己架的 name server
修改 /etc/dhcp/dhcpd.conf，修改 DNS Server ，以下是範例

option domain-name-servers 192.168.0.254, 208.67.220.123;

3. 在 dhcpd.conf 內的 subnet session ，讓老爸的電腦變固定 IP，並且 DNS 設定成正常的 DNS，以下是範例，記得填入老爸電腦的 Mac Address.

host father { hardware ethernet 00:11:22:33:44:55; fixed-address 192.168.0.10; option domain-name-servers 8.8.8.8,
1.1.1.1;}

4. 重開 dhcp 和 name server ，大功告成
現在只有老爸能看 P**nHub 了!

這時候有沒有感覺自己架 Linux 真好呢

The post 自架 DNS 防成人內容 appeared first on richliu's blog.

EDITOR=vim sudo -E systemctl edit docker

加上這一段

[Service] 
ExecStartPre=/sbin/iptables -A FORWARD -p all -i br0 -j ACCEPT 
ExecStopPost=/sbin/iptables -D FORWARD -p all -i br0 -j ACCEPT

再重啟你的 Docker 就好了

sudo systemctl stop docker 
sudo systemctl start docker 

要不然就簡單一點，將 FORWARD rule 從預設 DROP 變成 ACCEPT

[Service] 
ExecStartPre=/sbin/iptables -P FORWARD ACCEPT 

ref
[SOLVED] Docker breaks existing bridge I use for KVM/QEMU

The post QEMU Network Problem When Run With Docker appeared first on richliu's blog.

Hardware : Ampere eMag Server with 128GB Memory
Network Card: Intel i210 Gigabit NIC Card * 2

HOST means commands and instructions on host machines
VM means commands and instructions inside VM

Prepare Environment

Apt source

First, please add deb-src to your database, edit file /etc/apt/source.list and removed all “#” before deb-src, then, run follow commands to update apt database (suppose all commands run with sudo or root in this article)

sed -i 's/# deb-src/deb-src/g' sources.list
apt update

Install Packages

It needs to install relative packages in host

sudo apt install -y dpdk dpdk-dev dpdk-doc 

Only needs to install on HOST.

sudo apt install -y qemu-efi bridge-utils

It will install all necessary dpdk packages in host.

Preload Module

It needs to preload vfio-pci modules by default, run following command

echo "vfio-pci" >> /etc/modules

Configure Line Kernel boot command

It needs to reserve hugepages memory space for Linux kernel, it reserves 32 pages and each pages 1GB, total 32GB. Please modify /etc/default/grub , and add hugepagesz=1GB hugepages=32 to GRUB_CMDLINE_LINUX, ex:

GRUB_CMDLINE_LINUX=”console=tty0 hugepagesz=1GB hugepages=32″

then run foloowing command to update grub.cfg

update-grub

Mount hugetlbfs by default

If wants to use hugepage, it needs to mount hugetlbfs somewhere, we can create a directory, ex: /mnt/hugepages and mount hugetblsfs there by default.

mkdir -p /mnt/hugepages
echo "nodev   /mnt/hugepages                  hugetlbfs       defaults,pagesize=1G    0 0 none" >> /etc/fstab

Bind Network Card for DPDK

It wants to let DPDK use current network card, it needs to bind the network card with dpdk. dpdk-devbind command is a useful command.
List current command

 $ dpdk-devbind --status
 Network devices using kernel driver
 0001:01:00.0 'I210 Gigabit Network Connection 1533' if=enP1p1s0 drv=igb unused=vfio-pci
 0002:01:00.0 'I210 Gigabit Network Connection 1533' if=enP2p1s0 drv=igb unused=vfio-pci
 0006:01:00.0 'I210 Gigabit Network Connection 1533' if=enP6p1s0 drv=igb unused=vfio-pci Active 

There are three network card in the machine, we would like to bind 1:1:0.0 and 2:1:0.0 to vfio-pci driver. please used following command to bind those network cards.

dpdk-devbind -b vfio-pci 0001:01:00.0 0002:01:00.0

and check status again

 $ dpdk-devbind --status

Network devices using DPDK-compatible driver
============================================
0001:01:00.0 'I210 Gigabit Network Connection 1533' drv=vfio-pci unused=igb
0002:01:00.0 'I210 Gigabit Network Connection 1533' drv=vfio-pci unused=igb

Network devices using kernel driver
============================================
0006:01:00.0 'I210 Gigabit Network Connection 1533' if=enP6p1s0 drv=igb unused=vfio-pci Active 

Both network cards would be under Network devices using DPDK-compatible driver .

Prepare QEMU environment

Set up bridge devices

We already install bridge-utils before, now, it should configure bridge devices.

mkdir -p /etc/qemu
echo "allow br0" > /etc/qemu/bridge.conf

Because there is only one network interface on machine, we should use this interface as bridge device, save text below and modify it to fit your environment.

 ORIGNIC=enP6p1s0

 ip addr flush enP6p1s0


 brctl addbr br0
 brctl addif br0 enP6p1s0
 ifconfig br0 up
 ifconfig br0 192.168.110.1 netmask 255.255.0.0
 route add default gw 192.168.1.1


 echo nameserver 8.8.8.8 >> /etc/resolv.conf 

Run script, command brctl show will show how whether it configure property or not.

Prepare QEMU image

Ubuntu 18.04 cloud image is here

wget http://ftp.yzu.edu.tw/Linux/ubuntu-cloud-images/bionic/current/bionic-server-cloudimg-arm64.img

and please refer this article to change cloud image’s password
Change Ubuntu Cloud Image Password, before use it, don’t forget to increase cloud image size. 20G is enough for test.

qemu-img resize bionic-server-cloudimg-arm64.img +20G

Next step is to create bios and nvram for qemu image boot.

dd if=/dev/zero of=flash0.img bs=1M count=64
dd if=/usr/share/qemu-efi/QEMU_EFI.fd of=flash0.img conv=notrunc
dd if=/dev/zero of=flash1.img bs=1M count=64

Run Qemu

Here is qemu command, save text below and run it

 IMAGE=bionic-server-cloudimg-arm64.img
 sudo qemu-system-aarch64 -name vm1 \
         -machine virt,gic_version=3,accel=kvm,usb=off \
         -cpu host -m 8192 \
         -smp 12,sockets=1,cores=12,threads=1 \
         -nographic -nodefaults \
         -pflash flash0.img -pflash flash1.img \
         -device vfio-pci,host=0001:01:00.0 \
         -device vfio-pci,host=0002:01:00.0 \
         -drive file=$IMAGE,if=none,id=disk1 \
         -device virtio-blk-device,scsi=off,drive=disk1,id=virtio-disk1,bootindex=1 \
         -netdev tap,id=net0,ifname=tap0 \
         -device virtio-net-device,netdev=net0 \
         -mem-path /mnt/hugepages \
         -serial telnet::9001,server,nowait > guest1_log.txt 2>> guest1_log.txt &
 sleep 5
 brctl addif br0 tap0 

-m 8192 : use 8G RAM for VM
–mem-path will use /mnt/hugepages for VM memory

it will create a network device tap0 for bridge device interface between VM and host. and create a telnet server on port 9001, it can use “telnet 9001” to get console, I would like to suggest to use ssh if it can access console.

Remove cloudinit service

it needs to remove cloud-initramfs-copymods, it will copy modules from ramdisk to harddriver, and cloud-init, it’s for some cloud service like aws(?)

removed them would help system runs better.

apt remove cloud-initramfs-copymods cloud-init 

Disable Services

After boot, it needs to disable some default service to improve speed, here is some services can be disabled. (needs run those command with root)

systemctl disable ufw
systemctl disable lxcfs
systemctl disable atd
systemctl disable cron
systemctl disable irqbalance
systemctl disable apparmor
systemctl disable apport
systemctl disable ebtables
systemctl disable grub-common
systemctl disable unattended-upgrades
systemctl disable iscsid

Most import service is irqbalance, without disable it, performance will be drop down.

Now, it can reboot VM now.

Prepare QEMU environment

Prepare QEMU environment and prepare host almost the same, only differences are

1. in QEMU, apt install doesn’t needs to install qemu-efi and bridge-utils
2. in QEMU, before call dpdk-devbind command, it needs to configure enable_unsafe_noiommu_mode for ARM64 platform
3. Hugepage size is different , in HOST it uses 32G, in VM we uses 4G

Enable unsafe noiommu

echo 1 > /sys/module/vfio/parameters/enable_unsafe_*

To permanently enable the no-IOMMU mode, add it to modprobe.d: (ref)

echo "options vfio enable_unsafe_noiommu_mode=1" > /etc/modprobe.d/vfio-noiommu.conf

It also needs to reserve hugepages memory space for Linux kernel for VM, it reserves 4 pages and each pages 1GB, total 4GB. Please modify /etc/default/grub , and add hugepagesz=1GB hugepages=4 to GRUB_CMDLINE_LINUX, ex:

GRUB_CMDLINE_LINUX=”console=tty0 hugepagesz=1GB hugepages=4″

then run foloowing command to update grub.cfg

update-grub

Run DPDK l3fwd

Before run l3fwd, we need to recompile it.

. /usr/share/dpdk/dpdk-sdk-env.sh
make -C /usr/share/dpdk/examples/l3fwd

Bind network interface

dpdk-devbind -b vfio-pci  enp0s1
dpdk-devbind -b vfio-pci  enp0s2

Run l3fwd example

cd /usr/share/dpdk/examples/l3fwd/build
./l3fwd -c 1 -- -p 0x3 --config="(0,0,0),(1,0,0)"

Multi Queue example

./l3fwd -l 1,2,3,4 -n 4 -- -p 0x3 --config="(0,0,1),(1,0,2),(0,1,3),(1,1,4)"

Other

There is good tool to get hugepage information

apt install hugepages
hugeadm --pool-list

The post Ubuntu 18.04 ARM64 DPDK in VM (QEMU) appeared first on richliu's blog.

以下假設各位用 root 跑 (我好懶)

Download RP-PPPoE

$ apt-get remove pppoe
$ apt-get install ppp ppp-dev pppoeconf
$ wget https://dianne.skoll.ca/projects/rp-pppoe/download/rp-pppoe-3.13.tar.gz
$ tar xvzf rp-pppoe-3.13.tar.gz
$ cd rp-pppoe-3.13/src
$ wget https://www.roaringpenguin.com/files/download/rp-pppoe-3.12.tar.gz
$ tar zxvf rp-pppoe-3.12.tar.gz
$ cd rp-pppoe-3.12/src

Apply Patch (3.13 fixed this problem)

依照下面的文字 patch rp-pppoe 的 source code

--- a/pppd/plugins/rp-pppoe/plugin.c	2016-11-29 15:39:09.289843383 +0530
+++ b/pppd/plugins/rp-pppoe/plugin.c	2016-11-29 15:39:22.659843111 +0530
@@ -49,6 +49,8 @@
 #include <net/ethernet.h>
 #include <net/if_arp.h>
 #include <linux/ppp_defs.h>
+#define _LINUX_IN_H
+#define _LINUX_IN6_H
 #include <linux/if_pppox.h>
 
 #ifndef _ROOT_PATH

Compile rp-pppoe and install

$ ./configure
$ make
$ make rp-pppoe.so
$ make install

Configure file /etc/ppp/pppoe-server-options

# PPP options for the PPPoE server
# LIC: GPL
require-pap
#login
auth
lcp-echo-interval 10
lcp-echo-failure 2
ms-dns 192.168.1.254
logfile /var/log/pppd.log

plugin /etc/ppp/plugins/rp-pppoe.so

Password file /etc/ppp/chap-secrets

# Secrets for authentication using CHAP
# client server  secret         IP addresses
"user1"  *         "123456"    *

Setting NAT

$ echo 1 > /proc/sys/net/ipv4/ip_forward
$ iptables -A POSTROUTING -t nat -o ens33 -j MASQUERADE

Running PPPoE Server

example

$ pppoe-server -I ens34 -L 10.10.10.1 -R 10.10.10.100 -N 100

-I interface name
-L client’s gateway ip。
-R client start ip address
-N allow users

In syslog file, it should have rp-pppoe.so loaded keyword

Jun 29 00:21:01 TEST1804-1 pppoe[2106]: read (asyncReadFromPPP): Session 1: Input/output error
Jun 29 00:21:24 TEST1804-1 pppoe-server[5992]: Session 1 created for client 02:0f:b7:81:00:01 (10.10.10.100) on ens34 using Service-Name ''
Jun 29 00:21:24 TEST1804-1 pppd[5992]: Plugin /etc/ppp/plugins/rp-pppoe.so loaded.
Jun 29 00:21:24 TEST1804-1 pppd[5992]: RP-PPPoE plugin version 3.12 compiled against pppd 2.4.7
Jun 29 00:21:24 TEST1804-1 pppd[5992]: pppd 2.4.7 started by richliu, uid 0
Jun 29 00:21:24 TEST1804-1 pppd[5992]: Using interface ppp0
Jun 29 00:21:24 TEST1804-1 pppd[5992]: Connect: ppp0 <--> /dev/pts/4
Jun 29 00:21:24 TEST1804-1 systemd-udevd[5995]: link_config: autonegotiation is unset or enabled, the speed and duplex are not writable.
Jun 29 00:21:27 TEST1804-1 pppd[5992]: PAP peer authentication succeeded for user1

ref.
[SOLVED] Conflict between kernel and glibc headers when compiling PPP
Set up PPPoE Server on Ubuntu
Ubuntu pppoe server

The post Ubuntu PPPoE Server 架設 appeared first on richliu's blog.

因為是測試用 code, 所以也不要太在乎語法什麼的
輸出可以正確的跑出 microsoft 網站的 sample

$ ./a.out
sip: 187.149.9.66   dip:80.100.142.161 sport:1766   dport:2794   hash: 51ccc178

目前的 code 會計算 4 個 IP
像是這樣

$ ./a.out
sip: 192.168.1.100  dip:10.0.0.100     sport:1000   dport:1000   hash: 8c2cb4f
sip: 193.168.1.100  dip:10.0.0.100     sport:1000   dport:1000   hash: ef1317e8
sip: 194.168.1.100  dip:10.0.0.100     sport:1000   dport:1000   hash: 5f061160
sip: 195.168.1.100  dip:10.0.0.100     sport:1000   dport:1000   hash: 2324d4ee

連檔名都叫 a.out 我真懶

#include <stdint.h>
#include <stdio.h>
#include <endian.h>
#include <string.h>
#include <arpa/inet.h>

/** rss data type */
typedef union {
uint8_t u8[40];
uint32_t u32[10];
} rss_key;

/** IPv4 tuple
*
*/
typedef struct thash_ipv4_tuple {
uint32_t src_addr;
uint32_t dst_addr;
union {
struct {
uint16_t sport;
uint16_t dport;
};
uint32_t sctp_tag;
};
} thash_ipv4_tuple_t;

/** Thash tuple union */
typedef union {
thash_ipv4_tuple_t v4;
//thash_ipv6_tuple_t v6;
} thash_tuple_t;
static const rss_key default_rss = {
.u8 = {
0x6d, 0x5a, 0x56, 0xda, 0x25, 0x5b, 0x0e, 0xc2,
0x41, 0x67, 0x25, 0x3d, 0x43, 0xa3, 0x8f, 0xb0,
0xd0, 0xca, 0x2b, 0xcb, 0xae, 0x7b, 0x30, 0xb4,
0x77, 0xcb, 0x2d, 0xa3, 0x80, 0x30, 0xf2, 0x0c,
0x6a, 0x42, 0xb7, 0x3b, 0xbe, 0xac, 0x01, 0xfa,
}
};

static inline
uint32_t thash_softrss(uint32_t *tuple, uint8_t len,
const rss_key key)
{
uint32_t i, j, ret = 0;

for (j = 0; j < len; j++) {
for (i = 0; i < 32; i++) {
if (tuple[j] & (1 << (31 – i))) {
ret ^= htobe32(((const uint32_t *)
key.u32)[j]) << i | (uint32_t)((uint64_t) (htobe32(((const uint32_t *)key.u32) [j + 1])) >> (32 – i));
}
}
}

return ret;
}
int main(int argc,char *argv[]){
thash_tuple_t tuple;
uint32_t hash;
uint32_t tuple_len;
struct in_addr ip_addr_s,ip_addr_d;
char str_s[15], str_d[15];

#if 0
tuple.v4.src_addr = (uint32_t) inet_addr(“66.9.149.187”);
tuple.v4.dst_addr = (uint32_t) inet_addr(“161.142.100.80”);
ip_addr_s.s_addr = tuple.v4.src_addr;
ip_addr_d.s_addr = tuple.v4.dst_addr;
tuple_len += 2;
tuple.v4.sport = htobe16(2794);
tuple.v4.dport = htobe16(1766);
tuple_len += 1;
#endif

for(int i=0;i<4;i++){
tuple_len = 0;
hash = 0;

tuple.v4.src_addr = (uint32_t) inet_addr(“192.168.1.100”);
tuple.v4.src_addr = be32toh(tuple.v4.src_addr);
tuple.v4.src_addr=tuple.v4.src_addr+i*4;
tuple.v4.src_addr = htobe32(tuple.v4.src_addr);
tuple.v4.dst_addr = (uint32_t) inet_addr(“10.0.0.100”);
ip_addr_s.s_addr = tuple.v4.src_addr;
ip_addr_d.s_addr = tuple.v4.dst_addr;
tuple_len += 2;
tuple.v4.sport = htobe16(1000);
tuple.v4.dport = htobe16(1000);
tuple_len += 1;

if (tuple_len){
tuple.v4.src_addr = be32toh(tuple.v4.src_addr);
tuple.v4.dst_addr = be32toh(tuple.v4.dst_addr);
tuple.v4.sctp_tag = be32toh(tuple.v4.sctp_tag);
hash = thash_softrss((uint32_t *)&tuple,
tuple_len, default_rss);
}

ip_addr_s.s_addr = htobe32(tuple.v4.src_addr);
ip_addr_d.s_addr = htobe32(tuple.v4.dst_addr);
strcpy(str_s,inet_ntoa(ip_addr_s));
strcpy(str_d,inet_ntoa(ip_addr_d));
printf(“sip: %-14s dip:%-14s sport:%-6d dport:%-6d hash: %x \n”,
str_s,str_d,
tuple.v4.sport,
tuple.v4.dport, hash);

}

return hash;
}

附帶一提, 如果在 Linux 下要修改 hash key . 可以用 ethtool 這個指令, ex:

$ ethtool -X enp5s0f4 hkey 6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a:6d:5a

ref.
Verifying the RSS Hash Calculation : 可以比對計算出是不是正確
Symmetric RSS : 有趣的文章, 提到原來的功能沒有辦法有效的 hash , 將所有的 key 都改 0x6d5a 就可以
Scalable TCP Session Monitoring with Symmetric Receive-side Scaling
Scaling in the Linux Networking Stack
odp_classification.c

The post RSS Toeplitz Hash Calculation C Code appeared first on richliu's blog.

這時候就要用 Zone Forward 指令

例如:

zone "subzone.mydns.example.com" {
  type forward;
  forwarders { 192.168.0.4; };
};

這樣就可以了

ref
How to properly configure BIND forward zone for an internal DNS server?
DNS BIND zone clause

The post Bind Zone Forward appeared first on richliu's blog.

剛剛長輩提示, Hinet 也可以線上申請 IPv6

到 中華電信網路客服中心 , 選更多線上服務.
找到 IPv6 , 登入之後再申請即可

開通之後, 快的話數個小時就會開通, 如果沒有開通, 過幾天工程人員也會打電話通知你.

如何知道有沒有開通, PPPoE 設定完之後, 重新撥接可以用 PPPoE or DHCP 取得 IPv6 IP.

如果是 ubuntu 預設套件, 請編輯 /etc/ppp/option
並且加上

ipv6 ,

請注意有逗號, 中間有空白. 然後再重新撥接 PPPoE 就可以.

如果是用 Gentoo/rp-pppoe, 請編輯 /etc/ppp/option 加上這一行

+ipv6 ipv6cp-use-ipaddr

這樣就可以取得 IPv6 IP.

如果不能取得 IP, 請檢查有沒有執行 radvd
Gentoo 執行 /etc/init.d/net.ppp0 restart 之後, 會自動帶起來 radvd, 這時候會造成 radvd 影響取得 IPv6 的 IP
所以在 /etc/rc.conf 下將 rc_depend_strict 設 “NO” 就不會自動呼叫 radvd (其他 service dependency 也會受影響, 請注意)

另外還在 /etc/conf.d/net 加上 code 確保 radvd 一定沒有執行

postdown() {
if [ ${IFVAR} == “ppp0” ] ; then
/etc/init.d/radvd stop
sleep 2
killall -9 radvd
fi
return 0
}

如果 Linux 這一台是 Router 時, 從 Hinet 那邊取得的 IPv6 Routing 要稍稍修改一下才能正確傳遞到內網
因為預設的 Interface 是 /64 的 IP, 在 route table 那邊會多一行 /64 的 routing table, 這個 record 會讓 IPv6 Forwarding 不正常
像是這樣,

2001:b011:3810:cc9::/64 :: UA 256 0 0 ppp0

這時候就要重新設定 ppp interface 的 IP 和 routing table.

所以我做了如下的設定
1) 取得 IPv6/default gateway IP
2) 將 ppp0 的 interface 改成 /128
3) 寫入資訊到 radvd
4) 啟動 radvd
5) 加入原來 hinet 的 default gateway IP

這樣就大功告成了, 內網也可以順利的透過 Linux 連到外部去.
這邊就不解釋各步驟要下什麼指令, 直接看 script 比較快

WANIF=ppp0
LANIF=eth1
WANIP=`ifconfig ppp0 | grep inet6 | grep global | awk ‘{print $2}’`

if [ x${WANIP} == “x” ] ; then
echo “NO IPv6 Address !!!!!!!”
exit 0
fi

GATEWAY=`route -n6 | grep ppp0 | grep “::\/0″ | awk ‘{print $2}’| head -1`
RADVDCFG=”/etc/radvd.conf”
PREFIX=`echo ${WANIP}| cut -d ‘:’ -f1`”:”`echo ${WANIP}| cut -d ‘:’ -f2`”:”`echo ${WANIP}| cut -d ‘:’ -f3`”:”`echo ${WANIP}| cut -d ‘:’ -f4`
echo “WANIP : ${WANIP}”
echo “GATEWAY : ${GATEWAY}”
echo ${PREFIX}
# Create RADVD configuration file
cat>${RADVDCFG}<<EOL
interface ${LANIF}
{
AdvSendAdvert on;
prefix ${PREFIX}::/64
{
AdvOnLink on;
AdvRouterAddr on;
AdvAutonomous on;
};
};
EOL

ifconfig ${WANIF} inet6 del ${WANIP}/64
ifconfig ${WANIF} inet6 add ${WANIP}/128
# assign one for LAN to avoid routing problem
ifconfig $(LANIF) inet6 add ${PREFIX}::1/64

ip -6 route del ${PREFIX}::/64 dev ppp0
sleep 1
/etc/init.d/radvd start
sleep 1

route -A inet6 add default gw ${GATEWAY} dev ${WANIF}

有防火牆也可以參考這個 script 取得目前的 IP .

在 /etc/conf.d/net 加上一些 code 讓他呼叫這個 scrip.

postup() {

if [ ${IFVAR} == “ppp0” ] ; then
echo test
sleep 3
bash /usr/local/script/ipv6.sh
fi
return 0
}

如果是用 dhcpcd 這個套件取得 IP, 並且要設定另一個介面的 Interface , 可以參考這個設定

duid
noipv6rs
waitip 6
# Uncomment this line if you are running dhcpcd for IPv6 only.
ipv6only

# use the interface connected to WAN
interface ppp0
ipv6rs
iaid 1
# use the interface connected to your LAN
ia_pd 1 eth2
#ia_pd 1/::/64 eth2/0/64

小州大大的 DHCP6C 配置 (偷來放 BLOG 他應該不會介意)

# use the interface connected to your WAN
interface ppp0 {
send ia-pd 0;
};

id-assoc pd 0 {
# use the interface connected to your LAN
prefix-interface eth2 {
sla-id 1;
sla-len 8;
};
};

之前在 Facebook 上和小州大大討論過, 他是用 PPPoE 取得第一段 IPv6 , 用 DHCPv6 取得第二段, 所以會拿到二組不同的 IPv6 IP.
我這個方法設定麻煩, 但是只會拿到一組 IPv6 的 IP.

Ref.
Linux透過PPPoE取得IPv6的IP

The post [Gentoo][Linux] Hinet PPPoE IPv6 Dual Stack 設定 appeared first on richliu's blog.

時間模組是用 iptables 的 time , 寫起來像是這樣

iptables -N limit_fb => 新增一個新個 Rule 叫 limit_fb
iptables -A OUTPUT -p tcp -m tcp -m time --kerneltz --timestart 22:00 --timestop 18:00 --dport 443 -j limit_fb

--timestart 是開始時間
--timestop 是結束時間
--kerneltz 是使用本地時間, 不設預設用 UTC 

因為 Facebook 都是用 https , 所以沒有很好的方式可以過濾 url
所以我選擇用 IP/RANGE 的方式阻擋.
Facebook 的所有 IP 位置可以從 AS 取得
用一個簡單的指令就可以取得

$ whois -h whois.radb.net ‘!gAS32934

將所有的 IP 加到 Rule tables 內

FBAS=`whois -h whois.radb.net ‘!gAS32934’ | tail -n 2 | head -n 1`
for i in $FBAS; do
$iptables -I limit_fb -d $i -j DROP
done

效果還不錯

最近又接上 IPv6 了, 如果要取得 Facebook IPv6 的範圍, 可以用這個指令

FBAS=`whois -h whois.radb.net — ‘-i origin AS32934’ | grep route6 | awk ‘{print $2}’`
for i in $FBAS; do
$ip6tables -I limit_fb -d $i -j DROP
done

ref.
Get all IP ranges from an AS number
Whois at the CLI: get all IP ranges from an AS number

懶得加一篇文章了

最近要限制小孩看電視，找出電視的 IP ，下這個指令

iptables -A FORWARD -p tcp -s 192.168.1.163 -m state --state NEW,ESTABLISHED -m time --timestart 06:00 --timestop 18:00  --weekdays Mon,Tue,Wed,Thu,Fri --kerneltz -j REJECT

比起限制 Facebook 的指令，這邊多了 weekdays ，只限制星期一到星期五的晚上六點之前，六點之後因為在家就可以直接限制了

The post [Linux] 限制時間上 Facebook appeared first on richliu's blog.

Logger configuration

其他可以debug 的參數還有
types are dmn, mgr, ike, chd, job, cfg, knl, net, asn, enc, lib, esp, tls, tnc, imc, imv, pts and the level
is one of [-1, 0, 1, 2, 3, 4] (for silent, audit, control, controlmore, raw, private). By default, the level
is set to 1 for all types.

ipsec.conf: config setup

如果是要 decode ESP 封包, 要下 command
# ip xfrm state
src —.—.—.— dst —.—.—.—
proto esp spi 0xc5833fd7 reqid 4 mode tunnel
replay-window 32 flag af-unspec
auth-trunc hmac(sha1) 0xde33744975f816f9fdcb7969a3d5a337 96
enc cbc(aes) 0x9bf7b545ba3e35523c9a0c9f74b2c386ffb4634d
src —.—.—.— dst —.—.—.—
proto esp spi 0xc985f51a reqid 4 mode tunnel
replay-window 32 flag af-unspec
auth-trunc hmac(sha1) 0xf1341b4ddeb700925a8294264b271130 96
enc cbc(aes) 0x2f7a7dc8e136ed645d13b89fcd7b408fce3636ad
取出 SPI , encryption key and authentication key 填到 Wireshark ESP protocol 的 ESP SAs 內就可以了. 

The post Strongswan ipsec debug appeared first on richliu's blog.

eth0: 1000 Mbps Full duplex, port 0
ADDRCONF(NETDEV_UP): eth0: link is not ready
ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
IP-Config: Complete:
device=eth0, addr=10.102.81.59, mask=255.255.255.0, gw=10.102.81.1
host=10.102.81.59, domain=, nis-domain=(none)
bootserver=10.102.81.66, rootserver=10.102.81.66, rootpath=
VFS: Unable to mount root fs via NFS, trying floppy.
VFS: Cannot open root device “nfs” or unknown-block(2,0): error -6
Please append a correct “root=” boot option; here are the available partitions:

首先要在 bootargs 放上nfsrootdebug 參數找出真正的原因, 然後就會出現

ADDRCONF(NETDEV_UP): eth0: link is not ready
ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
IP-Config: Complete:
device=eth0, addr=10.102.81.59, mask=255.255.255.0, gw=10.102.81.1
host=10.102.81.59, domain=, nis-domain=(none)
bootserver=10.102.81.66, rootserver=10.102.81.66, rootpath=
Root-NFS: nfsroot=/home/work/nfs/fusion.nfsvers=3
NFS: nfs mount opts=’vers=2,udp,rsize=4096,wsize=4096,nolock,addr=10.102.81.66′
NFS:   parsing nfs mount option ‘vers=2’
NFS:   parsing nfs mount option ‘udp’
NFS:   parsing nfs mount option ‘rsize=4096’
NFS:   parsing nfs mount option ‘wsize=4096’
NFS:   parsing nfs mount option ‘nolock’
NFS:   parsing nfs mount option ‘addr=10.102.81.66’
NFS: MNTPATH: ‘/home/work/nfs/fusion.nfsvers=3’
NFS: sending MNT request for 10.102.81.66:/home/work/nfs/fusion.nfsvers=3
NFS: MNT server returned result -13
NFS: unable to mount server 10.102.81.66, error -13

這個問題只要加上 nolock 參數就好了, 所以 nfsroot args 會長的像這樣

mem=512M root=/dev/nfs rw nfsroot=${serverip}:/nfs/fusion,nfsvers=3,nolock ip=${ipaddr}:${serverip}:${gatewayip}:255.255.255.0::eth0:off’

ref: Nfs root

The post NFS 碰到的怪問題 appeared first on richliu's blog.

作者：林宗男（台大電機系暨電信所教授）

最近引發國人關切的中國樂視網事件，到底樂視網的伺服器放在遠傳的機房是否只是NCC官員所宣稱的新興媒體(over-the-top)的一種，全世界只有中國與新加坡在管制？立法委員是否小題大作呢？從NCC官員在立法院的回答，可知官員完全是技術的門外漢，財團見錢眼開，完全忽視此舉對資安、國安帶來的衝擊，將造成我國資安防護出現破洞的嚴重結果。

要了解樂視網這個事件對資安帶來的衝擊，必須先解釋一下網際網路運作的基本原理。目前網際網路是透過TCP/IP的階層架構(layer architecture)來提供服務，在應用層(Application Layer)可提供使用者各式各樣的服務，如:多媒體串流視訊、電子商務、社群網站。 這些透過網際網路第三方業者提供的over-the-top service (OTT)應用服務， 並不需要由電信業者經營，只不過提供這些OTT應用服務的資訊，需經由電信業者所建設的實體通訊網路，傳遞至消費者端。

我國是自由民主的國家，民眾可以不受限制至美國亞馬遜網站或中國淘寶網購物，或透過串流服務(如Youtube)收看視訊內容。這些OTT 的資訊(Application layer)，藉由傳輸層(transport layer)的TCP封包傳送。 TCP封包必須靠底層(Layer 1及Layer 2)的實體網路設備達到網際網路的通透性。電信業者所建設的實體通訊網路，因為攸關國家安全至鉅，各國都是列為國家的關鍵基礎設施，受到嚴密保護。之前有數百位電機資訊學者，連署反對服貿對中方開放第二類電信服務，就是基於這個原因。

樂視網這個事件的嚴重性，在於實體通訊網路資安防護的破窗效應。樂視網伺服器放置於第一類電信業者的機房，並且與其他業者界接(peering)，並不是單純的屬於應用層資訊的新興媒體的服務。美國亞馬遜沒有將其資訊設備置於我國境內，並不妨礙民眾上美國亞馬遜網站購物。當中資將其資通訊設備置於我方機房內，防護外部攻擊的資安防護設備:如防火牆、入侵預防系統(IPS)等，將產生無法有效防堵內部人攻擊(insider attack)的疑慮。以樂視網的規模,日均使用者超過5000萬, 月均超過3.5億通訊量,也形成盜取資安機密最佳的掩護。第一類電信業者機房的界接，也變成駭客來尋找其他公司或政府機關資訊系統漏洞的私密便道。

這個事件說明突破特洛伊城牆的第一隻木馬已經進駐，對我國通訊網路產生的破窗效果，將造成台灣資安管理敵我關係的弱化。先不去談論它所提供的節目是否違反廣電法之虞；單是對於資安與國安的衝擊就是顯而易見的。法律背景的政府官員對於技術的不熟悉還能理解，提供電信服務的第一線業者如此作為，則是更令人不解！

因為大神都沒有寫文章出來解釋, 小弟根據自己的經驗, 參考有實務經驗友人的意見拙作一篇.

關於這一篇, NCC 官員在立法院的回答是不是門外漢我不知道(也懶得查), 但是這篇確是百分之百的門外漢寫的.
原因如下.

其實他根本不用拿專有名詞出來的, 講這四層就是給人笑話的. 這四層是

他要講什麼, 我也不知道, 到不是不理解, 而是不知道他要表達什麼.
我猜他講的是 Network Interface 可以直接存取到底層的設備.
照他這個理論, 所有的網路封包都可以存取到最底層. 包含從國外來的. (註: Network Interface Layer 的某些資訊像是 MAC Address 在過路由器之後就會不見, 所以正常的封包是無法接觸到內部網路的 Mac Address)

一般來說, 大家上網和伺服器之間, 只要在 Application Layer 加密之後, 例如像連上 Google 或是 Facebook , 網址前面是 https://www.google.com.tw 和 https://www.facebook.com, 這就代表己經加密了.
加密後, 除非是像 NSA 之類的偶爾一些流言己經可以破解連線數據, 其他人短期內要在中間破解的難度仍然比較高一點. (並不是不可能, 但不在本文撰寫的範圍之內)

其他的部份我不知道他在講什麼, 老實說應該一般人也看不懂, 拿出教授名號就是對的, 嚇一下大家就覺得他講的對. 知道的人就知道他寫的東西根本錯誤很多.

電信機房長的類似這樣. 一櫃一櫃的.  一般企業就租個一櫃內一到數層, 或是租個幾櫃, 或是更多, 這不一定. (也有其他方案, 不贊述)

一般 ISP/IDC (像中華電信或是遠傳機房)會拉一條網路線或是局端設備在租用的機櫃.
進入維護時需登記, 進去之後只有自己公司的機櫃會打開, 無法接觸到其他的機櫃, 只能維護自己的設備.

機櫃內的安全設備架設大概像下圖, 各公司可能差異很大, 但是大部份中型網站大致上會長得像這樣. 電信公司提供 Router 和 Switch 負責交換網路, 公司進來第一層是防火牆(Firewall), 有些注重資安的公司大多都用功能較強的 IPS, 可以同時偵測疑似入侵行為並且馬上防護. 接下來是負載平衡設備再接到許多伺服器上, 以便同時提供服務.

公司和公司之間並不直接相連(peer), 在這個圖上就可以看到, 公司對公司之間還是有防火牆和入侵偵測, 除非網路架構設計錯誤, 否則並不會有他文內所謂的內部人攻擊. 除非是自己攻擊自己. (那這個就是另一個問題).

至於大流量盗取資安機密也是笑話, 如果他真的能盗取足夠的機密資料.
隨便一個家用網路像是 Hinet 光世代, 加上加密線路 IPSEC 或是 TOR 這種匿名網路, 以台灣的能力都很難監控到. 而且台灣的網路基礎建設還可以, 上傳並不會是件太困難的事情.

綜合以上他想說的可能會像是, 入侵別人網站取得大量資料隨時上傳.
大概像是即時備份之類的吧. 這個有可能, 不過如果都能盜取了, 為什麼還要一個中介站轉資料出來呢? 不直接在被駭入的機器上傳?

至於拿美國亞馬遜網站做例子就更顯得無知,
樂視是中國 OTT (Over the top), 簡單的說, 就是越過傳統的第四台, 或是中華電信 MOD 等載體, 由內容/版權持有者, 直接將內容提供給收視戶的技術.
美國 Amazon 提供的是購物網站, 內容不用即時, 速度稍慢也沒有關係. (事實上 Amazon 可能有買當地的代理伺服器提供內容快取服務加速), 頻寬耗用比樂視這種影音服務小很多.
而樂視提供下載影片是需要在當地提供大量頻寬的服務(我不確定有沒有用P2P, 印像樂視有, 但是猜測高畫質可能是直接提供). 所以在需要在當地架設機房.
假設台灣的收視戶夠多, 台灣和中國之間的頻寬不夠, 這會限制樂視的總收視戶, 台灣和中國之間的頻寬並沒有寬到足以提供台灣當地的樂視收視戶. 這應該是樂視要在本地租用機房的原因.

而這件事最大的問題可能在於:
1. 這些版權物是不是有受到中華民國官方單位的審核? 雖然我是覺得根本不必審核, 不過某種程度這也是展現國家公權力. NCC雖然大家覺得他很爛, 但是很爛不表示不應該有審核的機構. (像是影片分級或是動畫分級, 甚至是遊戲分級等等)
2. 會不會有對中華民國不友善或是惡毒的意識型態存在, 但是台灣卻沒有辦法”管理”, 雖然我是贊成言論自由, 但是言論自由侵犯到他人的自由或是虛偽不實的言論, 我個人認為仍然需要管制.
這些都是有興趣的人可以好好追查的, 同樣不在本文主要討論範圍.

至於 ISP/IDC 提供租用機房的服務就像是 ISP/IDC 提供水電冷氣和網路頻寬, 主要是大頻寬, 可能給予某些比家用戶更高的網路優先權, 保證頻寬或是固定IP. 除此之外和家用網路並無不同. 無需擔心.

大致上就和他的反服貿二類電信一樣, 其實管控得宜不會影響到國家主幹網路.

至於可能發生的潛在問題是什麼, 大膽猜測一下

1) 樂視人員進入維護可能具有大陸人身份, 有潛在風險. (是說中國的機房我也去了很多次了, 那邊都沒有在防台灣人的)
2) 樂視的伺服器可以存取電信業者的 switch router 進而進入電信內部網路. 不過這個駭入別家公司也有可能做得到, 不必大費週章.
3) 不當的接線讓樂視和公司 B 直連, 直接接取公司 B 內部網路. 這個屬人員控管和機房控管問題, 的確有可能發生, 不過不是單純的讓他放機器就可以達到目地的.

後記

其實這篇我很早就寫好了, 比上一篇Raid 5 重建的機率很低嗎?還早.

原因是我覺得這篇的概念太簡單, 這應該是這個產業內人人都大概可以知道的東西,
上 FB 或是問一下業界人士大概都可以得到這樣的答案. 但是就是因為太簡單, 我才沒有發出去, 這些日子以來, 我都在想, 台灣發生了什麼問題, 連這種最基本的知識都會搞錯.

這篇讀者投書中的錯誤資訊,
原因只有(1)這位台大電機暨電信所的教授並不知道, 或是(2)故意引導讀者到錯誤的方向

從結論看起來, 我不想猜測是後者. 但是前者也好不到那邊去.
更糟的是, 看起來是 (1) + (2)

因為不知道表示你台大教授的程度是很差的, 這樣的人如何可以教育我們下一代呢?
故意引導讀者到錯誤的方向表示台大教授為特定政治服務就違背良心發言.

在資訊科技, 中國都在上太空了, 我們連台大都還在殺豬公.
想到這一點, 我真的是寫不下去了, 唉.

The post [評] 特洛伊木馬已進駐台灣 appeared first on richliu's blog.

【請大家告訴大家】

《蘋果》被駭客強烈攻擊，一些報導、圖片可能無法正常觀看，目前工程師正緊急搶修中，造成不便深感抱歉！編編們仍會在社群上持續為大家帶來最新、最快的新聞！

        你可以透過以下管道發落最新消息：
<略>

剛好朋友在說是 DNS 的問題, 就順手幫水果查了一下水錶DNS

第一筆就查 www.appledaily.com.tw

# dig www.appledaily.com.tw
;www.appledaily.com.tw.         IN      A

沒資料, 很好, DNS 的確是爛了, 不過還要確認一下, 查一下 DNS 的 Server

# dig appledaily.com.tw ns
;appledaily.com.tw.             IN      NS

沒資料, 很好, 連 DNS Server 都爛了, 這應該不是有些圖文看不到而己.

查一下 whois database.

# whois appledaily.com.tw
Domain Name: appledaily.com.tw
Registrant:
香港商蘋果日報出版發展有限公司台灣分公司
AppleDaily Publication Development Ltd. Taiwan Branch
No. 48, Lane 141, SingAi Rd., Neihu, Taipei, Taiwan, R.O.C.

Contact:
Linson   linson30@gmail.com
TEL:  (02)6601-5835
FAX:  (02)6601-6402

Record expires on 2016-02-18 (YYYY-MM-DD)
Record created on 2002-02-04 (YYYY-MM-DD)

Domain servers in listed order:
ns1.appledaily.com.tw       198.41.222.12
ns2.appledaily.com.tw       198.41.222.8
ns3.appledaily.com.tw       198.41.223.12

Registration Service Provider: HINET

DNS 放在這三個 IP, 查一下是屬於誰的. 而且 ns1 和 ns3 的 IP 是一樣的, 沒有必要好嗎?(結果不變)

$ dig -x 198.41.222.12
12.222.41.198.in-addr.arpa. 1799 IN     PTR     cf-198-41-222-12.cloudflare.com.
原來是 cloudflare, 如果有在使用網站服務, 這個網站提供 CDN, 也有防止駭客直接攻擊網站或是 DNS.

所以直接查詢 cloudflare 的 DNS

# dig @198.41.222.12 www.appledaily.com.tw
;; connection timed out; no servers could be reached
# dig @198.41.222.8 www.appledaily.com.tw
;; connection timed out; no servers could be reached
# dig @198.41.223.12 www.appledaily.com.tw
;; connection timed out; no servers could be reached

連 Server 都沒有, 真相應該大白了, DNS 設到一個沒有 DNS Server 的地方, 所以整個網站都爛了.

猜測是 cloudflare 被打爛了或是其他理由 (P.S 從美國也是沒有反應)
不過在那邊呢? 從網路查到 apple 舊的 DNS 是這兩個 IP

ns1.appledaily.com.tw 61.31.50.35
ns.appledaily.com.tw 218.211.37.1

然後查 IP

# dig @61.31.50.35 www.appledaily.com.tw
;; ANSWER SECTION:
www.appledaily.com.tw.  60      IN      CNAME   cdn.appledaily.com.tw.edgesuite.net.
cdn.appledaily.com.tw.edgesuite.net. 1117 IN CNAME a1085.w19.akamai.net.
a1085.w19.akamai.net.   12      IN      A       203.211.2.34
a1085.w19.akamai.net.   12      IN      A       203.211.2.24
# dig @218.211.37.1 www.appledaily.com.tw
;; connection timed out; no servers could be reached

很好 61.31.50.35 是好的. 還可以查到是在 akamai.net 上

這時候只要改個 /etc/hosts 加上這一行
203.211.2.34    www.appledaily.com.tw, 又可以看了.

水果日報的 IT 加油好嗎? 不要有事就推給國家級駭客.

後記, 現在連不上看不到最新的 SOA.  不過這感覺有點短.

appledaily.com.tw.      60 IN SOA as-extdns.appledaily.com.tw. admin.appledaily.com.tw. (
5238       ; serial
300        ; refresh (5 minutes)
900        ; retry (15 minutes)
86400      ; expire (1 day)
60         ; minimum (1 minute)
)

這是 google.com 的

google.com.             21599 IN SOA ns1.google.com. dns-admin.google.com. (
2014110400 ; serial
7200       ; refresh (2 hours)
1800       ; retry (30 minutes)
1209600    ; expire (2 weeks)
300        ; minimum (5 minutes)
)

Yahoo.com 的

yahoo.com.              1799 IN SOA ns1.yahoo.com. hostmaster.yahoo-inc.com. (
2014110803 ; serial
3600       ; refresh (1 hour)
300        ; retry (5 minutes)
1814400    ; expire (3 weeks)
600        ; minimum (10 minutes)
)

之前也有發生過一次
《蘋果》被駭客強烈攻擊，一些報導、圖片可能無法正常觀看，目前工程師正緊急搶修中，造成不便深感抱歉！

The post 蘋果日報被國家級駭客攻擊. appeared first on richliu's blog.

[分享] 用 BIND 架設 DDNS Server 提供 DDNS 服務 及
動態 DNS 設定技巧

上網看了一下, 大家寫的非常長, 不過如果架過 DNS, 其實也沒有這麼難, 實作上還算簡單的.
至少比想像中簡單許多
1. 在 /var/bind/pri/named.domain.com 中加入你想要做 dyndns 的 domain name

ex:
test A 0.0.0.0

別忘了改 serial number

2. 到 /var/bind/dyn 下產生 key

# dnssec-keygen -a HMAC-MD5 -b 512 -n USER test.domain.name.
會產生二個檔案, 內容產不多

3. 將 key 內容 copy 到 bind 去

將其中的 Ktest.domain.name.+123+45678.key 內的

“test.domain.name. IN KEY 0 3 157 WH3pLphbwFlc/F8C1tbFcdzWRfcDdYWu00KBM5l2OE0rAVHzXFO+dahU SRrPKC0AMcbO6mwV4oVK94G9J5u9aw==
放到 /etc/bind/named.conf 內,

key test.domain.name. {
algorithm HMAC-MD5;
secret “WH3pLphbwFlc/F8C1tbFcdzWRfcDdYWu00KBM5l2OE0rAVHzXFO+dahU SRrPKC0AMcbO6mwV4oVK94G9J5u9aw==”;
};

4. 修改 zone 的設定

zone “domain.name” in {
type master;
file “pri/named.domain”;
allow-query{ any; };

update-policy {
grant test.domain.name. name test.domain.name. A;
};
};

5. Restart bind

# /etc/init.d/named restart

6. 測試 Update 是否成功
使用 nsupdate 工具向 Primary DNS 做更新動作：

$ nsupdate -k Ktest.domain.name.+123+45678.key
> server ns.domain.name // 指定 Primary DNS
> update delete test.domain.name A // 先刪除舊資料
> update add test.domain.name 0 A 1.1.1.1 // 再新增資料
> send // 送出到 Primary DNS
$ dig @ns.domain.name test.domain.name
;; ANSWER SECTION:
test.domain.name. 0 IN A 1.1.1.1

如果不成功, 可以看一下 /var/log , 然後看看是不是少了 /var/bind/pri/named.domain.com.jnl, 這個權限要加上去
如果重啟之後, 出現 “response to SOA query was unsuccessful”, 那個 .jnl 的檔案砍了再重來就可以了, 好像是改了 SOA 就會錯亂.

這樣算完成一半, 上面第二個 Link 內有 Linux Update 的範例, 不過 Windows 怎麼辦呢? 像中華電信每幾天會換一次 IP, 所以自動更新的功能只好自己硬幹了. 而且 Windows PPPoE Disconnect/connected 時都不會有 event 可以呼叫 script 去執行, 所以就每一陣子執行一次 script 更新一下 DNS 資料, 不重要的 Service 這樣做還好, 重要的話可能就不行, 但是重要的也不會放 PPPoE 上吧 XD

自己硬幹有幾個選擇

[X] DOS BASH : 這個很差, 可能抓不到 IP
[X] Cygwin : 這個在我的 Windows XP 上根本跑不起來, 被防毒軟體擋到不能用 :<
[O] Python : 這個好, 什麼地方都可以用, 只要跑簡單的程式的話, 還是 python 安定.

所以就自己寫了一個小程式
1. 程式碼放到 github , 存成 update.py
https://github.com/richliu/dnsupdate

2. 產生 template file, script.txt 內容如下

server ns.domain.name
update delete test.domain.name A
update add test.domain.name 0 A SERVER_NEW_IP
send

3. 產生一個空的 ip.dat 檔案. (懶得檢查了, 所以就自己動手最快)

4. 寫一個 run.bat 內容是

cd C:\TEST\
C:\Python27\python.exe update.py

5. 下載 bind 執行檔 for windows 32bit

  http://www.isc.org/downloads/bind/

解出所有的 .dll 檔, 和 dig 及 nsupdate 丟到同一個目錄, 如果是 windows 32 bit, 別忘了執行一下程式內的 vcredist_x86.exe, 這是 visual c++ 2005 dll .

6. 定時執行

如果 IP 有變的話就會更新 dyndns, 因為用 windows, 所以採用的是 schtasks.
相關的說明可以上 Microsoft Schtasks 網站看
用下面這個指令就可以讓 script 每 5 分鐘執行一次
# schtasks /create /tn “Check IP” /tr c:\TEST\run.bat /sc minute /mo 5

大.功.告.成.

The post 自幹 dyndns appeared first on richliu's blog.

這個問題源自於 Linux NIC driver enable GRO (Generic Receive Offload), 這功能會將數個封包組合成一個大封包以增加速度.

這時可以用 ethtool 去修改網路卡的參數

使用 ethtool -k <interface> 查看狀況.

[TEXT]

# ethtool -k eth0
Features for eth0:
rx-checksumming: on
tx-checksumming: off
tx-checksum-ipv4: off
tx-checksum-ip-generic: off [fixed]
tx-checksum-ipv6: off [fixed]
tx-checksum-fcoe-crc: off [fixed]
tx-checksum-sctp: off [fixed]
scatter-gather: off
tx-scatter-gather: off
tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
tx-tcp-segmentation: off
tx-tcp-ecn-segmentation: off [fixed]
tx-tcp6-segmentation: off [fixed]
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: off [requested on]
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: off [fixed]
receive-hashing: off [fixed]
highdma: off [fixed]
rx-vlan-filter: off [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off
rx-all: off
[/TEXT]

我們發現 generic-receive-offload: on
然後可以用這個命令
# ethtool –offload eth0 gro off
關掉GRO, 這樣抓下來的封包就會正常了.

ref.

Re: [Wireshark-users] wireshark sees jumbo TCP packets in linux

The post [Linux] Wireshark 抓到超過 MTU 的封包. appeared first on richliu's blog.

今天剛好在某 PTT 文上看到, 中研院的 IPv6 Tunnel Broker 有給固定 IP 和 Prefix.
這樣一來就可以搞家中 IPv6 Enable 了.

如果有 Gentoo 做 Gateway, 想讓家中 Intranet 有 IPv6 的環境, 就需要按照這一篇設定.

換 IPv6 最大的好處是什麼? 用中研院的網路看 Youtube 超順的…

首先去 http://tb2.ipv6.ascc.net/ 申請帳號.
最好寄密碼到信箱, 要不然打錯密碼很悶的 ..

到 http://www.go6.net/4105/download.asp
下載 Client 6.0 Platform Specific Build – Linux 和 Client 6.0 Source Code (Linux/Unix/Darwin/BSD)
我是懶得 install, 所以解壓縮 Linux binary 的 gw6c 之後, 再 compile 新的, 蓋掉舊的 gw6c binary .

解壓縮完目錄像這樣, gw6c binary 在 bin/
[TEXT]
xxx gw6c # ls -lF
total 16
drwxr-xr-x 2 root root 4096 Apr 28 01:22 bin/
drwxr-xr-x 4 root root 4096 Mar 13 2009 man/
drwxr-xr-x 2 root root 4096 Apr 28 01:21 template/
[/TEXT]

編輯 bin/gw6c.conf
[TEXT]
userid=< 申請帳號>
passwd=< 申請密碼>
server=tb2.ipv6.ascc.net
auth_method=digest-md5
host_type=router
prefixlen=64
if_prefix=< 網卡介面, 我是用eth1>
gw6_dir=< 路徑>/gw6c
[/TEXT]
<> 請代換成自己的參數

如果只是單機要連線, host_type 要設 host , if_prefix 不用設定.
[TEXT]
host_type=host
[/TEXT]

Gentoo 的話記得先安裝 RADVD (host_type=host 不需要)
[BASH]
# emerge -av radvd
[/BASH]
如果是初次設定, 別忘了 ip6table 要改 MTU
[BASH]
# ip6tables -A FORWARD -p tcp –tcp-flags SYN,RST SYN -j TCPMSS –clamp-mss-to-pmtu
# /etc/init.d/ip6tables save
# rc-update add ip6tables default
[/BASH]
這樣下次開機的時候就會自動設定 ip6tables

接下來就直接跑
[BASH]
# ./gw6c -f gw6c.conf
# ifconfig
[/BASH]
如果 sit1 有起來, 表示 IPv6 設定成功,
如果沒有起來, 就改 gw6c.conf加上
[TEXT]
log_file=3
[/TEXT]
重新執行一次 gw6c 看看會發生什麼事情 . Log 會記錄在 gw6c.log 內.

P.S Gentoo nettool 1.6 以後 ifconfig 和 route 這二個命令改位置了.
如果有碰到連不上的狀況, 而且是 command 錯誤, 請修改 template/linux.sh 內這幾行
[TEXT]
79 ifconfig=/bin/ifconfig
80 route=/bin/route
195 ExecNoCheck $ifconfig $TSP_TUNNEL_INTERFACE add $TSP_CLIENT_ADDRESS_IPV6/$TSP_TUNNEL_PREFIXLEN
196 ExecNoCheck $ifconfig $TSP_TUNNEL_INTERFACE mtu 1280
[/TEXT]

我的 IPv6 又可以用了, 不過某些網站似乎怪怪的 :-/

The post Gentoo Gateway 連中研院的 IPv6 Tunnel Broker appeared first on richliu's blog.

這個問題是 openrc 造成的, 修改 /etc/rc.conf 加上以下二行

rc_net_ppp0_provide="!net"
rc_net_ppp1_provide="!net"

PPPoE Relink
修改 /etc/conf.d/net 在 pppd_ppp0 加上

pppd_ppp0="defaultroute debug persist lcp-echo-interval 15 lcp-echo-failure 6"

The post Gentoo PPPoE Problem appeared first on richliu's blog.

客服: “劉先生, 請問你是使用什麼信箱”
” xxxxxx@poorman.org”
客服: “劉先生, 有些信箱會擋我們的 e-mail , 你有沒有其他的信箱呢”
客服: “像是 hotmail, pchome 或是 gmail 之類的”
“xxxxx@gmail.com”
客服: “劉先生, 請問一下您是使用什麼瀏覽器收信呢”
“我是使用 Firefox 收信”
客服: “劉先生, 對不起, Firefox 可能收不到我們的認證信哦, 請你改用 IE 瀏覽器去收一下, 謝謝”

囧到一個極點, 根本不想解釋給客服小姐聽..

剛剛查了一下我 mail server 上的 log.

[TEXT]
May 1 05:27:17 bbs postfix/smtpd[16929]: connect from unknown[80.77.6.55]
May 1 05:27:17 bbs postfix/smtpd[16929]: NOQUEUE: reject: RCPT from unknown[80.77.6.55]: 450 4.7.1 Client host rejected: cannot find your hostname, [80.77.6.55]; from= to= proto=ESMTP helo=
May 1 05:27:17 bbs postfix/smtpd[16929]: disconnect from unknown[80.77.6.55]
[/TEXT]

查一下 ebill.nextvod.com.tw 在那邊?
[TEXT]
# dig ebill.nextvod.com.tw

; < <>> DiG 9.6.1-P3 < <>> ebill.nextvod.com.tw
;; global options: +cmd
;; Got answer:
;; ->>HEADER< <- opcode: QUERY, status: NOERROR, id: 11882 ;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITIONAL: 1 ;; QUESTION SECTION: ;ebill.nextvod.com.tw. IN A ;; ANSWER SECTION: ebill.nextvod.com.tw. 3600 IN A 63.221.156.74 ;; AUTHORITY SECTION: nextvod.com.tw. 46663 IN NS ns1.nextvod.com.tw. nextvod.com.tw. 46663 IN NS ns.nextvod.com.tw. ;; ADDITIONAL SECTION: ns.nextvod.com.tw. 58730 IN A 218.211.37.1 ;; Query time: 14 msec ;; SERVER: 168.95.1.1#53(168.95.1.1) ;; WHEN: Sun May 1 15:32:43 2011 ;; MSG SIZE rcvd: 105 [/TEXT] 查一下 63.221.156.75 [TEXT] # whois 63.221.156.74 # # Query terms are ambiguous. The query is assumed to be: # "n 63.221.156.74" # # Use "?" to get help. # # # The following results may also be obtained via: # http://whois.arin.net/rest/nets;q=63.221.156.74?showDetails=true&showARIN=false # NetRange: 63.216.0.0 - 63.223.255.255 CIDR: 63.216.0.0/13 OriginAS: NetName: BTN-CIDR5 NetHandle: NET-63-216-0-0-1 Parent: NET-63-0-0-0-0 NetType: Direct Allocation Comment: ADDRESSES WITHIN THIS BLOCK ARE NON-PORTABLE RegDate: 1999-12-09 Updated: 2004-11-12 Ref: http://whois.arin.net/rest/net/NET-63-216-0-0-1 OrgName: Beyond The Network America, Inc. OrgId: BNA-42 Address: 450 Springpark PL Address: Suite 100 City: Herdon StateProv: VA PostalCode: 20170 Country: US RegDate: 2004-05-25 Updated: 2009-02-04 Ref: http://whois.arin.net/rest/org/BNA-42 OrgTechHandle: PUN6-ARIN OrgTechName: PCCW US NOC OrgTechPhone: +1-703-621-1637 OrgTechEmail: usnoc@pccwglobal.com OrgTechRef: http://whois.arin.net/rest/poc/PUN6-ARIN OrgTechHandle: CDO54-ARIN OrgTechName: Downes, Chris OrgTechPhone: +1-703-621-1619 OrgTechEmail: cdownes@pccwglobal.com OrgTechRef: http://whois.arin.net/rest/poc/CDO54-ARIN OrgAbuseHandle: PAD13-ARIN OrgAbuseName: PCCW AUP Department OrgAbusePhone: +1-703-621-1637 OrgAbuseEmail: probinson@pccwglobal.com OrgAbuseRef: http://whois.arin.net/rest/poc/PAD13-ARIN OrgNOCHandle: PUN6-ARIN OrgNOCName: PCCW US NOC OrgNOCPhone: +1-703-621-1637 OrgNOCEmail: usnoc@pccwglobal.com OrgNOCRef: http://whois.arin.net/rest/poc/PUN6-ARIN # # ARIN WHOIS data and services are subject to the Terms of Use # available at: https://www.arin.net/whois_tou.html # [/TEXT] 查一下 80.77.6.55 Whois [TEXT] # whois 80.77.6.55 % This is the RIPE Database query service. % The objects are in RPSL format. % % The RIPE Database is subject to Terms and Conditions. % See http://www.ripe.net/db/support/db-terms-conditions.pdf % Note: this output has been filtered. % To receive output for a database update, use the "-B" flag. % Information related to '80.77.6.0 - 80.77.6.255' inetnum: 80.77.6.0 - 80.77.6.255 netname: QUICK descr: Quivk Link country: EG admin-c: BIJA1-RIPE tech-c: BIJA1-RIPE status: ASSIGNED PA mnt-by: FLAG-MNT source: RIPE # Filtered person: Bijal Sanghani address: Flag Telecom address: London phone: +44 208 282 0068 e-mail: bsanghani@flagtelecom.com nic-hdl: BIJA1-RIPE mnt-by: FLAG-MNT source: RIPE # Filtered % Information related to '80.77.0.0/20AS15412' route: 80.77.0.0/20 descr: Route for FLAG Telecom - Egypt origin: AS15412 mnt-by: FLAG-MNT source: RIPE # Filtered [/TEXT] ebill.nextvod.com.tw 那個 IP 看起來是正常的, 因為是從 PCC 送過來的 PCC 是香港商電訊盈科. 但是實際怎麼樣, Route for FLAG telecom Egypt 寄認證信給我 ???? 難道是被 hacker? 最後補上 nmap 的資料 [TEXT] # nmap -sT 80.77.6.55 -O Starting Nmap 5.51 ( http://nmap.org ) at 2011-05-01 15:40 CST Nmap scan report for 80.77.6.55 Host is up (0.090s latency). Not shown: 998 closed ports PORT STATE SERVICE 80/tcp open http 443/tcp open https Device type: general purpose|WAP Running (JUST GUESSING): Microsoft Windows 2008|7|Vista (94%), FreeBSD 6.X (89%), OpenBSD 4.X (87%), AirSpan embedded (87%) Aggressive OS guesses: Microsoft Windows Server 2008 Beta 3 (94%), Microsoft Windows Server 2008 SP2 (93%), Microsoft Windows Server 2008 (91%), Microsoft Windows 7 (91%), Microsoft Windows Vista SP0 or SP1, Server 2008 SP1, or Windows 7 (91%), Microsoft Windows Server 2008 R2 (90%), Microsoft Windows 7 Professional (89%), FreeBSD 6.2-RELEASE (89%), FreeBSD 6.3-RELEASE (89%), OpenBSD 4.0 (87%) No exact OS matches for host (test conditions non-ideal). OS detection performed. Please report any incorrect results at http://nmap.org/submit/ . Nmap done: 1 IP address (1 host up) scanned in 6.64 seconds ms1 ~ # nmap -sT 63.221.156.75 -O Starting Nmap 5.51 ( http://nmap.org ) at 2011-05-01 15:41 CST Note: Host seems down. If it is really up, but blocking our ping probes, try -Pn Nmap done: 1 IP address (0 hosts up) scanned in 3.54 seconds ms1 ~ # nmap -sT 63.221.156.75 -O -Pn Starting Nmap 5.51 ( http://nmap.org ) at 2011-05-01 15:41 CST Nmap scan report for 63-221-156-75.static.pccwglobal.net (63.221.156.75) Host is up (0.062s latency). Not shown: 995 filtered ports PORT STATE SERVICE 1433/tcp open ms-sql-s 2383/tcp open ms-olap4 3389/tcp open ms-term-serv 5800/tcp closed vnc-http 5900/tcp closed vnc Device type: general purpose Running: Microsoft Windows 2003|XP OS details: Microsoft Windows Server 2003 SP2, Microsoft Windows XP SP2 or Server 2003 SP1 or SP2 OS detection performed. Please report any incorrect results at http://nmap.org/submit/ . Nmap done: 1 IP address (1 host up) scanned in 9.52 seconds [/TEXT] 註: 最後換到 gmail, 而且收到認證信了, 結果認證完以後出現的帳號還是錯誤的 e-mail account. 整個網樂通的後台一整個很糟糕. 設計這一套系統的人應該切腹了.

The post 收不到網樂通的認證信. appeared first on richliu's blog.

編輯 gw6c configure file.
[BASH]
$ vim /etc//etc/gw6c/gw6c.conf
[/BASH]

找到 server= 改成
[TEXT]
server=203.74.21.89
[/TEXT]

再重新啟動 gw6c, 這樣就可以了
[BASH]
# /etc/init.d/gw6c start
# ifconfig tun
tun Link encap:UNSPEC HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
inet6 addr: 2001:b020:0:71::50/128 Scope:Global
UP POINTOPOINT RUNNING NOARP MULTICAST MTU:1280 Metric:1
RX packets:126 errors:0 dropped:0 overruns:0 frame:0
TX packets:132 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:500
RX bytes:66341 (66.3 KB) TX bytes:12783 (12.7 KB)

root@rl-desktop:/etc/gw6c# ping6 ipv6.google.com
PING ipv6.google.com(2404:6800:8003::68) 56 data bytes
64 bytes from 2404:6800:8003::68: icmp_seq=1 ttl=53 time=30.0 ms
— ipv6.google.com ping statistics —
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 30.021/30.021/30.021/0.000 ms
[/BASH]

超簡單的吧!

The post [Linux] 使用 hinet IPv6 的服務 appeared first on richliu's blog.

當然是諷剌 Facebook.

不過現實生活有時總是比幻想出來的還糟糕, 先來看 MMDays 寫的這二篇

• Facebook新Graph API推出 – 你打算跟魔鬼做交易了嗎？
• 當 Facebook統治了世界，你還有隱私可言嗎？

簡單的說, Facebook 籍由他的影響力, 不僅僅是擅自更改隱私權設定, 現在更籍由 Open Graph Api, 更進一步的分享個人的上網行為, 喜好給他的合作廠商, 或是不知名第三者. 這很好玩嗎? 看起來一點也不, 我們失去了控制力, 我很喜歡喝可樂, 但是我並不需要被別人分析我的喜好. 我喜歡可樂的資訊, 相關的行銷問題那我去訂就好了, 我不希望被強迫行銷.

我不想要被洗腦式的強迫推銷各種廣告訊息給我. 或是分享我這類的資訊給別人.

Facebook 佔有一個先機, 就是實名制網路. 基本上在上面的人都是會填寫真名或是自己常用的 E-mail才能找到自己的朋友, 家人; 如果加填公司資料或是學校資料之後, 也可以找到相關的朋友, 這是非常好的網站可以將大家連結在一起.

只是這個網站並不是正常的網站, 而是非常邪惡的網站.
Google 天天嘴泡喊 Don’t be evil, 都做了一堆超乎想像的事情(基本上 Google 的雲端就很邪惡了, 只是他還沒有準備要用), 更何況是己經犯行不良的 Facebook.

現在人生活圈很小, 很多都是混在網路上(包含我). 每個人都有 You’ve Got 0 Friends 恐懼症.

• 開心農場沒有人來偷菜, 你會覺得我是不是沒有朋友, 有人一直來偷菜,  又覺得很幹. 老子種的菜不是給你來偷的.
• Air Manager 飛機一直飛
• 餐城一直在買餐點做東西出去
• Cafe’ 一直用滑鼠點點點做餐點
• Mafia 大家一直在擴大黑幫, 衝奇怪的等級和無謂的任務(廠商任務還真的是出不完)
• 每個人都有送不完的酒和心心, 不回送還會再送個心碎給你…

好像這個世界沒有虛擬朋友就不能活(或許有連結到真實世界的朋友), 沒有送個什麼就快死了..

Facebook 犯行不良不是第一次了, 只是這一次鐵定了一定是要出走的
這一張是我清空後的 Screen Shot

建議朋友清單還是很準確的有建立關係.

現在這家公司又拿這個 User Base 去試圖讓 Internet 變的更邪惡, 這真是好累的生活呀….

我沒有必要助紂為虐, 所以我先離開了. 主要帳號己經清空, 次要帳號留著放訊息.
如果真的要找我聊聊天, 丟 MSN 上 Plurk 都很好, 但是 Facebook … Byebye

I have 0 Friends.

I will not use it anymore.

延伸閱讀

Matt Cutts & Other Google Engineers Close Facebook Accounts (Matt Cutt 是 Google Search Group 的人, 在 SEO 界小有名氣)

20100524 —
刪除臉書帳號連結
[Facebook] 砍掉臉書帳號（以下略）

The post I have 0 Friends — 我從 Facebook 出走了, 大家一起走吧! appeared first on richliu's blog.