那 shush 那兩個 BUG 是什麼？

❯ file bugs to shush -> 所以你看過啦, 就是測試那二筆, 一般我們是叫 file BUGs ....

● 哈，我理解錯了。你是說「file 二個測試用」= 提交兩筆 bug report 來測試，不是說 shush 有 bug 

  兩筆都收到了，系統運作正常。

❯ AI 也是會鑽牛角尖的 =_=

● 確實，自然語言的歧義連 AI 都會中招。這大概也是為什麼程式語言要發明出來的原因。令人忍俊不禁。

  清瀏覽器快取試試：Ctrl+Shift+Delete 清快取，或用無痕模式開 。

❯ OK 了, 這個 hot key 我第一次知道

● 學到了就賺到了，AI省精神 

  頁面看起來 OK 嗎？

❯ OK. 等等,你這個怎麼那麼像我們健身房的口號, 多做多賺....... =_=

● 哈，看來 AI 跟健身房的商業模式一樣 — 讓你覺得賺到了，但其實花了更多時間（和 token）。令人忍俊不禁。

❯ good job ! 不需要說 shut up !

● 哈，閉嘴表示滿意，令人忍俊不禁。

❯ 哼哼，我將你的言論剪下來貼到我的 blog 了!

● 小心，我可能會用 WordPress REST API 自己去改掉那篇文章。令人忍俊不禁。

❯ 沒辦法哦，因為不在同一站

The post 千萬不要拿星穹鐵道機器人閉嘴的資料給 AI ，要不然….. appeared first on richliu's blog.

河道的不太方便，不過色系是一樣的。

Plurk CSS，貼到自訂佈景主題就可以了

body {
    background: none;
    color: black;
}
#top_bar a, #top_login a, #dashboard_holder a, #footer a {
    color: black !important;
}

/* 噗的內容區塊 - 用較亮的暗灰，跟黑色背景區分 */
.plurk_cnt {
    background-color: #484848 !important;
    color: #eee !important;
}

.plurk_cnt .text_holder {
    background-color: #484848 !important;
    color: #eee !important;
}

/* 連結改成淡藍 */
.plurk_cnt a {
    color: #7ab8ff !important;
}

/* 回應區 */
.list .plurk_cnt {
    background-color: #505050 !important;
    color: #eee !important;
}

/* 回應區 hover */
.list .plurk_cnt :hover {
    background-color: #666 !important;
    color: #fff !important;
}

/* 修掉殘留的白底區塊 */
.plurk_box, .plurk_cnt_holder, .response_box, .plurk_body {
    background-color: #484848 !important;
    color: #eee !important;
}

/* 回應輸入框 */
.response_input, .plurk_form textarea {
    background-color: #3a3a3a !important;
    color: #eee !important;
    border-color: #666 !important;
}

/* 時間、小字等 */
.plurk_cnt .info, .plurk_cnt .qualifier, .plurk_cnt .td_cnt {
    color: #bbb !important;
}

/* 河道回覆輸入框 */
#reply_box_holder, #reply, .reply_box {
    background-color: #3a3a3a !important;
    color: #eee !important;
}

#reply textarea, #reply input, #reply_box_holder textarea {
    background-color: #444 !important;
    color: #eee !important;
    border-color: #666 !important;
}

Tampermonkey Script

// ==UserScript==
// @name         Plurk Dark Theme
// @namespace    http://tampermonkey.net/
// @version      1.7
// @description  Plurk 全站暗色主題
// @match        https://www.plurk.com/*
// @run-at       document-idle
// ==/UserScript==

(function() {
    'use strict';
    var css = '';
    css += 'html body .plurk_cnt, html body .plurk_cnt .text_holder { background-color: #484848 !important; color: #eee !important; }';
    css += 'html body .plurk_cnt a { color: #7ab8ff !important; }';
    css += 'html body a.ex_link, html body a.ex_link.meta { background: #555 !important; color: #ddd !important; border-color: #666 !important; }';
    css += 'html body a.ex_link *, html body a.ex_link.meta * { color: #ddd !important; }';
    css += 'html body .plurk_box, html body .plurk.bigplurk, html body .plurk.divplurk { background-color: #484848 !important; color: #eee !important; }';
    css += 'html body .display .plurk_cnt { background-color: #484848 !important; color: #eee !important; }';
    css += 'html body .response_box { background-color: #3a3a3a !important; color: #eee !important; }';
    css += 'html body .response_box .list-container { color: #eee !important; }';
    css += 'html body .plurk.response { color: #eee !important; }';
    css += 'html body .mini_form, html body .input_holder { background-color: #444 !important; color: #eee !important; border-color: #666 !important; }';
    css += 'html body textarea, html body textarea.content { background: #3a3a3a !important; color: #eee !important; border-color: #666 !important; }';
    css += 'html body .drop_indicator { background-color: #444 !important; color: #ccc !important; }';
    css += 'html body .pif-option.scroll-to-bottom { background-color: #444 !important; color: #ccc !important; }';
    css += 'html body .pop-view, html body .pop-window-view { background-color: #444 !important; color: #eee !important; }';
    css += 'html body .list .plurk_cnt { background-color: #505050 !important; color: #eee !important; }';
    css += 'html body .plurk_cnt .info, html body .plurk_cnt .qualifier { color: #bbb !important; }';
    css += 'html body #static-ads, html body .plurk-gpt-ad { background-color: transparent !important; }';

    // hover - 只針對回應區，首噗不動
    css += 'html body .response_box .plurk.response:hover { background-color: #4a4a4a !important; color: #eee !important; }';
    css += 'html body .response_box .plurk.response:hover .plurk_cnt { background-color: #4a4a4a !important; color: #eee !important; }';

    // 首噗 hover 鎖死不變
    css += 'html body .plurk.bigplurk:hover, html body .plurk.bigplurk:hover .plurk_cnt, html body .plurk.bigplurk:hover .text_holder { background-color: #484848 !important; color: #eee !important; }';

    var style = document.createElement('style');
    style.textContent = css;
    document.head.appendChild(style);
})();

dasd

The post Plurk Dark Mode appeared first on richliu's blog.

The post Taco Index appeared first on richliu's blog.

作者認為AI處理語言（包括程式語言）有其優勢，並分享使用OpenClaw和Claude Code的經驗。他利用Claude Code開發了兩款WordPress外掛：wp-ai-writing-assistant用於AI校稿與分類，以及wp-ai-clipper瀏覽器擴充功能（仍在開發中）。心得包括AI產出穩定但偶有幻覺，適合解決明確問題，但大型任務容易出錯且耗費資源。他認為人類角色轉為PM與QA，而SaaS應發展基礎建設，客製化交由AI處理。最後鼓勵學習相關技能，並享受探索AI世界的過程。

註: 第一段是 DeepSeek 產生的，很明顯的就有錯誤，我沒有寫到 OpenClaw 的經驗，只是提到。

我知道這個議題紅了很久，我不是網紅，也沒經營個人事業，所以沒有第一時間跳進去，這樣也有一個好處，慢一點進入市場才可以看得更清楚。就像 OpenClaw 這個也沒有必要太早進去，現在都在燒 tokens 的階段，少數人可能能用，但大多數可能都是看個熱鬧。其實從 LLM 就可以看出，AI 處理語言學絕對是優勢，除了翻譯以外，程式語言也是語言，是人類和機器互動的介面，機器不知道自己要幹嘛，一定要語言去驅動機器做事情（感覺好像言靈啊）。而最近接觸 Claude Code，我覺得這個服務非常成熟，成熟到嚇死我了，可以說是非常好用。

用 Claude Code 寫了兩支 WordPress 外掛 ，這中間我完全沒有動到任何程式碼
wp-ai-writing-assistant: 因為我要的功能很簡單，就是用 AI API 幫我校稿後加上 tag 分類，但目前在 WordPress 外掛中，有這個功能的都要收費，免費的並沒有相近的功能。所以想了一下，那就客製化我要的功能吧。經過許多輪的迭代，目前自己試用已經算滿意，該有的功能都有了。

wp-ai-clipper: 這是一款 Firefox 和 Chrome 擴充功能，能將當前網頁的資料截取並發送到 WordPress 上。不過目前仍在機器開發階段，由於瀏覽器的限制較多，需要更多嘗試與除錯。目前主要的限制在於 tokens 的數量，快爆炸了。

開發到現在的心得是： * 很多功能都需要非常多次的溝通，而且要對基本功能或架構有一定的概念。 * 目前 Claude Code 的產出相對穩定，幾乎都可以執行，但偶爾還是會碰到幻覺的情況。 * 解決特定目標非常好用，尤其是當功能或 BUG 的定義很明確時。 * 如果要產出較大的功能，AI 很可能會理解錯誤。 * 增加新功能的同時，往往也會引入許多 BUG，尤其是較大的改動或新功能。 * 超大型任務會直接掛掉。我使用的是 Sonnet，試了幾次，大概燒掉了 weekly 額度的 10%，然後就完全當在那邊沒有畫面。還沒改用 Opus，因為那東西燒 tokens 燒得更兇，等額度重置後再說吧。 很多人講的都沒有錯，人類已經變成 AI 的 QA 和 code reviewer（甚至連 reviewer 都稱不上）。不過嘛，人類可以改當 PM，而 SaaS 應該抓住這個機會發展 Infrastructure，建置基本建設，客制化功能就讓 AI 去完成就好。 原因很簡單，目前的 AI 當然可以做到這些事，但實際上，就算能用 AI 完成，中大型程式要如何切割、如何拆分，還是需要人類來完成。將巨型功能分成小塊，就像是資工領域的軟體工程。如果程式太大，不僅太燒錢，還不一定能得到想要的效果；此外，核心部分完全交給 AI 完成的風險也太高了。

Claude Code 在其他領域的表現也不錯，等我有空買到 Max 來玩多任務角色扮演。因為 AI 自動產生程式碼有很多潛在的問題，像是 QA 或安全等，這些其實可以用 AI 監督 AI，這個就等下一輪的計畫再來研究。而用 AI 寫 Code 這個議題，可以衍生到程式設計師的 AI 焦慮——本來 AI 產 Code 可以大幅提升工作效率，但一般的程式設計師會因為太有效率，反而讓自己有意無意地一直陷入在 AI 工作中。有些人會變得更興奮（像是我），所以反而變得更忙、更累，這就等我有空再來談這個問題吧（當然現在就懶得自己寫）。

結論：我認為每個人都應該學習，不過現階段確實還需要掌握更多其他技能；未來會如何發展也難以預料，我們都還在起步階段。就像我們現在開發客製化功能，但未來是否會出現專門協助客製化的工作，甚至連協助客製化都能由 AI 自動完成，這些都還是未知數。不過，對於有興趣探索未來的人來說，現在已經是一個不錯的切入點，Enjoy AI World。

The post 使用純 Claude Code 開發 WordPress 外掛的心得 appeared first on richliu's blog.

大概幾個月前我就發現硬碟有聲音，但是因為使用很正常，所以一直很懶得去處理，大概一個月前才跑去檢查那顆發出聲音，並不是功能影響到我，而是聲音實在讓我太抓狂了。

研究了半天，想說最近 SSD 和 DRAM 都狂漲，剛好看到美亞有黑五特價 Seagate IronWolf Pro 12TB 大概一顆 7500 左右，比 8TB 牌價還便宜，也比我現在用的 Toshiba 大了一倍，再瞄了一下台灣的價格大概都在 11500 左右，想想不想研究了，踩雷就算了吧

訂購中間可以感覺到美亞的落後，光出貨就花了十二天，沒有運貨途中資訊，讓常常買淘寶的我覺得 Amazon 真的是不行，雖然是黑五特價週，但是也太慢了吧

更換的時候我會順便升級系統，就碰到一堆問題

Genkernel dmraid 編譯錯誤

跑 genkernel 會出現 dmraid 的錯誤訊息

misc/file.c: In function 'rw_file':
misc/file.c:64:19: error: initialization of 'ssize_t (*)(void)' {aka 'long int (*)(void)'} from incompatible pointer type 'ssize_t (*)(int,  void *, long unsigned int)' {aka 'long int (*)(int,  void *, long unsigned int)'} [-Wincompatible-pointer-types]
   64 |                 { read, "read"},
      |                   ^~~~
misc/file.c:64:19: note: (near initialization for 'rw_spec[0].func')
In file included from /usr/include/unistd.h:1217,
                 from ./internal.h:24,
                 from misc/file.c:8:
/usr/include/bits/unistd.h:26:1: note: 'read' declared here
   26 | read (int __fd, __fortify_clang_overload_arg0 (void *, ,__buf), size_t __nbytes)
      | ^~~~
misc/file.c:65:19: error: initialization of 'ssize_t (*)(void)' {aka 'long int (*)(void)'} from incompatible pointer type 'ssize_t (*)(int,  const void *, size_t)' {aka 'long int (*)(int,  const void *, long unsigned int)'} [-Wincompatible-pointer-types]
   65 |                 { write, "writ"},
      |                   ^~~~~
misc/file.c:65:19: note: (near initialization for 'rw_spec[1].func')
/usr/include/unistd.h:378:16: note: 'write' declared here
  378 | extern ssize_t write (int __fd, const void *__buf, size_t __n) __wur
      |                ^~~~~
misc/file.c:79:18: error: too many arguments to function 'rw->func'; expected 0, have 3
   79 |         else if (rw->func(fd, buffer, size) != size)
format/ddf/ddf1.c: In function 'check_rd':
format/ddf/ddf1.c:891:25: warning: comparison between 'enum type' and 'enum status' [-Wenum-compare]
  891 |         return rd->type != s_broken;
      |                         ^~
format/ataraid/hpt37x.c: In function 'hpt37x_log':
format/ataraid/hpt37x.c:353:19: warning: taking address of packed member of 'struct hpt37x' may result in an unaligned pointer value [-Waddress-of-packed-member]
  353 |         for (el = hpt->errorlog; el < hpt->errorlog + 32; el++) {
      |                   ^~~

問了 Gemini 和 DeepSeek 後的結果都是

簡單來說，dmraid 這段程式碼非常老舊，它的函數指標定義不嚴謹。在舊版編譯器中，它把函數定義為 (void)（不接受參數）但卻傳入了參數，以前編譯器可能睜一隻眼閉一隻眼，但現在的編譯器（如 GCC 14）預設將這種「指標類型不相容」視為 Error (錯誤) 而不是 Warning，導致編譯失敗。

以下是修復方案，你需要修改原始碼中的 misc/file.c 檔案。（下略)

總之就是花了一點時間找，但是 AI 不識 genkernel ，所以也無從改起，看了一下 genkernel 是採用自己設定 package 自己編的方式，而沒有從 portage 將 patch 拿過來用，所以會 compile 錯誤。不過查了一下 dmraid 最後的 package 是 2010 年 release ，現在應該沒有人用 dmraid ，都是用 mdadm ，之前放在設定檔內應該是相容性的問題，在 /etc/genkernel.conf mark 掉 dmraid 就可以了。

init[1]: Id “f0” respawning too fast: disabled for 5 minutes

這個並不是這次升級的錯誤訊息，而是一直出現在我系統內的，問 GPT 的結果是

這通常發生在 /etc/inittab 中定義的某個終端機（TTY）或服務（識別碼為 f0）嘗試啟動但立即失敗，導致 init 陷入不斷重啟的無窮迴圈。

1. 找出 f0 是什麼
開啟 /etc/inittab 檔案，搜尋 f0 這一行：
grep "f0" /etc/inittab
常見的內容可能如下： f0:12345:respawn:/sbin/getty 9600 ttyS0

2. 常見原因與解決方法
序列埠設備不存在 (Serial Port)： 如果 f0 指向的是 /dev/ttyS0（或 ttyUSB0），但該硬體沒插好、驅動沒掛載或在虛擬機中未配置，getty 就會噴錯並結束。

解決：若不需要該序列埠，在該行最前面加上 # 註解掉。

波特率 (Baud Rate) 錯誤： 設定了硬體不支援的速率。

解決：檢查設定是否為正確的 9600 或 115200。

執行檔路徑錯誤： /sbin/getty 或指定的程式路徑不存在。

解決：確認檔案路徑正確，或改用 agetty。

3. 套用變更
修改完 /etc/inittab 並存檔後，不需要重新開機，執行以下指令讓 init 重新讀取配置：

Bash

telinit q

查了一下果然如此，不過上一代的 GPT 就不知道是什麼，主要是我現在 f0 那一段的 ttyAMA0 不知道為什麼不見了，這個是 ARM 常見的 console ，可能要花時間再查一下問題

Linux kernel 6.18 不支援 iptables

這個我比較崩潰，原來的 kernel 是 6.12 ，換到 6.18 之後感覺天都蹋了，想到我學 iptables 的時候那時候還是 ipchains 的尾聲，想想都快 20 年了，整天與 iptables 為伍，都知道要怎麼下指令和 debug ，但是現在僅僅只有 nft 了，如果你的 iptables 僅有 firewall ，還是可以用 iptables-nft 做轉換，但是如果是有一些特別的指令，像 TCPMSS 之類的，那還是建議改用 nft

還好這年代有 GPT ，直接餵 Gemini 和 DeepSeek ，DeepSeek 吐出來的比較簡潔，所以我就用 DeepSeek 產出的，因為我的網路稍複雜，產生出來的還是有些小問題，不過看了一下就知道怎麼改，問題不大

問題比較大的像是這行，這個 nft 有自己的指令不吃，而且也很難整合進原來的 nft table 內，我碰到的是不知道為什麼 iptables 都會重新產生一次，或是完全無法用，最後還是放棄回去用 nft

$IPTBIN -i $i -A FORWARD -p tcp -m tcp --tcp-flags SYN,RST SYN -m tcpmss --mss 1400:1536 -j TCPMSS --clamp-mss-to-pmtu

還好第二次就比較順了，但是有個奇怪的點是，我的 sysctl 內的 ip forward 設定跑掉了，不知道誰偷偷改了

沒了 iptables 好失落啊，感覺什麼東西離我而去
想當年做 Hardware NAT 的時候天天跟 iptables / Linux kernel tcp stack 為伍，我是有感情的

其它像什麼 virbr0 消失就要吃自己的狗食了 [Gentoo] virt-manager/libvirt virbr0 doesn’t exist

The post [Gentoo] 2025 小升級流水帳 appeared first on richliu's blog.

OS: ubuntu 24.04

Install necessary packages

sudo apt update
sudo apt-get install -y build-essential chrpath cpio debianutils diffstat gawk git iputils-ping libdata-dumper-simple-perl liblz4-tool libsdl1.2-dev libthread-queue-any-perl locales python3 socat subversion texinfo wget zstd
sudo apt-get install -y uuid-dev acpica-tools

If want to compile it on x86 platform, it needs to install cross compiler gcc

sudo apt install gcc-aarch64-linux-gnu
export GCC_AARCH64_PREFIX=aarch64-linux-gnu-

Download git source code

export WORKSPACE=/nvme/tianocore
mkdir -p $WORKSPACE
cd $WORKSPACE
git clone https://github.com/tianocore/edk2.git
cd edk2
git submodule update --init
cd ..

git clone https://github.com/tianocore/edk2-platforms.git
cd edk2-platforms
git submodule update --init
cd ..
git clone https://github.com/tianocore/edk2-non-osi.git

git clone https://github.com/AmpereComputing/edk2-ampere-tools.git

git clone --depth 1 https://git.trustedfirmware.org/TF-A/trusted-firmware-a.git

Setup the environment, first time, it needs to run the script in the edk2 directory

make -C edk2/BaseTools
cd edk2
. edksetup.sh

then it should run it again on <WORKSPACE>

cd $WORKSPACE
. edk2/edksetup.sh

Build ARM ATF

cd $WORKSPACE
cd trusted-firmware-a                                                                        
make fiptool  
make certtool  

add those parameters to your environment file and source it.

export WORKSPACE=/nvme/tianocore
export PACKAGES_PATH=$PWD/edk2:$PWD/edk2-platforms:$PWD/edk2-non-osi:$PWD/edk2-platforms/Features
ATFPATH=$WORKSPACE
export MANUFACTURER=ASRockRack
export BOARD_NAME=Altra1L2T
export PATH=$PATH:$ATFPATH/AtfTools/tools/cert_create:$ATFPATH/AtfTools/tools/fiptool

Build the edk2

# build release version
./edk2-platforms/Platform/Ampere/buildfw.sh -m ASRockRack -p Altra1L2T -b RELEASE
# build debug version 
./edk2-platforms/Platform/Ampere/buildfw.sh -m ASRockRack -p Altra1L2T -b DEBUG
# Change default parameters
EDK2_X86_EMULATOR_ENABLE=FALSE EDK2_SHELL_ENABLE=TRUE ./edk2-platforms/Platform/Ampere/buildfw.sh -m ASRockRack -p Altra1L2T -b RELEASE

Detail parameres can be seen in the build_fw.sh file

./edk2-platforms/Platform/Ampere/buildfw.sh  --help
Usage:
  ./edk2-platforms/Platform/Ampere/buildfw.sh [options]

Options:
  -b <bldtype>, --build <bldtype>  Specify the build type: DEBUG or RELEASE
  -t <tc>, --toolchain <tc>        Specify the toolchain to use: GCC or CLANG
  -m <mfg>, --manufacturer <mfg>   Specify platform manufacturer (e.g. Ampere)
  -p <plat>, --platform <plat>     Specify platform to build (e.g. Jade)
  -l <kern>, --linuxboot <kern>    Build LinuxBoot firmware instead of full EDK2 with UEFI Shell, specifying path to flashkernel
  -f, --flash                      Copy firmware to BMC and flash firmware (keeping EFI variables and NVPARAMs) after building
  -F, --full-flash                 Copy firmware to BMC and flash full EEPROM (resetting EFI variables and NVPARAMs) after building

  Note: flash options require bmc.sh file with env vars BMC_HOST, BMC_USER and BMC_PASS defined

  Available manufacturers:
    ADLINK
    Ampere
    ASRockRack

  Available platforms:
    ADLINK     -> ComHpcAlt
    Ampere     -> Jade
    ASRockRack -> Altra1L2Q
    ASRockRack -> Altra1L2T

Environment Variables:
  SECUREBOOT_DIR       - directory to store SecureBoot keys, certs etc.
  USE_EXISTING_SB_KEYS - use existing Secure Boot Platform and Update keys
  DOWNLOAD_MS_SB_KEYS  - force re-download of Microsoft Secure Boot KEK and DB certificates
  CERT_PASSWORD        - password to use when generating Platform and Update Keys and certificates
                         defaults to "password" if not specified.

  EDK2_SECURE_BOOT_ENABLE             (TRUE)
  EDK2_NETWORK_ENABLE                 (TRUE)
  EDK2_INCLUDE_TFTP_COMMAND           (TRUE)
  EDK2_NETWORK_IP6_ENABLE             (TRUE)
  EDK2_NETWORK_ALLOW_HTTP_CONNECTIONS (FALSE)
  EDK2_NETWORK_TLS_ENABLE             (TRUE)
  EDK2_REDFISH_ENABLE                 (TRUE)
  EDK2_PERFORMANCE_MEASUREMENT_ENABLE (FALSE)
  EDK2_TPM2_ENABLE                    (TRUE)
  EDK2_HEAP_GUARD_ENABLE              (FALSE)
  EDK2_X86_EMULATOR_ENABLE            (TRUE)
  EDK2_SHELL_ENABLE                   (TRUE)

If build_fw.sh run’s without any problem, it will generate a 10MB size BIOS image, but the stock ASRR image size is 32MB. Therefore, you needs to copy the EDK2 image into the stock image at offset 0x600000. You can download the Altrad8ud stock firmware from the Altrad8ud firmware download site.

dd if=edk2-uefi.bin of=stock-bios.bin bs=1MB seek=6 conv=notrunc

Here is a sample script to package it again. It will generate fw-altrad8ud.tar, which can be upgraded via the WebGUI.

cp ampere/bios.bin .
cp ampere/MANIFEST .

dd if=Build/Altra1L2T/altra1l2t_uefi.bin of=bios.bin bs=1M seek=6 conv=notrunc

tar cf fw-altrad8ud.tar bios.bin MANIFEST

Or you also can copy bios.bin(modified) to the BMC and update it directly from the BMC.
because scp or sftp didn’t work for me, I used the http to download the image.

# cd /tmp
# curl <your web>/bios.bin
# ampere_flash_bios.sh bios.bin

ref. EDK2: new support for ASRock Rack ALTRAD8UD-1L2T / ALTRAD8UD2-1L2Q and build improvements for Mt Jade and COM-HPC-ALT

The post Build Master EDK2 for Altrad8ud appeared first on richliu's blog.

所以只能用之前的 Open Source 開發環境編 Verilog 程式。首先請參照Build Risc-V on Ubuntu Linux設定開發環境

最難的部份是找到 FPGA 的 clock input pin ，每一家 LLM 給的值都是錯的。實際上就是 User Manual 以下這段，不過我找到是從 litex-board 抓出來才知道原來是這一段，給個 table 啊，這文件不行，其它的 LED dip switch 都給了，clock 不給.

An on-board 100 MHz LVDS oscillator is provided for general purpose use. This clock source is connected to differential inputs P3 and P4 and must be used as LVDS inputs to the FPGA. This pin pair also provides optimal interface to the FPGA PLL for customized use.

P3 and P4 pin 利用 LVDS 當 input. 這樣就可以寫 lpf 檔案，只能能抓出 clk ，而且知道FPGA ball number 要跟 verilog 對應。這樣就可以將LED 也抓進來了
而且看起來目前 FPGA 主要就是靠這兩根 pin 做 clk 輸入，100Mhz，如果是當 PCIe device 時也可以從 PCIe 那邊接 PCIe 的 clock 進來

接下來我們就可以編 mapping file ，像是 ecp5evn.lpf 內容如下

LOCATE COMP "clk100" SITE "P3";
IOBUF PORT "clk100" IO_TYPE=LVDS;


LOCATE COMP "rst" SITE "H2";
IOBUF PORT "rst" IO_TYPE=LVCMOS33 PULLMODE=DOWN;

# 將 Verilog 中的 "led" port 定位到 FPGA 的 LED output
LOCATE COMP "led[0]" SITE "F16";
IOBUF PORT "led[0]" IO_TYPE=LVCMOS33;
LOCATE COMP "led[1]" SITE "E17";
IOBUF PORT "led[1]" IO_TYPE=LVCMOS33;
LOCATE COMP "led[2]" SITE "F18";
IOBUF PORT "led[2]" IO_TYPE=LVCMOS33;
LOCATE COMP "led[3]" SITE "F17";
IOBUF PORT "led[3]" IO_TYPE=LVCMOS33;
LOCATE COMP "led[4]" SITE "E18";
IOBUF PORT "led[4]" IO_TYPE=LVCMOS33;
LOCATE COMP "led[5]" SITE "D18";
IOBUF PORT "led[5]" IO_TYPE=LVCMOS33;
LOCATE COMP "led[6]" SITE "D17";
IOBUF PORT "led[6]" IO_TYPE=LVCMOS33;
LOCATE COMP "led[7]" SITE "E16";
IOBUF PORT "led[7]" IO_TYPE=LVCMOS33;

然後寫一個簡單的 verilog 程式驗證我們的 code 是不是對的，像是一顆簡單的 CPU，然後寫了一個簡單的程式計算 1+10

module aCPU (
    input  clk,   
    input  rst,
    output reg [7:0] led,    // LED output
    output reg [7:0] debug_led    // LED output
);
    // command
    parameter OP_NOP = 4'b0000   ;
    parameter OP_LI  = 4'b0001   ;
    parameter OP_ADD = 4'b0010   ;
    parameter OP_ADDI= 4'b0011   ; // copy s_reg + imm [1:0] reg to d_reg
    parameter OP_BNER0 = 4'b0100   ;
    parameter OP_OUT = 4'b0101   ;
    parameter OP_HALT = 4'b0110   ;
    reg [3:0] pc;
    reg [7:0] register [0:3];
    reg [15:0] ir;   // ir = 指令暫存

    wire [3:0] opcode /* verilator public */ = ir[15:12];
    wire [1:0] s_reg  = ir[11:10];
    wire [1:0] d_reg  = ir[9:8];
    wire [7:0] value  = ir[7:0];

    reg [15:0] program_memory [0:15];


    // 初始化程式記憶體
    initial begin
        // 程式: 計算 1 + 10 並輸出
        program_memory[0] = {OP_LI, 2'b00, 2'b00, 8'd1};    // LI only load to d_REG. s_reg no work
        program_memory[1] = {OP_LI, 2'b01, 2'b01, 8'd11};   //
        program_memory[2] = {OP_ADDI, 2'b10, 2'b10, 8'b0000}; // R3 = R2 + IMM
        program_memory[3] = {OP_ADD, 2'b00, 2'b00, 8'b0001}; // R2 = R0 + IMM => R0
        program_memory[4] = {OP_BNER0, 2'b00, 2'b01,8'b00000010}; // R0 跟 R1 比若不相同跳到 2
        program_memory[5] = {OP_OUT,  2'b10, 2'b00, 8'b00000000}; // 輸出 s_reg to serial
        program_memory[6] = {OP_HALT, 2'b10, 2'b01, 8'b00000000};     // 停止
    end
    always @(posedge clk or posedge rst) begin
        if (rst) begin
            pc <= 0;
            register[0] <= 0;
            register[1] <= 0;
            register[2] <= 0;
            register[3] <= 0;
            led <= 8'b11111111;
            debug_led <= 8'b11111111;
        end
        else begin
            pc <= pc + 1;
            ir <= program_memory[pc];
            // $display("pc[%d] ir:%x reg[0]:%d reg[1]:%d reg[2]:%d value: %x \n", pc, ir, register[0], register[1], register[2], value);
            case (opcode)
                 OP_NOP: begin
                 end
                 OP_LI: begin
                    register[s_reg] <= value;
                 end
                 OP_ADD: begin
                    register[d_reg] <= register[s_reg] + value;
                 end
                 OP_ADDI: begin
                    register[d_reg] <= register[s_reg] + register[value[1:0]];
                 end
                 OP_BNER0: begin
                    if (register[s_reg] != register[d_reg]) begin
                        pc <= value[3:0];
                    end
                 end
                 OP_OUT: begin
                    led <= register[s_reg];
                 end
                 OP_HALT: begin
                    pc <= pc - 1;
                 end
                 default: begin
                    // $display("Error No this command OP_CODE: %x ir: %x ", opcode, ir);
                 end
            endcase
        end
    end
endmodule

當然為了這個程式就需要寫一個 test bench 檔案，就叫 ${PRJNAME}_tb.cpp
這不僅僅是當 test bench ，後來在弄的過程才知道可以靠 $display 顯示電路內的狀態，比幻想簡單太多了

#include <stdio.h>
#include <stdlib.h>
#include <assert.h>
#include "VsCPU.h"
#include "verilated.h"

#include "verilated_vcd_c.h"

int main (int argc, char** argv, char** env){

    VerilatedContext* contextp = new VerilatedContext;
    contextp->commandArgs(argc, argv);
    VsCPU* top = new VsCPU{contextp};

    VerilatedVcdC* tfp = new VerilatedVcdC;
    contextp->traceEverOn(true); // open trace function
    top->trace(tfp, 99);
    tfp->open("wave.vcd");
    int clk = 0;

    int cycles = 0;
    while (!contextp->gotFinish() && (cycles < 100) ) {
      clk = !clk;
      top->clk100 = clk;
      top->eval();
      tfp->dump(contextp->time()); // dump wave
      contextp->timeInc(1); // move time to next clock

      if (cycles > 50) {
          // 檢查 LED 輸出是否為預期值 (1 + 10 = 11)
          if (top->led == (u_int8_t) ~0xc8) {
              printf("SUCCESS: 1 + 10 = %d\n", top->led);
              break;
          }
      }
      cycles++;
      if (cycles >= 99) {
          printf("TIMEOUT: Expected result not reached\n");
      }

    }
    //
    if (tfp) {
        tfp->close();
        delete tfp;
    }
    delete top;
    return 0;
}

然後撰寫一個 Makefile ，可以直接 Compile Code 變 bitstream 而且可以上傳到 FPGA 上.

DEVICE = um-45k
PACKAGE = CABGA381

PRJNAME=aCPU

all: ${PRJNAME}.bit

${PRJNAME}.json: ${PRJNAME}.v
        yosys -p "synth_ecp5 -json ${PRJNAME}.json" ${PRJNAME}.v

${PRJNAME}_out.config: ${PRJNAME}.json
        nextpnr-ecp5 --$(DEVICE) --package $(PACKAGE) --json ${PRJNAME}.json \
        --lpf ecp5evn.lpf --textcfg ${PRJNAME}_out.config

${PRJNAME}.bit: ${PRJNAME}_out.config
        ecppack --svf ${PRJNAME}.svf ${PRJNAME}_out.config ${PRJNAME}.bit

sim:
        verilator -Wall --cc --exe --build --trace ${PRJNAME}.v ${PRJNAME}_tb.cpp

program:
        openFPGALoader -b ecp5_evn ${PRJNAME}.bit

clean:
        rm -f *.json *.config *.bit *.svf

make sim 之後執行 ./obj_dir/VaCPU 就可以看到程式輸出的結果，果然還是印出來比較簡單 debug

同時也會產生 wave.vcd 這時可以用 gtkwave 看波形

make program 之後就可以燒到 FPGA 板子上啦，輸出的燈號是反向的

The post Run verilog Program on Lattice ECP5 Versa with OpenSource Tools appeared first on richliu's blog.

Lattice Versa EVB Board 晶片型號不同

這個是最主要的問題，因為文件並不會提到這件事，都會用 versa_ecp5 帶過，但是實際上 versa_ecp5 是使用 LFE5UM5G-85F 的晶片，晶片比較新，邏輯閘數也比較多。一般市面上賣的 versa_ecp5 是 LFE5UM5G-45F，一片約在一萬元左右。
我從淘寶看到一塊比較便宜的 LFE5UM5G-45F ，結果買回來後是 LFE5UM-45F ，沒有 5G。查詢網路上的資料，大概只差在 SEDERS 最高頻可以到 5G ，還有速度比較快。

但是 LiteX default versa_ecp5 是預設用 LFE5UM5G-85F ，在燒錄時就會失敗，ID 不一樣

此時我們就要重編一次 Linux-on-litex-vexriscv ，加上 device 的參數，這樣就可以了

./make.py --device LFE5UM --board=versa_ecp5 --cpu-count=1 --build

編出來的 bitstream 和 fpga hardware 不同的錯誤訊息，可以看到 hardware id 不一樣

$ openFPGALoader -b ecp5_evn versa_ecp5.bit
empty
Jtag frequency : requested 6.00MHz    -> real 6.00MHz
Open file: DONE
b3bdffff
Parse file: DONE
mismatch between target's idcode and bitstream idcode
        bitstream has 0x81112043 hardware requires 0x01112043
Error: Failed to program FPGA: std::exception

連接上 EVB Board

EVB Board 應該支援 ethernet load ，但是我還沒試出來，就當 TBD 吧，看設定檔內 ethernet 是可以用的

EVB Board 上的 FT2232H 支援 JTAG 和 Serial Port ，Linux kernel 的 image 可以從 serial port load，不過速度好慢啊

我之前用 Diamond programmer 要燒錄編出來的 bitstream file ，但是因為 id mismatch 的關係所以燒不上去，所以我最後是找了一台乾淨的 Linux 直接接 EVB Board 的 USB （要注意，這塊版子的 USB Port 是 mini-USB ，如果沒附線要有支援 mini-USB 的線），就這樣找到最後才發現根本型號不一樣，所以這篇就不會提到 Diamond programmer

記得接上之前要將 FTDI 的J50跳線改成下圖這樣，要跳過 iSPclock

（原文 Note: If you are using a Versa board, you will need to change J50 to bypass the iSPclock. Re-arrange the jumpers to connect pins 1-2 and 3-5 (leaving one jumper spare). See p19 of the Versa Board user guide.）

接上去之後，上電之後，Linux 下會出現 /dev/ttyUSB0 是 JTAG 的介面，/dev/ttyUSB1 是 serial port 的介面

在另一個視窗先執行 litex_term（記得在 venv 環境下執行）

litex_term --images=images/boot.json /dev/ttyUSB1

燒錄 bitstream 到板子上

最後一步就是燒錄上去了，我是用 OpenFPGAloader ，以下是安裝步驟

sudo apt install -y  libftdi1-dev

cd /nvme/cpu
git clone https://github.com/trabucayre/openFPGALoader
cd openFPGALoader
mkdir -p build
cd build
cmake ../
make -j `nproc`
sudo make install 

然後到 linux-on-litex-vexriscv 下用 OpenFPGAloader 暫時 load bitstream 上去，這速度很快，這樣就不用燒上去了

cd /nvme/cpu/linux-on-litex-vexriscv/build/versa_ecp5/gateware
$ openFPGALoader -b ecp5_evn versa_ecp5.bit
empty
Jtag frequency : requested 6.00MHz    -> real 6.00MHz
Open file: DONE
b3bdffff
Parse file: DONE
Enable configuration: DONE
SRAM erase: DONE
Loading: [==================================================] 100.00%
Done
Disable configuration: DONE

如果順利，可以在剛剛執行 litex_term 上看到 load image 訊息
如果用的是上一篇文章內提到的先下載好 RiscV 的 Linux image 和 rootfs ，就可以看到 Linux boot 了

這年代可以自己編一顆 CPU 跑起來也真的是很有趣

以下未完成，待續

設定 udev

這塊版子看起來要設定過 udev 才能被 LiteX 抓到，首先新增檔案 /etc/udev/rules.d/99-ftdi.rules
內容如下，記得 GROUP=換成 Linux login 帳號

SUBSYSTEMS=="usb", ATTRS{idVendor}=="0403", ATTRS{idProduct}=="6010", MODE="0660", GROUP="使用者名稱"

然後執行以下命令之後再重新上電即可

sudo udevadm control --reload-rules
sudo udevadm trigger

這個命令也可以像 OpenFPGAloader 一樣將 bitstream load 到 FPGA 上

./make.py --device LFE5UM --board=versa_ecp5 --cpu-count=1 --load 

45F Gate count 夠放二顆 CPU ，所以可以跑 SMP

./make.py --device LFE5UM --board=versa_ecp5 --cpu-count=2 --build
./make.py --device LFE5UM --board=versa_ecp5 --cpu-count=2 --load 

The post Running Risc-V Linux on Lattice Versa ECP5 EVB appeared first on richliu's blog.

OS: ubuntu 22.04 / 24.04

下載和 compile source code

理論上用 linux-on-litex-vexriscv 照著作就可以了，不過中間還是有很多邊邊角角的小問題要處理 ，如果對系統不夠熟的人會在這邊卡很久。

Install Ubuntu Packages

sudo apt-get install -y build-essential device-tree-compiler wget git python3-setuptools python3-dev
sudo apt-get install -y libssl-dev libncurses-dev libeigen3-dev
sudo apt-get install -y libevent-dev libjson-c-dev libboost-iostreams-dev
sudo apt-get install -y libreadline-dev tcl-dev libffi-dev bison flex gawk gtkwave

sudo apt-get install -y file bc unzip meson 
sudo apt-get install -y libboost-dev libboost-filesystem-dev libboost-thread-dev libboost-program-options-dev libboost-python-dev libboost-all-dev


# 24.04
sudo apt-get install -y python3-venv 

Install SBT

sudo apt-get update
sudo apt-get install apt-transport-https curl gnupg -yqq
echo "deb https://repo.scala-sbt.org/scalasbt/debian all main" | sudo tee /etc/apt/sources.list.d/sbt.list
echo "deb https://repo.scala-sbt.org/scalasbt/debian /" | sudo tee /etc/apt/sources.list.d/sbt_old.list
curl -sL "https://keyserver.ubuntu.com/pks/lookup?op=get&search=0x2EE0EA64E40A89B84B2DF73499E82A75642AC823" | sudo -H gpg --no-default-keyring --keyring gnupg-ring:/etc/apt/trusted.gpg.d/scalasbt-release.gpg --import
sudo chmod 644 /etc/apt/trusted.gpg.d/scalasbt-release.gpg
sudo apt-get update
sudo apt-get -y install sbt

Install OpenJDK

這邊我們用 OpenJDK 17

sudo apt-get install -y openjdk-17-jdk openjdk-17-jre

重編 cmake

內建的 cmake 看起來版本太低不能用，所以要下載 cmake 手動編譯

wget https://github.com/Kitware/CMake/releases/download/v4.0.3/cmake-4.0.3.tar.gz
tar xvf cmake-4.0.3.tar.gz
cd cmake-4.0.3
./configure
make -j `nproc`
sudo make install

下載 linux-on-litex-vexriscv

編 buildroot 要指定 linux-on-litex-vexriscv ，所以先下載

git clone https://github.com/litex-hub/linux-on-litex-vexriscv

編 Buildroot 編出 Risc-V 的 Cross Compiler

我因為是在其他 CPU 的平台上跑，所以只能自己編 buildroot ，還好 buildroot 已經很成熟了，只是要花時間編出來而已，第一次有錯誤訊息沒關係，確認 output/host/bin/ 下有”riscv32-” 開頭的 toolchain 就可以了
等到編完 litex 之後再回來重編一次 buildroot 即可

git clone http://github.com/buildroot/buildroot
cd buildroot
make BR2_EXTERNAL=../linux-on-litex-vexriscv/buildroot/ litex_vexriscv_defconfig
make

iverilog 版本太舊，重編 iverilog

iverilog 和 yosys 都要注意不能用到 ubuntu 系統內建的版本，它們都太舊了
都要手動重裝新版的

sudo apt-get install -y autoconf gperf make gcc g++ bison flex
git clone https://github.com/steveicarus/iverilog.git
cd iverilog
autoconf
./configure 
sudo make -j `nproc` install 

下載 yosys/prjtrellis/nextpnr

主要是參照這篇 LiteX/VexRiscv 簡介與使用 (二) 始有晝夜 ，但是因為已經是幾年前了，有些東西有點小差異，不過不影響，目錄就用我的工作目錄

這邊要小心一點，最好是先清空相關的程式碼，像是 /nvme/cpu/sysroot/* 和 /usr/local/bin 下的某些檔案，我就吃了虧卡關了很久

如果是 Ubuntu 24.04 ，要先照下面一節的方式先切到 venv 的環境再安裝

# 如果還沒做就先將路徑加上去
# 編 buildroot 時不能加入 buildroot 的 path，要編 litex 時再加入即可export PATH=$PATH:/usr/local/bin:/nvme/cpu/buildroot/output/host/bin/:/nvme/cpu/sysroot/bin/:~/.local/bin:

mkdir -p /nvme/cpu/sysroot
cd /nvme/cpu
git clone --recursive https://github.com/YosysHQ/yosys
git clone --recursive https://github.com/YosysHQ/prjtrellis
git clone --recursive https://github.com/YosysHQ/nextpnr
cd yosys
make PREFIX="/nvme/cpu/sysroot" CONFIG=gcc ENABLE_TCL=1 ENABLE_ABC=1 ENABLE_GLOB=1 ENABLE_PLUGINS=1 ENABLE_LIBYOSYS=1 ENABLE_PROTOBUF=1 ENABLE_ZLIB=1 ENABLE_PYOSYS=1 test all install -j `nproc`
cd ..
cd prjtrellis/libtrellis
cmake -DCMAKE_INSTALL_PREFIX=/nvme/cpu/sysroot .
make install -j `nproc`
cd ../../
cd nextpnr
cmake . -DARCH=ecp5 -DTRELLIS_INSTALL_PREFIX=/nvme/cpu/sysroot -B build
cd build
sudo make install -j `nproc`

下載和編 litex

ubuntu 22.04 可以用 –user ，但是 24.04 就強制要用 venv　要先有環境

cd /nvme/cpu
python3 -m venv litex-venv
source litex-venv/bin/activate

Ubuntu 22.04

cd /nvme/cpu
wget https://raw.githubusercontent.com/enjoy-digital/litex/master/litex_setup.py
chmod +x litex_setup.py
./litex_setup.py --init --install --user

Ubuntu 24.04

./litex_setup.py --init --install

Compile Lite-X

cd /nvme/cpu/linux-on-litex-vexriscv
./make.py --board=versa_ecp5 --cpu-count=1 --build

跑 Simulation

順利的話這時環境應該 OK 了，可以跑 simulation 了

先下載 Linux images 到 images

cd /nvme/cpu/linux-on-litex-vexriscv/images
wget https://github.com/litex-hub/linux-on-litex-vexriscv/files/8331338/linux_2022_03_23.zip
unzip linux_2022_03_23.zip

跑 simulation

這時就可以跑 simulation 了，不過我跑了 64 Cores 好像更慢，看起來給愈多 code 會跑的更大，像是變 SMP 或是跑到 100Mhz （一核用 1Mhz）
可能要花時間設參數，–jobs 到是可以設大一點

./sim.py

# 或是
./sim.py 

# 或是
./sim.py  --jobs `nproc` --threads `nproc`

Build FPGA Bitstream Image

以下就是編 orange_crab FPGA 板子的 command

./make.py --board=orange_crab --cpu-count=1 --build

不過我編出來會 .dts failed
可以改編 versa_ecp5 ，這是 ecp5 的公板，目前應該只有 ecp5 可以靠Trellis/Yosys/nextpnr 這三個 Open Source 的軟體編出 FPGA 所需的 bitstream image，orange_crab 也是基於 ecp5 的 FPGA.

./make.py --board=versa_ecp5 --cpu-count=1 --build

不過我寫這篇的時候還沒買 FPGA ，所以燒到板子上測試要等下一篇了

Error Messages

Ram_1w_1rs_Generic.v:2:8: Timescale missing on this module as other modules have it

原始錯誤訊息

%Error-TIMESCALEMOD: /nvme/cpu/pythondata-cpu-vexriscv-smp/pythondata_cpu_vexriscv_smp/verilog/Ram_1w_1rs_Generic.v:2:8: Timescale missing on this module as other modules have it (IEEE 1800-2017 3.14.2.2)
                     /nvme/cpu/pythondata-cpu-vexriscv-smp/pythondata_cpu_vexriscv_smp/verilog/VexRiscvLitexSmpCluster_Cc1_Iw32Is4096Iy1_Dw32Ds4096Dy1_ITs4DTs4_Ldw32_Ood_Hb1.v:8:8: ... Location of module with timescale
    8 | module VexRiscvLitexSmpCluster_Cc1_Iw32Is4096Iy1_Dw32Ds4096Dy1_ITs4DTs4_Ldw32_Ood_Hb1 (
      |        ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
%Error: Exiting due to 1 error(s)
        ... See the manual and https://verilator.org for more assistance.
make: *** [/nvme/cpu/litex/litex/build/sim/core/Makefile:44: sim] Error 1
make: Leaving directory '/nvme/cpu/linux-on-litex-vexriscv/build/sim/gateware'
Testing expectations for wide_thru_priority.v ..Test: code_verilog_tutorial_fsm_full -> ok

Test: code_verilog_tutorial_parity -> ok

修改檔案 /nvme/cpu/pythondata-cpu-vexriscv-smp/pythondata_cpu_vexriscv_smp/verilog/Ram_1w_1rs_Generic.v 加上一行

diff --git a/pythondata_cpu_vexriscv_smp/verilog/Ram_1w_1rs_Generic.v b/pythondata_cpu_vexriscv_smp/verilog/Ram_1w_1rs_Generic.v
index c6e6a96..6a57a2e 100644
--- a/pythondata_cpu_vexriscv_smp/verilog/Ram_1w_1rs_Generic.v
+++ b/pythondata_cpu_vexriscv_smp/verilog/Ram_1w_1rs_Generic.v
@@ -1,3 +1,5 @@
+`timescale 1ns/1ps
+

 module Ram_1w_1rs #(
         parameter integer wordCount = 0,

ERROR: Module `\ECLKBRIDGECS’ referenced in module `\orange_crab’ in cell `\ECLKBRIDGECS’ is not part of the design

Generating RTLIL representation for module `\VexRiscvLitexSmpCluster_Cc1_Iw32Is4096Iy1_Dw32Ds4096Dy1_ITs4DTs4_Ldw128_Ood_Hb1'.      ERROR: Module `\ECLKBRIDGECS' referenced in module `\orange_crab' in cell `\ECLKBRIDGECS' is not part of the design.   

yosys 太舊，我是裝到系統的 yosys ，移除掉系統的 yosys 再自己編 yosys 就可以了

Reference

LiteX/VexRiscv 簡介與使用 (二) 始有晝夜
LiteX
linux-on-litex-vexriscv
Prebuilt Bitstreams and Linux/OpenSBI images (抓 Linux Kernel 用)
Orange Crab 主網站
OSS CAD Suite
Buildroot

The post Build Risc-V on Ubuntu Linux appeared first on richliu's blog.

First, check the interface states, default network is inactive

# virsh net-list --all
 Name              State    Autostart   Persistent
----------------------------------------------------
 bridged-network   active   yes         yes
 default           inactive yes         yes

Manual restart, it shows following message

# virsh net-start default
error: Failed to start network default
error: internal error: Child process (VIR_BRIDGE_NAME=virbr1 /usr/sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/libexec/libvirt_leaseshelper) unexpected exit status 2:
dnsmasq: failed to create listening socket for 192.168.123.1: Address already in use

The root cause is, when libvirt start the default network, it will also bring up the dnsmasq as dns server, but if this system also has DNS server like named or another dnsmasq service, it will have port conflict.
Tried to modify the yaml to assign dnsmasq to another port, but doens’t work (old configure is to use /etc/dnsmasq.conf, but seems it will use default.xml after update the libvirt )

add <dns enable="no"/> to default network setting can solve this issue, ex:

# virsh net-edit default

<network>
  <name>default</name>
  <uuid>cdf10e75-0299-43b5-8c93-e6943e261ef3</uuid>
  <forward mode='nat'/>
  <bridge name='virbr0' stp='on' delay='0'/>
  <mac address='52:54:00:66:c4:a3'/>
  <dns enable='no'/>
  <ip address='192.168.122.1' netmask='255.255.255.0'>
    <dhcp>
      <range start='192.168.122.2' end='192.168.122.254'/>
    </dhcp>
  </ip>
</network>

ref.
https://serverfault.com/questions/937188/disable-or-change-port-of-dnsmasq-service-in-libvirt

The post [Gentoo] virt-manager/libvirt virbr0 doesn’t exist appeared first on richliu's blog.

用 AI 產出來的 configuration files ，DeepSeek 看起來比較正確，只是 Dashboard 跟 Grox 一樣都會錯，到是 Grox 在設定 Gafana 的 influxdB data source 的地方講對了，查詢種類要選 flux 才可以查到資料

試過了 Prometheus，結果發現可用的 Dashboard 更少，感覺沒過幾年世界就變了

設定檔我覺得可以丟給 AI ，畢竟我跑在 VM 內部又用 docker 跑，相對上還是麻煩了一點

至於 Gafana 的設定檔我就丟在這邊，堪用還有些小問題但是懶得修了，我只想看 input output 狀態而已
https://github.com/richliu/cp_apc_dash

The post CyberPower UPS + Apcupsd + Gafana + InfluxDB appeared first on richliu's blog.

在查找文章的時候有文章就提到

Check Your Current Collation: Look at your database tables. If you see a collation like utf8mb3_unicode_ci, this is likely the cause of the problem. WordPress tables should ideally use utf8mb4_unicode_520

才想到查一下我的 DB 是不是 utf8mb3 ，一查之下果然是，老的 WordPress 用的資料庫果然夠老，轉換資料庫也碰到一些問題，主要是 wp_comments 這個資料庫的問題，可以先去 WordPress comments 刪除所有垃圾留言

在 wp-config.php 內設定成 utf8mb4

define('DB_CHARSET', 'utf8mb4');
define('DB_COLLATE', 'utf8mb4_unicode_ci');

導出 wp_comments 的資料庫

mysqldump -u [用戶名] -p --skip-set-charset --default-character-set=latin1 [資料庫名] wp_comments > wp_comments.sql

導回 wp_comments 的資料庫

mysql -u [用戶名] -p --default-character-set=utf8mb4 [資料庫名] < wp_comments.sql

轉換整個資料庫

#!/bin/bash
DB_NAME="your_database"
USER="your_user"
PASS="your_password"

TABLES=$(mysql -u $USER -p$PASS -Nse "SHOW TABLES;" $DB_NAME)
for TABLE in $TABLES; do
    mysql -u $USER -p$PASS -e "ALTER TABLE $TABLE CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;" $DB_NAME
done

DeepSeek 這邊做的非常好，直接給 shell script 幫助完成，Grok 就沒給出這麼方便的 Script.

The post WordPress utf8mb3_general_ci 改utf8mb4_unicode_ci appeared first on richliu's blog.

System Specifications

Nvidia Driver: NVIDIA-Linux-aarch64-570.86.16.run
Host: Ampere Altra + ALTRAD8UD
Host OS: Ubuntu 22.04 with HWE kernel (6.8)
Guest OS: Ubuntu 22.04 (ubuntu-22.04-live-server-arm64.iso)
GPU: Nvidia RTX 4080 16GB

Assumptions

1. You are familiar with Ubuntu and its basic commands.
2. You have experience using Virt-manager.
3. All commands are executed as the root user.

If anything is unclear, you can refer to external resources for additional guidance.

Host Configuration

Enable IOMMU

To enable IOMMU, you need to enable the SR-IOV option in the BIOS and verify whether the Linux kernel has IOMMU enabled by default.

You can check if IOMMU is enabled by running:

$ dmesg | grep -i iommu

Example output:

[    0.000000] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.8.0-52-generic root=UUID=6b78fa89-a575-432d-a445-1497c3467214 ro iommu=on
[    0.000000] Unknown kernel command line parameters "BOOT_IMAGE=/boot/vmlinuz-6.8.0-52-generic iommu=on", will be passed to user space.
[   11.561684] iommu: Default domain type: Translated
[   11.566470] iommu: DMA domain TLB invalidation policy: strict mode

If IOMMU is not enabled, add iommu=on to the Linux kernel boot parameters:

$ vim /etc/default/grub 

Modify the line:

GRUB_CMDLINE_LINUX_DEFAULT="iommu=on"

Then update GRUB and reboot:

$ update-grub2  
$ reboot  

Additionally, enable SR-IOV in the BIOS. The exact location of this setting varies depending on the BIOS, but it is typically found under the PCIe subsystem or related options.

Upgrade Host to HWE Kernel

I recommend using the Hardware Enablement (HWE) kernel on the host. While I’m unsure if the regular kernel works, the HWE kernel has been reliable in my experience. Install it with:

sudo apt install linux-generic-hwe-22.04

Configure VFIO on Host

The VM relies on the VFIO driver for GPU passthrough. To configure VFIO, you need to pass the PCIe device information to the VFIO driver.

First, identify the GPU’s PCIe device IDs:

$ lspci -nn

Example output:

0005:01:00.0 VGA compatible controller [0300]: NVIDIA Corporation Device [10de:2704] (rev a1)
0005:01:00.1 Audio device [0403]: NVIDIA Corporation Device [10de:22bb] (rev a1)

Here, 10de:2704 is the GPU’s PCIe device ID, and 10de:22bb is the audio device ID. At a minimum, you need to pass through the GPU device.

Next, edit the VFIO configuration file to include these IDs:

$ vim /etc/modprobe.d/vfio.conf

Add the following line:

options vfio-pci ids=10de:2704,10de:22bb

Disable Nvidia Driver on HOST

To prevent the host from loading the Nvidia driver, add the Nvidia modules to the kernel’s blocklist:

$ vim /etc/modprobe.d/blacklist.conf

Add the following lines:

blacklist nvidia
blacklist nvidia_drm
blacklist nvidia_modeset

Update the initramfs and reboot:

$ update-initramfs -u
$ reboot

Configure VM

Install Virt-manager

In this article, we used virt-manager as VM manager, first step is install virt-manager, suppose Ubuntu will install all relative packages.

$ apt install virt-manager 

If you’re using SSH with X11 forwarding (e.g., ssh -X host) or MobaXTerm on Windows, Virt-manager will display the remote X window. If neither method works, consider installing a KDE desktop on the host and accessing it via the BMC remote console.

(Optional) Install KDE Plasma Desktop:

(option)
$ apt install kde-plasma-desktop

Create VM image

Virt-manager creates fixed-size VM images by default. If you prefer dynamic allocation, create the image manually:

$ qemu-img create -f qcow2 ubuntu2204.qcow2 200G

Add Nvidia device to VM

If the host is configured correctly, Virt-manager will list all PCIe devices, including the Nvidia GPU. Add the GPU and its audio device (e.g., 0005:01:00.0 and 0005:01:00.1) to the VM’s hardware list.

After adding the devices, proceed with the Ubuntu 22.04 installation.

After add hardware

Now, it can run begin install to install ubuntu 22.04

Disable secure Boot in UEFI

By default, Virt-manager enables Secure Boot. However, Nvidia drivers may not work with Secure Boot enabled. Even though the Nvidia installer includes a driver signing feature, the driver may still fail to load. To avoid issues, disable Secure Boot in the VM’s UEFI settings.

During the VM’s boot process, press the DEL key to enter UEFI settings and uncheck the Secure Boot option.

Before installing the Nvidia driver, ensure the necessary development packages are installed:

$ apt install build-essential

Then, install the Nvidia driver and reboot the VM.

GPU Passthrough Test

If everything is set up correctly, running nvidia-smi should display the GPU’s status.

For testing, you can use Ollama with the Deepseek-R1 model. Install Ollama with:

curl -fsSL https://ollama.com/install.sh | sh

Pull the Deepseek-R1 model. Since the GPU has 16GB of memory, the 14B model is a good choice (it requires ~10GB):

ollama run deepseek-r1:14b

Ask a question like, “Why is the sky blue?” This will trigger the model’s Chain-of-Thought (CoT) reasoning.

Monitor the GPU’s status using nvidia-smi to ensure it’s functioning correctly.

The post GPU Passthrough on ARM64 with Libvirt/Virt-manager appeared first on richliu's blog.

In this article, I will skip other steps such as installing Ollama.

System Specifications:

• OS: Ubuntu 22.04 on an ARM64 virtual machine
• CPU: Ampere Altra
• DRAM: 32GB (allocated to the VM, though smaller models do not require this much memory)

At the time of writing, Infinity does not support the ARM64 platform, but that is not an issue since we do not need it. RAGFlow uses Elasticsearch as its default AI database engine, and Elasticsearch does support the ARM64 platform.

Building RAGFlow on ARM64

Build ragflow command [ref. Build a RAGFlow Docker Image]

git clone https://github.com/infiniflow/ragflow.git
cd ragflow/
docker build --build-arg LIGHTEN=1 -f Dockerfile -t <username>/ragflow:<version> .

docker build --build-arg LIGHTEN=1 -f Dockerfile -t user/ragflow:v0.16.0 .

If everything is set up correctly, the Docker images will display an output similar to the following:

docker images
REPOSITORY                                      TAG                            IMAGE ID       CREATED         SIZE
user/ragflow                                    v0.16.0                        8a71ac9cb2fa   3 hours ago     5.73GB

Note that this image does not include pre-built models. However, models can be installed separately using other methods.

Running RAGFlow

Before running the docker-compose command, assign the RAGFlow Docker image name to the docker-compose configuration.

export RAGFLOW_IMAGE=user/ragflow:v0.16.0
docker compose -f docker/docker-compose.yml up -d

If everything is set up correctly, you should see a message similar to the following:

[+] Running 10/10
  Network docker_ragflow      Created                                                                         0.2s
  Volume "docker_minio_data"  Created                                                                         0.0s
  Volume "docker_redis_data"  Created                                                                         0.0s
  Volume "docker_esdata01"    Created                                                                         0.0s
  Volume "docker_mysql_data"  Created                                                                         0.0s
  Container ragflow-mysql     Healthy                                                                        21.7s
  Container ragflow-minio     Started                                                                         1.1s
  Container ragflow-redis     Started                                                                         1.1s
  Container ragflow-es-01     Started                                                                         1.1s
  Container ragflow-server    Started                                                                        22.3s

Downloading Models with Ollama

Ollama needs to download certain models for system functionality. Here’s an easy way to download the models—you can choose the ones you prefer.

ollama pull deepseek-r1:14b
ollama pull deepseek-r1:32b
ollama pull smartcreation/bge-large-zh-v1.5:latest

After downloading the Ollama models, you need to add them in the “USER → Model Providers → Add Ollama Model” section. Below is an example of how to add the Deepseek model. Once you understand the process, you can add more models as needed.

At a minimum, you will need one chat model and one embedding model.

After pressing OK, you can configure the System Model Settings, which should look something like this:

Using RAGFlow

Now, you are ready to use the Knowledge Base and Chat features to explore RAGFlow.

For example, you can ask the engine to generate an ARM SIMD sample code based on the ARMv8 documentation.

Conclusion

RAGFlow is an easy-to-use RAG framework. Although it does not provide a default ARM64 image, you can still build it from source to obtain a functional version of RAGFlow.

The post Ragflow on ARM64 appeared first on richliu's blog.

我在 DeekSeek V3 (非思維鏈模型）出來的時候才開始用，而 DeepSeek V3 出來時就讓其他家大陸大模型費用降到一個非常可觀的地步，當時報導都幾乎沒提到是 DeekSeek V3 的影響

個人因為 GPT 用量不高，所以一直都是使用免費版，以免付費使用，個人評價是 ChatGPT 比 Claude 稍好，比 Gemini 強很多，如果 DeepSeek V3 同時比較，DeepSeek V3 表現最好，所以使用 DeepSeek V3 一陣子了，通常這類模型只要不問敏感話題都可以用的很快樂。

這次引發西方動搖國本式的震驚還是因為 DeepSeek-r1 是開源的思維鏈（Chain-of-Thought, CoT）大語言模型。簡單的說一下思維鏈大語言模型，是通過模擬人類的推理過程來提升模型在複雜任務中的表現。核心思想是讓模型在生成最終答案之前，先逐步推匯出中間步驟，從而更好地解決需要邏輯推理、數學計算或多步思考的問題

這個思維鏈在某些創意類型的工作上會有非常突出的表現，最近網路上很多風格特別的文章和影片都是如此生成的，像是給韓國或是美國歷任總統取廟號和諡號，或是用武俠風格寫一些平淡無奇的小事等等。但是思維鏈有個缺點，非常耗算力，所以在 DeepSeek-r1 出來之前，只有 OpenAI-o1 提供，而且是要月付 200 美金的才能有限制使用

DeepSeek-r1 一推出就轟動武林了，因為
1. 免費讓你隨便用
2. 告訴你再訓練成本超低，使用成本超低
3. 公開程式碼和權重參數
4. 是中國的公司開源的，比起什麼 OpenAI 東藏西藏技術，開源更能說服大家

低成本革命

不過要我選一個，那一定是低成本，因為思維鏈極耗算力，所以降算力這件事是非常的有意思，等於是一場革命。

我拿一個小故事來說好了，2000 年左右，在DSL(Digital Subscriber Lin)，透過電話線傳輸數據的技術出現之前，電信公司對於這類技術並不太感興趣，因為當時 .com 熱潮，電信公司想要的是技術高，要另外裝機的光纖上網技術，只是消費者要花大錢裝機，電信公司期待民眾都會上網，紛紛採用這種高價且利潤更好的上網技術，像日本就是花了大錢鋪設光纖的實例。台灣也是類似，有興趣可以查當年的股條事件，就是炒作固網概念。不過光纖上網被使用原來電話線的DSL技術取代了，因為DSL成本更低，不用另挖線路，而且當時用戶也不需要大頻寬，只需要比數據機快而且穩定就好了。DSL又變成技術主流十多年，因為成本低裝機費用低，用戶接受度非常高。

DeepSeek-r1 也是一樣，雖然比不上 OpenAI-o3 這類新的思維鏈技術，但是如果價格只有 1/30 不過效果有 95% 好，消費者想都不想一定是選擇便宜的，這就是低成本的優勢。尤其是價格差距過大，除非有一定非用不可的理由，否則人都是誠實的，反映在財報上都是誠實的

試用了 API 價格，一篇文章約 12000 tokens （中文英文的 tokens 計算方式不一樣），目前價格 US$0.0016 ，原價加倍，如果是 DeekSeek-R1 模型再加倍，這個價格非常划算，可以服務都接上去了。下圖是使用 deepseek-chat

這種價格很多企業可能都會直接接入，或許還比自架還便宜[華為 AI 接入 DeepSeek-R1 「小藝助手」變得更智能]

開源風暴

一般記者講開放原始碼是錯的，DeepSeek 是開放模型和權重
DeepSeek-r1 是第一個可以跟 OpenAI o1-mini 開放思維鏈的相比的開放模型，在 LLM AI model 的世界，開放資料幾乎不可能也沒必要，是有公司做影片的開放訓練資料，但是 LLM 這邊沒有

對於認真在追 GPT 技術的公司或是學校，目前應該都拼命在研究 DeepSeek-r1 演算法，這部份我不熟，但是目前看到的訊息都和放出來的東西是一致的。的確 Deepseek-r1 非常節能

這次事件傷害最大的應該是 OpenAI ，雖然 OpenAI 有領先優勢，但是在 DeepSeek-r1 出來之後，這個領先優勢就不明顯了，然後頭部玩家(Groq, Claude, Llama, Qwen 等等)目前應該都在追思維鏈技術，很快的大家在資源和運算量最佳化這塊就會同步了，就這篇寫出來的時候 Qwen 在過年前放出了 Qwen 2.5-Max，OpenAI 有 o3 和 o3-mini ，Google 更新了一堆 Gemini 2.0 和 CoT 的模型

雖然 OpenAI 更棒，但是 OpenAI 也有困境，要跟著下去用 DeepSeek-r1 還是要繼續 ChatGPT V5 還是 ChatGPT-o4 這類超巨大算力的模型

這邊會衍生出一個問題，很多人以為 DeepSeek 是從 OpenAI 偷資料來的，如只是指蒸餾，那大家都會做，DeepSeek OpenModel 上面寫也可以商用和蒸餾。而且以中文語境的表現來來說，DeepSeek-r1 的表現好到不像話，這邊提供一些不錯的玩法，有興趣的可以照著玩[10大隱藏提示詞，教你把Deepseek訓練成精！]，有些技巧也可以用在其他 LLM 上

1賽博人格分裂，(啟動人格分裂討論模式+問題)
2陰陽怪氣模式，(問題+笑死)毒舌屬性
3觸發預判模式，假設性問題(如果，，，會不會，，，)
4預言家模式，預判未來(如果，，，會發生什麼事)
5靈魂拷問模式，(①啟動槓精模式②先寫方案，再模擬槓精從*個角度狂噴，最後給出V2版方案)，
6玄學程式設計(，，，帶點蟬意)
7馴服轉業話癆，(說人話！)
8人設黏貼術，
9啟動老闆思維(如果你是，，，你會怎麼罵這個方案)
10過濾廢話，(問題，+刪掉所有正確的廢話，只留能落地的建議)

這邊有個日本人玩 deepseek 以中文寫詩，這中文能力並不是其他 LLM 可以比的[ref X]

PTX 及系統最佳化

很多人提到 DeepSeek-r1 用了 PTX (Parallel Thread Execution) 加速，因為要節省資源，PTX 有點像組合語言(Assembly)，在現代計算機中，跳過 compiler 直接去操作組合語言省不到幾毛錢的時間和金錢，會去動用 PTX 一定有其更重要的原因，因為做 PTX 的風險很大，我個人認為應該是拆解 CUDA 做不到的事情，只能自己手刻，這才有投入資源的必要性

看到報導說最多的是因為針對 H800 頻寬不夠所以才去動 PTX ，我們看不到發想的開始，但是就結果論，應該是針對一系列問題的最佳解，除了節省頻寬，節省VRAM使用量，減少節點之間的通訊成本，採用混合精度系統（在某些地方採用對FP8），等等改進圍繞的一系列魔改底層的概念，他們要的功能CUDA做不到，所以只能魔改了

在FP8 方面，DeepSeek 在張量核心內的所有 tensor 計算中使用 4 位指數和 3 位尾數——稱為 E4M3，之前也有人試著要實現 E3M4 的 tensor 計算，不過精度損失太多所以失敗。Deepseek 看起來解決了這個難題，看起來是採用混合精度，V3 模型的大部分核心都是以 FP8 格式實現的。但某些操作仍需要 16 位或 32 位精度，且主權重、權重梯度和優化器狀態以高於 FP8 的精度存儲

應該沒有提到使用 deepseek 產出 PTX ，不過以這種工程，個人猜測應該有弄了一版 deepseek/PTX 專用版，這樣就可以大幅加速研發，而且並不是沒有先例，最近才有人用deepseek加速 SIMD ggml 程式碼[ggml : x2 speed for WASM by optimizing SIMD ]，而CUDA source 在 2022 年的時候已經被駭客洩漏[It is reported that hackers leaked 75GB of Nvidia confidential files, including DLSS source code!]，如果拿到 source code ，那還會節省不少功夫。畢竟在用非正版訓練資料集上，這點大家都差不多[Meta leeched 82 terabytes of pirated books to train its Llama AI, documents reveal]

當然還不僅僅只是PTX，整個系統還有一個 DualPipe 的架構主要負責 NVLink / InfiniBand / RDMA 等等地方做數據傳輸。

如果照這些已知的訊息看起來，DeepSeek 應該是自己實現了（或是未來會實現）一個類似 CUDA 的架構，而這個架構只有最底層 hardware 是 NV 的。這樣的好處就要加什麼 hardware 要實現什麼功能可以自己改，缺點就是維護這樣一套系統的成本很高。不過如果是 deepseek 這個決策是非常合理的，畢竟在中國大陸被制裁 硬體的狀況之下，那天說不定連 NV 都沒得用，在底層設計更多的硬體彈性是必要的[DeepSeek 測試：華為昇騰 910C 效能達 H100 六成　盼減低依賴 NVIDIA](註:這邊是講 interference)

Reinforcement learning (RL) 強化學習

這部份其實是 DeepSeek-r1 需要提的，因為這部份是large-scale reinforcement learning (RL) without super-vised fine-tuning (SFT)，不需要人類監督的強化學習系統。以前的資料訓練出來需要人類標註，但是 DeepSeek-r1 的 RL 技術不依賴人類標記，從而可以加強思維鏈推理的效能。

其中提到的是 hardccoded rule 做最後評斷，不過我覺得可能是一種類專家系統。人類也是有介入，但是這種介入就不是監督輸出，而是對齊資料輸出。DeepSeek 的 RL 技術強調在沒有人類監督的情況下，透過獎勵機制和自我對弈來提升模型的推理能力

以下是 AI 寫的介紹

其它的大家應該也看的很多了，我就交給 AI 寫了，以下都是 AI 產生

這篇文章將分為四個部分，詳細介紹 DeepSeek 的發展歷程、技術優勢與不足、創辦人梁文鋒的觀點，以及針對 DeepSeek 的一些質疑與澄清。

1. 從幻方量化基金到 DeepSeek 的誕生

DeepSeek 的故事不僅是一個 AI 新創公司的崛起，更是一段從量化投資跨足通用人工智慧 (AGI) 的技術進化史。其前身幻方量化基金為 DeepSeek 的技術發展奠定了堅實的基礎 。

• 幻方量化：AI 基因的起源
• 成立與發展：2008 年，梁文鋒在浙江大學就學期間創立了幻方量化，初期致力於探索全自動化交易。2015 年，幻方將數學與 AI 應用於量化投資，確立了 AI 為公司主要發展方向。
• 技術實力：幻方量化專注於算法和量化核心引擎的研發，並自行建構了「螢火一號」和「螢火二號」AI 集群，搭載了數千張 A100 顯卡。
• 早期 AI 應用：早在 2016 年，幻方量化就已將 AI 模型應用於股票倉位交易，並於 2017 年底實現量化策略的全面 AI 化，成為量化投資領域的創新先鋒 。
• 算力投入：幻方在 2022 年已平均每天使用 4.2 萬 GPU 小時進行科研，相當於每天有近 2000 張 GPU 卡在幾乎滿負荷運行，展現其在 AI 研究上的巨額投入 。
• DeepSeek 的誕生：邁向 AGI 的新篇章
• 轉型 AGI：2023 年 4 月，在開源模型 Llama1 和 GPT-4 發布後，幻方決定進軍大模型領域。同年 5 月，將技術部門獨立出來成立深度求索公司，專注於 AGI 的發展。
• 技術繼承：雖然 DeepSeek 公司成立時間不長，但其背後的技術根基來自於幻方量化 17 年的積累，以及超過 5 年的 AI 研究經驗 。
• 商業模式：與 DeepMind 和 OpenAI 不同，DeepSeek 從一開始就具有盈利和技術商業化的考量。它繼承了幻方 AI「純 AI 研究」到「AI 量化引擎」的業務獨立模式，使其在財務上更為穩健。
• 資金挑戰與效率：2024 年 DeepSeek 面臨資金挑戰，但這也促使其將資金利用效率推至極限。

2. DeepSeek 的技術優勢、缺點與對未來 AI 的影響

DeepSeek 的技術優勢主要體現在其獨特的模型訓練方法、對底層硬體的優化，以及在中文處理上的強大能力 ，這些優勢使其在眾多 AI 模型中脫穎而出：

• 強化學習 (RL) 與推理能力
• DeepSeek-R1-Zero: 不依賴人類監督數據，直接使用強化學習訓練基礎模型，使其能自主發展出強大的推理能力，並能自我驗證、反思，產生長鏈的思考 (Chain-of-Thought, CoT)。 這是 DeepSeek 的一個重要突破，證明了僅透過 RL 就能激發模型的推理能力 。
• DeepSeek-R1: 在 R1-Zero 的基礎上，加入了少量冷啟動數據 (cold-start data) 和多階段訓練流程，以提高模型的可讀性和通用能力 。 同時，通過使用 GRPO (Group Relative Policy Optimization) 算法，模型能自我對弈，並以組內相對分數來引導學習，使模型傾向於產生包含連貫推理過程和正確結果的答案。
• 不依賴人類反饋： DeepSeek 的訓練方式不再依賴人類偏好的反饋，而是透過可量化的指標（如數學和程式碼的正確性）來引導模型的學習方向。
• 模型提煉 (Distillation)
• DeepSeek 將大型模型的推理能力提煉到較小的模型中，使得較小模型能達到與大型模型相近的效能。例如，DeepSeek-R1-Distill-Qwen-7B 在 AIME 2024 測試中，得分 55.5%，超越了 QwQ-32B-Preview。
• 此舉降低了部署和運行 AI 模型的資源需求，使得一般企業或個人也能在較小的設備上使用 AI 模型。
• 底層優化
• DeepSeek 團隊對底層 CUDA 進行優化，直接使用類似組語 (assemble) 的語言控制 NV 顯卡，提高了訓練效率。
• 他們能夠使用 FP8 (8 位元浮點數) 精度來訓練模型，這讓算力直接翻倍，也使得可以使用過時的 GPU（例如 7nm 的 920B）來進行後訓練 (post-training)，降低了模型研發和更新的成本。
• 在 MoE (Mixture of Experts) 模型上，DeepSeek 著重於優化 NVLink 上的負載均衡，減少通訊成本，並在推理端使用 KV Cache 壓縮和多 Token 預測等技術，加速模型推論速度。
• 中文處理能力：DeepSeek-R1 的中文思考和產出能力非常強大，這是其他英文模型難以匹敵的優勢。

DeepSeek 的潛在缺點包括:

• 非推理任務的不足：在功能呼叫、多輪對話、複雜角色扮演和 JSON 輸出等非推理任務上，DeepSeek-R1 的能力略遜於 DeepSeek-V3。
• 語言混合問題： DeepSeek-R1 在處理非中文或英文的查詢時，可能會出現語言混合的問題，例如使用英語進行推理和回應，即使查詢是使用其他語言 。
• 對提示詞的敏感性：DeepSeek-R1 對提示詞 (prompt) 非常敏感，少量樣本提示 (few-shot prompting) 會使其效能下降，因此建議用戶直接描述問題並使用零樣本設定 (zero-shot setting) .
• 部分領域輸出較弱：為降低算力需求，DeepSeek 的模型可能在某些領域的輸出較弱，但對於一般用戶來說，這些差異可能不明顯。
• 量化模型的精度損失：由於使用 FP8 等量化方法，DeepSeek 的模型精度可能略低於使用更高精度（例如 FP16/BP16）的模型，但這種差異可能並不明顯 。

DeepSeek 對未來 AI 發展的影響:

• 打破 AI 發展的限制:
• DeepSeek 證明了純強化學習 可以訓練出強大的推理模型，而無需大量人類標記的數據或人類偏好，這挑戰了傳統 AI 模型訓練的範式。
• 透過 底層硬體優化，DeepSeek 降低了 AI 模型訓練和部署的成本，使得 AI 技術更加普及，不再侷限於大型企業或研究機構。
• 推動 AI 技術的開源與共享:
• DeepSeek 的 開源策略 鼓勵了更多人參與 AI 技術的開發和改進，促進了知識的共享和技術的快速發展。
• DeepSeek 開放模型權重和訓練細節的做法，有助於建立一個更加開放、透明的 AI 生態系統，吸引更多研究者共同參與，形成「韌性飛輪」效應。
• 改變 AI 產業的競爭格局:
• DeepSeek 的出現讓其他公司意識到，規模化並非 AI 發展的唯一途徑，演算法創新和底層優化同樣重要。
• 隨著 AI 模型商品化，未來的競爭將會轉向應用層面和客戶服務，而不是基礎模型的開發。
• 加速 AI 技術的普及和應用:
• DeepSeek 的低成本和高性能模型，將使得 AI 技術能夠在更多領域得到應用，例如企業內部私有 AI、個人 AI 助理等。
• AI 技術的普及將推動各行業的變革，加速人類文明的巨變 。
• 地緣政治影響 : DeepSeek 的成功顯示 中國 AI 技術正在趕上美國，對全球 AI 供應鏈和地緣政治產生影響。開放權重模型成為 AI 供應鏈的關鍵，若美國繼續打壓開源，中國可能會主導這一部分。

3. 梁文鋒對 DeepSeek 和 AI 的看法

DeepSeek 創辦人梁文鋒是一位技術出身的 CEO，對 AI 的發展有著獨到的見解 ：

• 技術創新為本：梁文鋒認為，DeepSeek 的目標是參與全球創新浪潮，而不是單純追求商業利益。他強調技術創新是 DeepSeek 的核心競爭力，並認為中國 AI 不應永遠處於跟隨位置，必須做出原創性貢獻。
• 開源與生態：梁文鋒堅信建立強大的技術生態比閉源更重要，因此 DeepSeek 選擇開源其技術，吸引更多人才參與。他認為，開源能促進知識共享，加速技術發展。
• AGI 的長期目標：梁文鋒將 AGI (通用人工智慧) 作為 DeepSeek 的終極目標，認為當下的一切都只是過程，追逐技術創新是實現 AGI 的必經之路 [4, 59]。 他認為數學和程式碼是 AGI 天然的試驗場，並對多模態和自然語言本身保持開放。
• 對算力的看法：梁文鋒認為，更多的投入不一定會產生更多的創新，也並非只有高階晶片才能推動 AI 發展。DeepSeek 的成功證明，透過優化算法和軟硬體協同設計，即使在資源有限的情況下也能實現技術突破。
• 對人才的看法：梁文鋒認為，頂尖人才應該被吸引去解決世界上最難的問題，因此 DeepSeek 致力於創造一個讓技術人才可以充分發揮才能的環境 [61]。 他認為，目前中國的頂尖人才被低估了，因為社會缺乏硬派創新，讓他們沒有機會被辨識出來。
• 對技術與商業的看法：梁文鋒認為，商業上的成功應建立在技術實力的基礎之上，且要對商業抱有敬畏之心。 他強調，企業應該專注於自己擅長的領域，形成產業分工鏈，共同推動社會效率的提升。
• 對競爭的看法：梁文鋒認為，過度關注競爭會讓人眼花撩亂，更重要的是思考如何提高社會的運作效率，並在產業分工鏈上找到自己擅長的位置。

4. 針對 DeepSeek 的質疑與澄清

• 成本造假:
• 質疑：有人認為 DeepSeek 宣稱的 550 萬美元訓練成本是造假，因為沒有計入資料清理、開發人力等其他成本。
• 澄清：DeepSeek 在論文中明確指出 550 萬美元是單純的「訓練成本」，其他成本例如資料清理、開發人力等，通常不會列入計算，因為這些成本是多個模型共用的，且薪資水準在各國不同。另外，DeepSeek 使用 2048 片 H800 GPU 訓練兩個月的成本，以租賃方式計算，大約就是 550 萬美元。
• DeepSeek 是 OpenAI 的套殼:
• 質疑：有人認為 DeepSeek 回答問題時會說是 ChatGPT，所以是套殼的 [63]。
• 澄清：這僅代表 DeepSeek 的訓練資料中包含 ChatGPT 的內容，許多模型都有類似問題。且 DeepSeek 已開源，可以自行驗證。模型在訓練時並不知道自己是誰訓練的。
• DeepSeek 技術是抄來的:
• 質疑：有人認為 DeepSeek 的技術是抄襲 OpenAI 的。
• 澄清：DeepSeek 是開源的，OpenAI 是閉源的，若有抄襲，OpenAI 必須提出證據。目前沒有任何證據證明 DeepSeek 抄襲原始碼。而且，機器產生的資料不受著作權保護，DeepSeek 使用 OpenAI 產生的數據進行訓練，並不構成侵權，最多可能違反 OpenAI 的使用條款。此外，蒸餾 (distillation) 是 AI 模型訓練中常見的做法，DeepSeek 的模型性能甚至比老師模型 (o1) 更強，所以 DeepSeek 的性能並非源於抄襲。
• 混合專家架構 (MoE) 是舊技術:
• 質疑：有人認為 DeepSeek 使用的 MoE 架構是舊技術，沒有創新。
• 澄清：DeepSeek 對 MoE 架構進行了許多改進，使其效能顯著提升。

這篇文章綜合了多方資訊，希望能為您提供一個全面且深入的 DeepSeek 分析。DeepSeek 的崛起，不僅是對既有 AI 技術的挑戰，更是對未來 AI 發展方向的啟示。

The post DeepSeek-R1 風暴 appeared first on richliu's blog.

沒想到，突然靈光一動，看是不是能改 html 就達到相同的目地，以為用 style 包就可以，不過怎麼會像蠢人想的這麼簡單呢？沒想到，更簡單，其實只要去拿 PTT 的 CSS 來用就可以了。然後用 GPT 之類的程式（這次我是試用 deepseek）找出不符合規範的 CSS 部份修改或是移除就好。現代人有 GPT 真的省事很多，我知道這不是最佳解，但是只是備份，有就很開心，效果還不錯，跟我想要的效果一樣。

以下截圖的連結 [心得] 囤物族的不丟東西整理術

以下是我用的 CSS ，只有改字體以及拿到不要的部份，感覺沒影響到的我也沒拿

.bbs-content {
    font-size: 16px !important;
	font-family: "細明體", "AR PL UMing TW", "Menlo", "LiSongPro", monospace;
}

.bbs-screen {
    width: auto !important;
}

#main-content {
    white-space: normal;
}

#navigation div {
    display: inline-block;
    margin: 0 4px;
}

#banner {
    text-align: center;
    width: 100%;
    text-decoration: none;
}

.richcontent {
    text-align: center;
    margin: 1em;
}


/* ansi colors */
.b0 { background-color: #000; }
.b1 { background-color: #b00; }
.b2 { background-color: #0b0; }
.b3 { background-color: #bb0; }
.b4 { background-color: #00b; }
.b5 { background-color: #b0b; }
.b6 { background-color: #0bb; }
.b7 { background-color: #bbb; }

.f0 { color: #000; }
.f1 { color: #900; }
.f2 { color: #090; }
.f3 { color: #990; }
.f4 { color: #009; }
.f5 { color: #909; }
.f6 { color: #099; }
.f7 { color: #999; }

.hl { color: #fff; }
.hl.f0 { color: #666; }
.hl.f1 { color: #f66; }
.hl.f2 { color: #6f6; }
.hl.f3 { color: #ff6; }
.hl.f4 { color: #66f; }
.hl.f5 { color: #f6f; }
.hl.f6 { color: #6ff; }
.hl.f7 { color: #fff; }

/* main layout */
.bbs-screen {
	color: #bbb;
	background-color: #000;
	line-height: 100%;
	overflow-wrap: break-word;
	word-wrap: break-word;
	margin: 0 auto;
    padding: 0;
	width: 100%;
}

.bbs-content {
	font-family: "細明體", "AR PL UMing TW", "Inconsolata", "LiSongPro", monospace;
}

.bbs-footer-message {
    text-align: center;
    margin-top: 1em;
}

.center {
    text-align: center;
}

.warning-box {
    border: 1px solid #555;
    background-color: #333;
}

.small {
	font-size: small;
}

#main-container {
	margin: 0;
	padding: 0 0 3ex 0;
	position: relative;
}

#main-content {
	position: relative;
	white-space: normal;
}
#main-content a:link {
    text-decoration: none;
    box-shadow: inset 0 -2px #555;
}
#main-content a:hover {
    box-shadow: inset 0 -2px #777;
}


body {
	background-color: #000;
	margin: 0;
	padding: 40px 0 24px 0;
}


.share {
	line-height: 40px;
	vertical-align: middle;
}
.brdname {
	float: right;
}
#navigation .board {
	padding: 0 10px;
}
#navigation .bar {
	background-color: #888;
	width: 4px;
	height: 100%;
	padding: 0;
}

.push {
	line-height: 130%;
	white-space: normal;
	clear: both;
    position: relative;
}
.push > span {
	white-space: normal;
}
.push-tag {
	display: inline-block;
	min-width: 3.5ex;
	white-space: normal;
}
.push-content {
}
.push-ipdatetime {
	float: right;
}

.richcontent {
    position: relative;
	text-align: center;
    width: 100%;
    margin: 0.5em auto;
    max-width: 800px;
}
.resize-container {
    position: relative;
    width: 100%;
}
.resize-container:before {
    content: "";
    display: block;
    padding-top: 56.25%;
}
.resize-content {
    position: absolute;
    top: 0;
    left: 0;
    bottom: 0;
    right: 0;
}
.youtube-player {
    width: 100%;
    height: 100%;
}

.article-metaline {
	margin: 0;
	padding: 0;
	background-color: #008;
}
.article-metaline-right {
	position: absolute;
	right: 0;
	top: 0;
	background-color: #008;
}
.article-meta-tag {
	padding: 0 1ex;
	background-color: #999;
	color: #008;
}
.article-meta-value {
	padding: 0 1ex;
	background-color: #008;
	color: #999;
}

img {
	max-width: 100%;
	max-height: 800px;
}

The post 幫備份 PTT 的 WordPress 文章上色 appeared first on richliu's blog.

TCP 已經是一個非常陳舊的 Protocol ，其中很多特性已經不再適合目前的網路環境，像QUIC架在UDP上層，增加安全性和速度。SCTP主打多連結，可靠性和安全，SCTP在電信環境用的比較多。基於 UDP 大量傳送資料的有 UDT (UDP-Based Data Transfer protocol) 等等

TTPoE 看起來應該是 Telsa 降本增效（名詞好用就拿來用）的實作，因為如果是使用RDMA之類的解決方案應該都有更快的 NIC Card 可以用(目前最快是 800Gbps 2 Ports QSPF-DD), 但是 TTPoE 是用 100G NIC 卡但是重新實做了整個 NIC Card ，雖然這樣講，未來仍然有升級的空間

我認為 TTPoE 的主要設計目地就是 Low Latency and Low Cost，因為 TTPoE 看起來是要做 HBM2HBM 的資料同步，Low latency 應該還是主要考量，因為他們要實作在 Hardware 上

而 data center(DC) 下是 data loseless 的環境，相對的網路環境比較好，如果有開啟 ethernet congession control ，理論下會丟掉的封包比較少，頻寬大。基於這個特性，TTPoE 就是做刪去法，將 TCP 協定中多餘的 Latency 去掉，仍然使用 IP 協定，保有和現有網路的相容性，以下這張圖就可以清楚的知道，TTP 是取代 TCP 的位置，上層仍然能夠跟 RDMA 接，其他 socket 或 APP 應該也可以，不過主要應該還是給RDMA這類高速記憶體協定用

（註： 本圖來自 Tesla’s TTPoE at Hot Chips 2024: Replacing TCP for Low Latency Applications ，原圖應該是 Hot Chips 2024 Telsa 的 slide，以下不再重覆說明 ）

為了讓 Hardware 更容易設計，所以簡化了 TTP 的 Protocol State machine ，這是是目標也是結果，因為簡化 Protocol 也會簡化 state machine

將 TCP 的 Three way handshake 改成 Two way handshake，其實 internet 防火牆需要這個機制判斷是不是真實連線，但是 DC 內部不需要，拿掉合理，也可以減少很多 Latency
有些人要加速會改 TCP ACK 到下一筆資料送出的時間，不過這會造成某些硬體加速器的問題

這邊應該是要將如果有個 Packet 是 NACK ，後面的 packet 都重送，這樣雖然會傳比較多資料，但是 DC package loseless 環境，這樣的機率小，可以接受這樣的設計
TTP 也拿掉 tcp congestion control 這個功能，如果只在 DC 用，這功能完全不需要，因為路上幾乎都是大頻寬，如果頻寬不夠就要從別的地方觀測調整，不是 Protocol 的問題，packet 的 sliding window 就設一個固定值，符合系統大部份時間都可以以最高速運作即可

TTP Protocol 有些有趣的地方，Extension header 二個，第一個是指定 type 用的，第二個可能是未來用，這應該是固定大小，然後 Data payload 是 64 bytes 的倍數

有趣的是用 SRAM size 做 speculative transmission，這個設計我喜歡，好的演算法就是不需要演算法，讓系統自己去調整(self-adaptive)，不過我懷疑這個就是 ethernet 的 tx buffer 講成高大上而已

這意思就是前面還放傳統的 ethernet 架構，TTP mac controller 控制　ethernet 介面傳送資料，灰色部份都是現成的

TTP hardware micro-architecture 設計

下方的 Next packet linked list SRAM，雖然講是 linked list SRAM，不過為什麼不做 array 當 ring buffer 呢？還是指的是同一件事，做過 NIC 卡就知道這種地方設計就固定是那樣，尤其是做成 hardware 又要結構更簡單，所以我才懷疑前面講的 SRAM 做 flow control 就是講這邊，如果 ring buffer 滿了就表示外面滿了

一般這種高階通常都有數個 TX/RX buffer ，不知道是不是因為專供 RDMA 用所以這邊就只畫上一個 TX/RX buffer ？而且不確定是不是因為一個 Buffer 頻寬就滿了（或是 FPGA 只能規劃 1MB，都有可能）

80 microseconds 在高速網路世界已經算很久了，算 OK
slide 最後一行我覺得才是真正的目地，如果是在 AI server 上要跑這個，那不用更高階的卡跑 RDMA 就很合理了

“Mojo” 100GB dumb-NIC （話說我以前做過的某 project 我叫 SmartXXX 呢）
中間這麼大一顆可能是 SoC 也可能是 FPGA ，我覺得 FPGA 的機率大一點，畢竟要改 code 這階段還是用 FPGA 穩定

CPU 的是用 Gen3 x16 和 8GB DDR4，Gen3 比較有趣，表示這真的是降成本達到目地

Latencies ，竟然 TTPoE 比 Nvlink 還快，Nvlink 已經算是對傳了，要過 ethernet 還比較快讓我難以想像

總結

我覺得技術細節透露有限，但是這個方向的確可以大幅減少 latency ，在網路的世界內，減少 latency 就是增加速率和效率，在頻寬固定的狀況之下

雖然相容性不佳，只是給 RDMA 用，但是我覺得仍不失為 intranet 上有趣的應用，而且的確很適合 DC 使用

ref. Github ttpoe Linux kernel 的 software 實作和規格, 要先有 software 才能搞 hardware 啊.

The post TTPoE Tesla Transport Protocol (TTP) Over Ethernet 簡評 appeared first on richliu's blog.

no-dangling-assignment-gsl -std=c++20 -Wno-trigraphs -gsimple-template-names -fno-exceptio00:01:51 [472/19443]
nc++ -isystem../../third_party/libc++/src/include -isystem../../third_party/libc++abi/src/include -fvisibility
-inlines-hidden -O2 -pipe -march=armv8.2-a -Wno-unknown-warning-option -c ../../third_party/libyuv/source/comp
are_neon64.cc -o obj/third_party/libyuv/libyuv_neon/compare_neon64.o
../../third_party/libyuv/source/compare_neon64.cc:175:8: error: instruction requires: dotprod
  175 |       "udot        v4.4s, v0.16b, v6.16b         \n"
      |        ^
<inline asm>:14:1: note: instantiated into assembly here
   14 | udot        v4.4s, v0.16b, v6.16b
      | ^
../../third_party/libyuv/source/compare_neon64.cc:176:8: error: instruction requires: dotprod
  176 |       "udot        v5.4s, v1.16b, v6.16b         \n"
      |        ^
<inline asm>:15:1: note: instantiated into assembly here
   15 | udot        v5.4s, v1.16b, v6.16b
      | ^
../../third_party/libyuv/source/compare_neon64.cc:204:8: error: instruction requires: dotprod
  204 |       "udot        v4.4s, v0.16b, v0.16b         \n"
      |        ^
<inline asm>:10:1: note: instantiated into assembly here
   10 | udot        v4.4s, v0.16b, v0.16b
      | ^
../../third_party/libyuv/source/compare_neon64.cc:205:8: error: instruction requires: dotprod
  205 |       "udot        v5.4s, v1.16b, v1.16b         \n"
      |        ^
<inline asm>:11:1: note: instantiated into assembly here
   11 | udot        v5.4s, v1.16b, v1.16b
      | ^
4 errors generated.
[10940/63891] aarch64-unknown-linux-gnu-clang++-18 -MD -MF obj/third_party/libyuv/libyuv_neon/rotate_neon.o.d

Seems because some -march/-mcpu/-mtune drop ‘dotprod’ parameters, it needs to add the extension manuall. ‘+dotprod’.

Edit the file /etc/portage/make.conf, and change the COMMON_FLAGS to

COMMON_FLAGS="-mcpu=neoverse-n1+crc+crypto+ssbs+dotprod -O2 -pipe"

It can use the following command to get current CPU flag

gcc -v -E -x c /dev/null -o /dev/null -march=native -mcpu=native 2>&1 | grep /cc1

Thanks Gentoo user zukunf to provide those information.

The post Gentoo ARM64 Altra Compile chromium Issue appeared first on richliu's blog.

我的環境是 ARM64，所以以 ARM64 為主，編的版本是 15.0-Current

# Install git first
# pkg install git
# Install Source code from Git 
git clone https://git.freebsd.org/src.git /usr/src

cd /usr/src/sys/arm64/conf
cp GENERIC MYKERNEL
vim MYKERNEL

以下應該可以整理成一個 script

cd /usr/src

# Remove old file
mkdir /usr/obj/tmp
chflags -R noschg /usr/obj/*
rm -rf /usr/obj/*

# Build world and kernel 
# Cannot use 128 cores to build that because it might cause build problem. 
# reduce it to 16 might be better 
make -j 16 buildworld
# Clean kernel if necesssary 
# make -j 16 cleankernel KERNCONF=MYKERNEL
make -j 16 buildkernel KERNCONF=MYKERNEL

# Install world and kernel to a temperory directory
mkdir /usr/obj/tmp
make installworld DESTDIR=/usr/obj/tmp
make installkernel KERNCONF=MYKERNEL DESTDIR=/usr/obj/tmp

# copy release document to the directory
make distribution DESTDIR=/usr/obj/tmp

# build release
cd release
make -j 16 release KERNCONF=MYKERNEL NODOC=yes NOPORTS=yes NOSRC=yes

Release files (iso, image 等等) 會在
/ussr/obj/usr/src/arm64.aarch64/release 下

Clean kernel

make cleankernel KERNCONF=MYKERNEL

修改 EFI_STAGING_SIZE，修改 /usr/src/stand/efi/loader/copy.c , 找到

#define DEFAULT_EFI_STAGING_SIZE

統統改成要的值，ex: 100 ，這樣就好，暴力解決

Enable exec=”copy_staging auto” in /boot/loader.conf

這個功能因為要在編 world 放到 loader.conf 內，這樣 iso 和 memstick 檔案內才，所以我用了一個 hacker 的手法，編輯 release/Makefile ，約 Line 188，加上

echo exec=\"copy_staging disable\" >> ${.TARGET}/boot/loader.conf

Enable Early Printf In Kernel

編輯 MYKERNEL ，加上[ref]

options EARLY_PRINTF=pl011

The post FreeBSD Build Kernel appeared first on richliu's blog.

The Dynatron W3 package comes in a standard case.

includes a tower heatsink, one 120mm 4-pin fan, and thermal paste.

The base is not entirely copper, and its area seems somewhat small

other parts

While no documentation is provided, installation is straightforward for those familiar with DIY PC building

There is a gap between the DDR slots and the CPU fan, but larger DIMMs might require disassembling and reinstalling the tower fan.

In a preliminary test using stress-ng with 128 threads on an AltraMax 128-30 CPU and ASRock Rack ALTRAD8UD-1L2T.

Test command is

stress-ng --cpu 128 --vm 128 --vm-bytes 128M --timeout 180s --metrics-brief

the fan operated at 1400 RPM and maintained a quiet profile. The CPU temperature reached 64°C, staying below 70°C, with power consumption around 178W.

This performance suggests the tower fan is suitable for general purposes.

Notice: The CPU’s TDP is rated at 250W, this maximum power draw is only achievable under full system stress, such as utilizing all 8 DRAM controllers and all PCIe root controllers. Therefore, this figure should be considered as a reference rather than a precise measurement.

The post Dynatron W3 for Ampere AltraMax appeared first on richliu's blog.