llama.cpp #

# ubuntu server, 4090

sudo apt-get update
sudo apt-get install -y git build-essential cmake python3 python3-venv libcurl4-openssl-dev
# 可选：提速工具 & 压缩库
# ccache 装上后，二次编译速度会更快
sudo apt-get install -y ccache zlib1g-dev libzstd-dev

cd /home/users/yewang/study/llama.cpp
# 只编译 4090 的 8.9 架构，显著加快编译
cmake -S . -B build \
  -DCMAKE_BUILD_TYPE=Debug \
  -DGGML_CUDA=ON \
  -DGGML_CUDA_ARCHITECTURES=89 \
  -DCMAKE_EXPORT_COMPILE_COMMANDS=ON
cmake --build build -j