HuggingFace #

# 安装依赖
pip install huggingface_hub

# 先在 shell 执行
export HF_ENDPOINT=https://hf-mirror.com

from huggingface_hub import snapshot_download

snapshot_download(repo_id='THUDM/chatglm3-6b',
                  repo_type='model',
                  local_dir='./models/chatglm3-6b',
                  resume_download=True)

# 安装依赖
pip install -U huggingface_hub hf_transfer

export HF_ENDPOINT=https://hf-mirror.com

# 提高下载速度，推荐设置环境变量开启 hf_tranfer，官方的下载加速库
# 缺点是没有进度条
export HF_HUB_ENABLE_HF_TRANSFER=1

huggingface-cli download --resume-download THUDM/chatglm3-6b --local-dir models/chatglm3-6b

# 下载需要登录的模型（Gated Model）
# 添加 --token hf_*** 参数，其中 hf_*** 是 access token，请在 https://huggingface.co/settings/tokens 获取
huggingface-cli download --token hf_*** --resume-download THUDM/chatglm3-6b --local-dir models/chatglm3-6b

# 下载模型，带上 mirror 优先从镜像下载
python model_download.py --mirror --repo_id 模型ID
# 举例
python model_download.py --mirror --repo_id THUDM/chatglm2-6b
# 下载数据集
python model_download.py --mirror --repo_id 数据集ID --repo_type dataset
# 举例
python model_download.py --mirror --repo_id THUDM/chatglm2-6b --repo_type dataset

from modelscope import snapshot_download

model_dir = snapshot_download('ZhipuAI/chatglm3-6b',
                              cache_dir='./models',
                              revision='v1.0.0')