使用 huggingface_hub 镜像下载 大模型
第一种方法
# download.py
import os
# 配置 hf镜像
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
# 设置保存的路径
local_dir = ""
# 设置仓库id
model_id = "sensenova/piccolo-large-zh"
cmd = f"huggingface-cli download --resume-download {model_id} --local-dir {local_dir}/{model_id} --local-dir-use-symlinks False"
# 启动下载
os.system(cmd)安装脚手架
pip install -U huggingface_hub hf_transfer
运行下载脚本
python download.py
第二种方法
1. 安装依赖
pip install -U huggingface_hubCopy
2.基本命令示例：
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m
