Запуск autoresearch для nanoChat training на одном GPU

Пошаговое руководство по настройке и запуску автоматических AI-исследований с nanoChat на одном GPU. От клонирования репозитория до первых результатов обучения.

Средний

Дмитрий Волков

Инженер-железячник19 июля 2026 г.4 мин чтения

nvidia-smi
nvcc --version
python3 --version

git clone https://github.com/karpathy/autoresearch.git
cd autoresearch
ls -la

python3 -m venv venv
source venv/bin/activate
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt 2>/dev/null || pip install numpy tqdm

find . -name '*.py' -type f | head -10
cat configs/train_nano128.yaml 2>/dev/null || echo 'Конфигов нет, будем создавать'

cat > config_single_gpu.yaml << 'EOF'
training:
  batch_size: 32
  context_length: 128
  learning_rate: 0.0003
  max_iters: 1000
  grad_accum_steps: 4

gpu:
  device: cuda:0
  dtype: float16

model:
  n_layer: 4
  n_head: 4
  n_embd: 128
EOF

python train.py --config config_single_gpu.yaml --auto-research
# или если есть специальный скрипт:
python autoresearch.py --target nanoChat --gpu-memory-limit 8GB

tail -f logs/train.log
gpuwatch --temp --power
htop

ls -la out/checkpoints/
cat out/results.csv
python analyze.py --best-model

cat > config_final.yaml << 'EOF'
training:
  batch_size: 32
  context_length: 128
  learning_rate: 0.0003
  max_iters: 10000
  eval_interval: 500

gpu:
  device: cuda:0
  dtype: float16

model:
  n_layer: 4
  n_head: 4
  n_embd: 128
EOF

python train.py --config config_final.yaml

python generate.py --model out/checkpoints/best.pt --prompt 'Привет, как дела?'
# или интерактивный режим:
python chat.py --model out/checkpoints/best.pt

Запуск autoresearch для nanoChat training на одном GPU

Пошаговое руководство по настройке и запуску автоматических AI-исследований с nanoChat на одном GPU. От клонирования репозитория до первых результатов обучения.

Предварительные требования

• Linux-сервер с NVIDIA GPU (рекомендую RTX 3060+ или A10)
• Установленные драйверы NVIDIA и CUDA 11.8+
• Python 3.10+ с pip
• 8 ГБ ОЗУ минимум, лучше 16 ГБ
• Свободное место на диске — 20 ГБ для экспериментов

Шаг 1: Подготовка сервера и проверка GPU

Первым делом проверим, что наш сервак видит GPU. Короче, без этого дальше не продолжишь. У меня самого на продакшене такая проверка спасала отцовскую тишину не раз.

nvidia-smi
nvcc --version
python3 --version

Шаг 2: Клонирование репозитория autoresearch

Склонируем репозиторий karpathy/autoresearch. Это наше основание для автоматических экспериментов. Не забудь создать отдельную папку — у меня в прошлый раз всё закачалось в /tmp и слёталось после перезагрузки.

git clone https://github.com/karpathy/autoresearch.git
cd autoresearch
ls -la

Шаг 3: Создание виртуального окружения и установка зависимостей

Всегда работаю в venv. Иначе через месяц будешь разбираться, почему conda мешает pip. Установим PyTorch с CUDA — без этого nanoChat не доживёт до первой эпохи.

python3 -m venv venv
source venv/bin/activate
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt 2>/dev/null || pip install numpy tqdm

Шаг 4: Проверка структуры nanoChat и подготовка данных

Посмотрим, что внутри. Обычно там есть configs/ с настройками под разные GPU. Нужно понять, какие параметры подойдут для нашего одного видеочипа. Если нет configs — создадим базовые.

find . -name '*.py' -type f | head -10
cat configs/train_nano128.yaml 2>/dev/null || echo 'Конфигов нет, будем создавать'

Шаг 5: Создание базового конфига для одного GPU

Настроим под наш сервер. У меня на RTX 3070 такие параметры работают без перегрева. Ключевой момент — batch_size и context_length. Слишком большое значение и GPU начнёт swap на диск.

cat > config_single_gpu.yaml << 'EOF'
training:
  batch_size: 32
  context_length: 128
  learning_rate: 0.0003
  max_iters: 1000
  grad_accum_steps: 4

gpu:
  device: cuda:0
  dtype: float16

model:
  n_layer: 4
  n_head: 4
  n_embd: 128
EOF

Шаг 6: Запуск первого автоматического эксперимента

Теперь запустим autoresearch. Он сам пробежит по параметрам, запустит несколько вариантов модели и сохранит результаты. У меня это заняло 3 часа на RTX 3060, но результат того стоил.

python train.py --config config_single_gpu.yaml --auto-research
# или если есть специальный скрипт:
python autoresearch.py --target nanoChat --gpu-memory-limit 8GB

Шаг 7: Мониторинг процесса и проверка логов

Автопоиск может работать днями. Нужно следить за потреблением памяти и температурой GPU. tail -f твой лучший друг здесь. Если видишь OOM — уменьшаем batch_size в конфиге.

tail -f logs/train.log
gpuwatch --temp --power
htop

Шаг 8: Анализ результатов и выбор лучшей модели

После завершения autoresearch посмотрим, какие эксперименты дали лучший loss. Обычно результаты лежат в out/ или results/. Выберем лучшую модель и запустим финальное обучение с её параметрами.

ls -la out/checkpoints/
cat out/results.csv
python analyze.py --best-model

Шаг 9: Финальное обучение выбранной архитектуры

Теперь запустим обучение с оптимальными параметрами подольше. Увеличим max_iters до 10 000, добавим eval. И тогда твой nanoChat будет готов к использованию.

cat > config_final.yaml << 'EOF'
training:
  batch_size: 32
  context_length: 128
  learning_rate: 0.0003
  max_iters: 10000
  eval_interval: 500

gpu:
  device: cuda:0
  dtype: float16

model:
  n_layer: 4
  n_head: 4
  n_embd: 128
EOF

python train.py --config config_final.yaml

Шаг 10: Тестирование готовой модели

Проверим, как наш nanoChat говорит. Интерфейс может быть простым — через generate.py или интерактивный чат. Если модель отвечает бредом — значит, нужно больше данных или больше итераций. Но это уже отдельная история...

python generate.py --model out/checkpoints/best.pt --prompt 'Привет, как дела?'
# или интерактивный режим:
python chat.py --model out/checkpoints/best.pt