Как собрать кластер из Mac мини: полное руководство для домашнего сервера

Прочитайте введение и убедитесь, что у вас есть все необходимое оборудование: Mac mini (рекомендуются модели M1/M2), сетевой коммутатор, сетевые кабели Cat 6a или выше, дополнительные компоненты при необходимости.

Рекомендуемые модели:
- Mac mini M1 (2020) - 8 ядер CPU/8 ядер GPU
- Mac mini M2 (2023) - 8/10 ядер CPU/8/10 ядер GPU

Обратите внимание на объем оперативной памяти (минимум 16 ГБ) и встроенного хранилища (минимум 512 ГБ).

Рекомендуется использовать:
- Коммутатор с поддержкой 10GbE (например, Ubiquiti UniFi Switch 10G 24PoE)
- Кабели Cat 6a или выше
- Разъемы SFP+ для прямых соединений при необходимости

1. Разместите Mac mini в хорошо вентилируемом пространстве
2. Подключите каждую машину к коммутатору через сетевой кабель
3. Убедитесь, что все устройства имеют надежное питание
4. Подключите периферийные устройства для начальной настройки

1. Скачайте последнюю версию macOS с App Store
2. Создайте установочный USB-накопитель:
   sudo /Applications/Install\ macOS\ Ventura.app/Contents/Resources/createinstallmedia --volume /Volumes/MyUSB
3. Включите каждый Mac mini и установите macOS

1. Выберите язык и регион
2. Подключитесь к Wi-Fi (временное решение)
3. Войдите в свой Apple ID
4. Настройте Touch ID или пароль

1. Задайте статический IP-адрес:
   Узел 1: 192.168.1.10
   Узел 2: 192.168.1.11
   Узел 3: 192.168.1.12

2. Настройте сетевое имя хоста:
   sudo scutil --set HostName node1.local
   sudo scutil --set LocalHostName node1
   sudo scutil --set ComputerName node1

3. Добавьте узлы в файл /etc/hosts на каждом компьютере

1. Настройте параметры ядра:
   sudo sysctl -w net.inet.tcp.mss=1460
   sudo sysctl -w net.inet.tcp.recvspace=65536
   sudo sysctl -w net.inet.tcp.sendspace=65536

2. Добавьте эти параметры в /etc/sysctl.conf для постоянного применения

3. Настройте коммутатор для работы в режиме L2 с включенным LACP и jumbo frames (MTU 9000)

1. Установите kubectl:
   curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/darwin/amd64/kubectl"
   chmod +x kubectl
   sudo mv kubectl /usr/local/bin/

2. Установите Kind:
   go install sigs.k8s.io/kind@v0.17.0

3. Создайте конфигурационный файл kind-config.yaml с указанием узлов кластера

4. Создайте кластер:
   kind create cluster --config kind-config.yaml

1. Установите OpenMPI:
   brew install open-mpi

2. Создайте файл конфигурации ~/.mpd.conf:
   secretword=your_secret_password

3. Установите права доступа:
   chmod 600 ~/.mpd.conf

4. Проверьте работоспособность:
   mpiexec -np 2 hostname

1. Установите Ceph:
   brew install ceph

2. Настройте общую директорию через NFS:
   # На главном узле:
   sudo nfsd enable
   sudo mkdir -p /shared
   sudo chmod 777 /shared
   sudo echo "/shared -alldirs -maproot=0" | sudo tee -a /etc/exports
   sudo nfsd update

   # На остальных узлах:
   sudo mkdir -p /shared
   sudo mount node1:/shared /shared

1. Установите Slurm:
   brew install slurm

2. Создайте конфигурационный файл /etc/slurm-llnl/slurm.conf с описанием узлов и разделов

3. Запустите службы:
   sudo slurmctld
   sudo slurmd

4. Для балансировки нагрузки настройте Kubernetes Ingress

1. Установите Prometheus:
   brew install prometheus

2. Создайте конфигурационный файл prometheus.yml с настройкой сбора метрик

3. Установите Grafana:
   brew install grafana

4. Установите node_exporter на каждом узле:
   brew install prometheus/node_exporter
   brew services start prometheus/node_exporter

1. Включите встроенный macOS Firewall:
   sudo /usr/libexec/ApplicationFirewall/socketfilterfw --setglobalstate on

2. Настройте SSH-ключи для доступа между узлами:
   ssh-keygen -t rsa -b 4096
   ssh-copy-id node1
   ssh-copy-id node2
   ssh-copy-id node3

3. Настройте автоматическое обновление:
   sudo softwareupdate --schedule on
   brew update && brew upgrade

1. Увеличьте количество файловых дескрипторов:
   echo "kern.maxfiles=65536" | sudo tee -a /etc/sysctl.conf

2. Настройте параметры TCP:
   echo "net.inet.tcp.delayed_ack=0" | sudo tee -a /etc/sysctl.conf
   echo "net.inet.tcp.sendbuf_max=2097152" | sudo tee -a /etc/sysctl.conf
   echo "net.inet.tcp.recvbuf_max=2097152" | sudo tee -a /etc/sysctl.conf

3. Включите TRIM для SSD:
   sudo trimforce enable

1. Установите Python и необходимые библиотеки:
   brew install python
   pip install numpy scipy mpi4py

2. Создайте MPI-приложение (example.py):
   from mpi4py import MPI
   import numpy as np
   
   comm = MPI.COMM_WORLD
   rank = comm.Get_rank()
   size = comm.Get_size()
   
   data = np.zeros(10)
   data[rank] = rank
   data = comm.alltoall(data)
   print(f"Ранк {rank} получил данные: {data}")

3. Запустите приложение:
   mpiexec -np 3 python example.py

1. Запустите бенчмарк HPL:
   wget https://www.netlib.org/benchmark/hpl/hpl-2.3.tar.gz
   tar -xvzf hpl-2.3.tar.gz
   cd hpl-2.3/setup/
   make
   cd ../
   cp setup/make.macOS-x86_64 Make.MacOS
   make arch=MacOS

2. Запустите тест:
   bin/HPL.dat

#!/bin/bash
# Обновление системы
sudo softwareupdate --all --install --restart

# Очистка кэша
sudo purge

# Проверка файловых систем
sudo fsck -fy

# Мониторинг здоровья кластера
curl -s https://raw.githubusercontent.com/kubernetes/kubectl/master/docs/user-guide/kubectl cheatsheet.yaml | grep -A 10 "Cluster info"

# Обновление узлов по одному:
# Остановка приложений на узле
kubectl cordon nodeX
kubectl drain nodeX --ignore-daemonsets --delete-emptydir-data

# Обновление операционной системы
ssh nodeX "sudo softwareupdate --install --all"

# Перезапуск узла
ssh nodeX "sudo reboot"

# Обновление Kubernetes
kind upgrade cluster --name mac-mini-cluster
kubectl get nodes

1. Добавление нового узла:
   kind add-node --name mac-mini-cluster

2. Расширение хранилища Ceph:
   ceph-deploy osd create node1:/dev/sdb
   ceph-deploy osd create node2:/dev/sdb
   ceph-deploy osd create node3:/dev/sdb
   
   # Проверка состояния
   ceph -s