chore: remove NetBird and Authentik layers from homelab
ansible-deploy / plan (push) Successful in 2s
ansible-lint / lint (push) Successful in 3s
ansible-deploy / deploy (core-mon, ) (push) Successful in 39s
ansible-deploy / deploy (core-net, ) (push) Successful in 57s
ansible-deploy / deploy (core-secrets, ) (push) Successful in 25s
ansible-deploy / deploy (ger-nod-02, ) (push) Successful in 57s
ansible-deploy / deploy (opnsense, ) (push) Successful in 15s
ansible-deploy / plan (push) Successful in 2s
ansible-lint / lint (push) Successful in 3s
ansible-deploy / deploy (core-mon, ) (push) Successful in 39s
ansible-deploy / deploy (core-net, ) (push) Successful in 57s
ansible-deploy / deploy (core-secrets, ) (push) Successful in 25s
ansible-deploy / deploy (ger-nod-02, ) (push) Successful in 57s
ansible-deploy / deploy (opnsense, ) (push) Successful in 15s
This commit is contained in:
1 parent
6417bdcc75
commit
6a2f90797a
55 files changed
+134
-2460
No files matched your search
+12
-47
@@ -6,13 +6,12 @@
|
||||
|
||||
| Машина | Плейбук | Роли | Каталоги |
|
||||
|---|---|---|---|
|
||||
| `core-net` | `playbooks/core-net.yml` | `roles/core-net/traefik`; `roles/core-net/netbird`; `roles/core-net/remnawave`; `roles/core-net/vmagent`; `roles/core-net/authentik` *(опц., по умолчанию выкл.)* | `/opt/traefik`; клиент NetBird; `/opt/remnawave`; `/opt/vmagent`; `/opt/authentik` *(если включён)* |
|
||||
| `core-net` | `playbooks/core-net.yml` | `roles/core-net/traefik`; `roles/core-net/remnawave`; `roles/core-net/vmagent`; `roles/vector` | `/opt/traefik`; `/opt/remnawave`; `/opt/vmagent`; `/opt/vector` |
|
||||
| `core-secrets` | `playbooks/core-secrets.yml` | `roles/core-secrets/infisical`, `roles/core-secrets/vaultwarden`, `roles/core-secrets/cadvisor` | `/opt/infisical`, `/opt/vaultwarden`, `/opt/cadvisor` |
|
||||
| `core-mon` | `playbooks/core-mon.yml` | `roles/core-mon/monitoring` | `/opt/monitoring` (VictoriaMetrics, vmalert, Grafana) |
|
||||
| `core-git` | `playbooks/core-git.yml` | `roles/core-git/gitea`, `roles/core-git/cadvisor` | `/opt/gitea`, `/opt/cadvisor` |
|
||||
| `rus-central` | `playbooks/rus-central.yml` | `roles/rus-central/netbird`, `roles/rus-central/cadvisor` | `/opt/netbird`, `/opt/cadvisor` |
|
||||
| `ger-nod-02` | `playbooks/ger-nod-02.yml` | `roles/netbird_exit_node`; `roles/remnanode`; `roles/vmagent` | клиент NetBird (Exit Node); `/opt/remnanode`; `/opt/vmagent` |
|
||||
| `opnsense` | `playbooks/opnsense.yml` | `roles/opnsense/netbird`; `roles/opnsense/xray` | REST API (`192.168.1.1:4433`) |
|
||||
| `ger-nod-02` | `playbooks/ger-nod-02.yml` | `roles/remnanode`; `roles/vmagent` | `/opt/remnanode`; `/opt/vmagent` |
|
||||
| `opnsense` | `playbooks/opnsense.yml` | `roles/opnsense/xray` | REST API (`192.168.1.1:4433`) |
|
||||
|
||||
Полная сверка одной машины: `ansible-playbook playbooks/site.yml --limit <машина>`. Боевой Gitea после cutover — `core-git` (`192.168.1.105`). Пайплайны клонируют с `http://192.168.1.105:3000`. CT 109 на `pve` оставлен как rollback, стек на нём остановлен — не удалять, пока не подтверждён стабильный прогон.
|
||||
|
||||
@@ -36,18 +35,15 @@ Terraform в этом репозитории описывает узел `netcor
|
||||
|---|---|---|---|---|
|
||||
| **CT 109** | `pve` | `192.168.1.217` | `gitea` / DNS `gitea-old` | Старый стек остановлен (rollback). Не удалять до проверки |
|
||||
| **CT 901** | `netcore` | `192.168.1.102` | `core-secrets` | Infisical (`:8080`), Postgres, Redis, Vaultwarden (`:8000`) |
|
||||
| **CT 902** | `netcore` | `192.168.1.104` | `core-net` | Traefik (`:80`, `:443`); Remnawave Panel (`127.0.0.1:3000`) + Subscription (`127.0.0.1:3010`); клиент NetBird (нужен `/dev/net/tun`); Authentik (`127.0.0.1:9000`) — опционально, по умолчанию выкл. |
|
||||
| **CT 902** | `netcore` | `192.168.1.104` | `core-net` | Traefik (`:80`, `:443`); Remnawave Panel (`127.0.0.1:3000`) + Subscription (`127.0.0.1:3010`); vmagent (`127.0.0.1:8429`) + cAdvisor (`127.0.0.1:9101`) |
|
||||
| **CT 903** | `netcore` | `192.168.1.108` | `core-mon` | VictoriaMetrics (`:8428`), vmalert (`127.0.0.1:8880`), Alertmanager (`:9093`), Grafana (`:3000`), Ntfy (`:80`) |
|
||||
| **CT 904** | `netcore` | `192.168.1.105` | `core-git` | Gitea (`:3000`, git SSH `:222`), Postgres, Actions Runner (`dind`); cAdvisor (`:9101`) |
|
||||
|
||||
### 1.3. Внешние узлы
|
||||
| Имя | IP | Роль | Стек |
|
||||
|---|---|---|---|
|
||||
| **rus-central** | `45.154.185.208` | Внешний шлюз NetBird | `/opt/netbird`: NetBird и его собственный Traefik |
|
||||
| **ger-nod-02** | `150.241.64.209` | Remnawave Node (DE) + SelfSteal | `/opt/remnanode`: remnanode + nginx (`yali.gunis.top`) |
|
||||
|
||||
Домен панели NetBird задаётся в `ansible/inventories/prod/host_vars/rus-central.yml`.
|
||||
|
||||
Старая панель на Голове (`remna.gunihome.ru`) **не входит** в эту автоматизацию и не трогается.
|
||||
|
||||
`ansible/roles/core-net/traefik/files/dynamic/` — известный бардак: плоский список старых и новых маршрутов. Имена вроде `tv.yml` — это поддомены, а не описание сервиса. Каталог разбирается после того, как вся старая инфраструктура переедет на роли машин. До этого файлы оттуда не переименовывать и не раскладывать. Подробности — в `README.md` внутри каталога.
|
||||
@@ -63,12 +59,12 @@ API Endpoint (внутренний LAN): `http://192.168.1.102:8080/api`
|
||||
### Пути секретов:
|
||||
- `/USER/ADMIN`:
|
||||
- `ADMIN_USER`: имя администратора хоумлаба (по умолчанию `karpenok`).
|
||||
- `ADMIN_PASSWORD`: единый пароль администратора (Traefik Dashboard, Grafana, Ntfy, NetBird).
|
||||
- `MAIL_ADMIN_USER`: почта администратора (для Grafana, NetBird и алертов).
|
||||
- `ADMIN_PASSWORD`: единый пароль администратора (Traefik Dashboard, Grafana, Ntfy).
|
||||
- `MAIL_ADMIN_USER`: почта администратора (для Grafana и алертов).
|
||||
- `/ci-cd`:
|
||||
- `RUNNER_SSH_KEY`: приватный SSH-ключ раннера (ed25519) для деплоя на хосты.
|
||||
- `TF_STATE_TOKEN`: токен доступа к HTTP State Backend Gitea.
|
||||
- `CLOUDFLARE_API`: API-токен Cloudflare (Zone DNS Edit для `gunis.top`, DNS-01 сертификаты ноды).
|
||||
- `CLOUDFLARE_API`: API-токен Cloudflare (Zone DNS Edit для `gunis.top`).
|
||||
- `/services/gitea`:
|
||||
- `POSTGRES_USER` / `POSTGRES_DB` / `POSTGRES_PASSWORD`: учётка БД (пароль же в `GITEA__database__PASSWD`). До cutover — значения боевого инстанса на CT 109.
|
||||
- `GITEA_RUNNER_REGISTRATION_TOKEN`: опционально; после переноса `runner-data/.runner` не нужен.
|
||||
@@ -78,19 +74,6 @@ API Endpoint (внутренний LAN): `http://192.168.1.102:8080/api`
|
||||
- `POSTGRES_PASSWORD`: пароль БД Infisical.
|
||||
- `ENCRYPTION_KEY`: 32-байтный hex-ключ шифрования хранилища.
|
||||
- `AUTH_SECRET`: base64 секрет сессий/JWT Infisical.
|
||||
- `/services/authentik` *(нужен только если включите Authentik)*:
|
||||
- `AUTHENTIK_SECRET_KEY`: случайный ключ шифрования сессий Authentik.
|
||||
- `AUTHENTIK_POSTGRES_PASSWORD`: пароль БД PostgreSQL Authentik.
|
||||
- `/services/netbird`:
|
||||
- `NETBIRD_LETSENCRYPT_EMAIL`: почта для сертификата. Если секрета нет, берётся `letsencrypt_email` из `group_vars/all.yml` или `MAIL_ADMIN_USER`.
|
||||
- `NETBIRD_AUTH_SECRET`: секрет auth.
|
||||
- `NETBIRD_DATASTORE_KEY`: 32-байтный ключ SQLite/datastore.
|
||||
- `NETBIRD_SESSION_KEY`: 32-байтный ключ веб-сессий.
|
||||
- `NETBIRD_API_TOKEN`: сервисный API-токен управления (создаётся и сохраняется пайплайном автоматически).
|
||||
- `NETBIRD_SETUP_KEY`: многоразовый ключ регистрации роутеров (`homelab-routers`). Панель и ноды им не пользуются.
|
||||
- `NETBIRD_REMNAWAVE_SETUP_KEY`: многоразовый ключ `remnawave-peers` для core-net и ger-nod-02. В группу роутеров не входит.
|
||||
- `NETBIRD_EXIT_CLIENTS_SETUP_KEY`: многоразовый ключ `exit-clients-key` для клиентских устройств, выходящих в интернет через Exit Node `ger-nod-02` (группа `exit-clients`). Дополнительные клиентские ключи из `ansible/roles/rus-central/netbird/files/access.yml` сохраняются сюда же по имени поля `secret`.
|
||||
- *(Параметры `NETBIRD_ADMIN_NAME`, `NETBIRD_ADMIN_PASSWORD`, `NETBIRD_ADMIN_EMAIL` наследуются из `/USER/ADMIN`)*.
|
||||
- `/services/opnsense`:
|
||||
- `OPNSENSE_API_KEY`: API-ключ администратора OPNsense.
|
||||
- `OPNSENSE_API_SECRET`: API-секрет администратора OPNsense.
|
||||
@@ -129,7 +112,7 @@ API Endpoint (внутренний LAN): `http://192.168.1.102:8080/api`
|
||||
|
||||
Креденшл роль читает из Infisical сама (`infisical secrets get --plain`), поэтому токен не проходит через переменные Ansible и не может попасть в лог прогона.
|
||||
|
||||
По умолчанию прокси подставляет `Authorization: Bearer <токен>`. Если сервис ждёт другой префикс (NetBird — `Authorization: Token <токен>`), задайте `agent_vault_service_header_prefix: Token`; для Basic-авторизации креденшл задаётся типом `basic`.
|
||||
По умолчанию прокси подставляет `Authorization: Bearer <токен>`. Для Basic-авторизации креденшл задаётся типом `basic`.
|
||||
|
||||
По умолчанию сервис кладётся в бандл `homelab-ops` проекта `homelab-agents`. Запись идёт только в Infisical: прокси подхватывает изменение на следующем poll (60 с), агента перезапускать не нужно. Идентичность пайплайна должна быть **Admin** в этом проекте Agent Vault — иначе регистрация вернёт 403.
|
||||
|
||||
@@ -173,20 +156,11 @@ API Endpoint (внутренний LAN): `http://192.168.1.102:8080/api`
|
||||
### Шаг 4. Traefik (CT 902)
|
||||
1. Запустить пайплайн **`ansible-core-net`** в Gitea Actions. Первый прогон на новом CT должен быть полным: ручной запуск выполняет `site.yml --limit core-net` и ставит Docker ролью `host`.
|
||||
2. Раннер подключается к `http://192.168.1.102:8080/api`, забирает SSH-ключ раннера и `ADMIN_*` из Infisical. Панель Traefik (`proxy.gunihome.ru`) закрывается BasicAuth из `/USER/ADMIN`.
|
||||
3. Плейбук поднимает Traefik на CT 902. Роль Authentik в плейбуке есть, но **по умолчанию выключена** (`authentik_enabled=false` в defaults и в CI): compose не стартует, стек на cold bootstrap не нужен.
|
||||
3. Плейбук поднимает Traefik на CT 902.
|
||||
4. Проверить `https://proxy.gunihome.ru`, `https://gitea.gunihome.ru` и `https://infisical.gunihome.ru`.
|
||||
|
||||
Правка только роли `traefik` ставит эту роль, без повторной подготовки машины.
|
||||
|
||||
#### Authentik (опционально, не часть cold bootstrap)
|
||||
Стек оставляем в репозитории на будущее: SSO/forwardAuth для выбранных приложений, не для всего edge сразу.
|
||||
|
||||
Чтобы включить:
|
||||
1. Положить секреты в Infisical `/services/authentik` (`AUTHENTIK_SECRET_KEY`, `AUTHENTIK_POSTGRES_PASSWORD`).
|
||||
2. Убрать принудительный `-e authentik_enabled=false` из `ansible/ci/deploy-machine.sh` (или передать `authentik_enabled=true` при ручном прогоне) и выставить `authentik_enabled: true`.
|
||||
3. Прогнать `ansible-core-net` (или `--tags authentik`): стек слушает `127.0.0.1:9000`, снаружи — `https://auth.gunihome.ru`. Blueprints заводят группы `admins`/`family` и пользователей `karpenok`/`ksynia`; пароли blueprint не задаёт. Первый запуск создаёт `akadmin` (пароль в логе `authentik-server`).
|
||||
4. На нужных роутерах Traefik повесить middleware `authentik` (forwardAuth из `roles/core-net/traefik/files/dynamic/authentik.yml`) — точечно, не на все сервисы.
|
||||
|
||||
#### Remnawave Panel + Subscription (на core-net)
|
||||
Новая панель рядом с Traefik. Старый `remna.gunihome.ru` на Голове не затрагивается.
|
||||
|
||||
@@ -194,7 +168,7 @@ API Endpoint (внутренний LAN): `http://192.168.1.102:8080/api`
|
||||
- `/ci-cd` → `CLOUDFLARE_API`
|
||||
- `/VPS` → `PASS_GER_NOD_02` (пароль нового VPS)
|
||||
2. Запустить **`ansible-core-net`** (полный прогон или `--tags remnawave` после того, как Traefik уже с роутами `rw`/`sub`).
|
||||
3. Роль поднимает `/opt/remnawave` (panel+db+redis) и `/opt/remnawave/subscription`, создаёт `REMNAWAVE_ADMIN_*`, каждый прогон **перевыпускает** API-токен `infra-automation` и кладёт его в Infisical (старый сразу недействителен). Config profile **`DE-Yali`**, сквад `Default-Squad` на inbound Steal-Yali, нода **`Ger-nod-02`**, host **`yali.gunis.top`**. Пользователи — файл `ansible/roles/core-net/remnawave/files/users.yml` (добавление/изменение/удаление = правка файла). Когда peer `ger-nod-02` уже есть в NetBird, адрес ноды в панели меняется на его NetBird IP. Пока peer нет, остаётся `150.241.64.209`. Ссылка подписки `homelab` пишется в `XRAY_CHECKER_SUBSCRIPTION_URL` и в лог не попадает.
|
||||
3. Роль поднимает `/opt/remnawave` (panel+db+redis) и `/opt/remnawave/subscription`, создаёт `REMNAWAVE_ADMIN_*`, при отсутствии/невалидности выпускает API-токен `infra-automation` и кладёт его в Infisical. Config profile **`DE-Yali`**, сквад `Default-Squad` на inbound Steal-Yali, нода **`Ger-nod-02`** (`150.241.64.209:2222`), host **`yali.gunis.top`**. Пользователи — файл `ansible/roles/core-net/remnawave/files/users.yml` (добавление/изменение/удаление = правка файла). Ссылка подписки `homelab` пишется в `XRAY_CHECKER_SUBSCRIPTION_URL` и в лог не попадает.
|
||||
4. Проверить `https://rw.gunihome.ru` и `https://sub.gunihome.ru`.
|
||||
|
||||
> [!IMPORTANT]
|
||||
@@ -202,15 +176,6 @@ API Endpoint (внутренний LAN): `http://192.168.1.102:8080/api`
|
||||
|
||||
### Шаг 4b. Remnawave Node ger-nod-02 (SelfSteal)
|
||||
1. После успешного `ansible-core-net` (чтобы в Infisical был `REMNANODE_SECRET_KEY`) запустить **`ansible-ger-nod-02`**.
|
||||
2. Первый прогон: как у rus-central — `ansible_password` из `/VPS` → `PASS_GER_NOD_02`; роль `host` кладёт ключ и отключает пароль. Роль `remnanode` держит A-запись `yali.gunis.top` в Cloudflare, выпускает LE по **HTTP-01** (порт 80, без TXT `_acme-challenge` в зоне), поднимает remnanode + nginx SelfSteal.
|
||||
2. Первый прогон: `ansible_password` из `/VPS` → `PASS_GER_NOD_02`; роль `host` кладёт ключ и отключает пароль. Роль `remnanode` держит A-запись `yali.gunis.top` в Cloudflare, выпускает LE по **HTTP-01** (порт 80, без TXT `_acme-challenge` в зоне), поднимает remnanode + nginx SelfSteal.
|
||||
3. В панели нода должна стать зелёной; браузер на `https://yali.gunis.top` — маскировочный сайт.
|
||||
4. Клиент NetBird ходит на `https://central.gunihome.ru` ключом `remnawave-peers`. В UFW открыт `51820/udp` для прямых P2P-туннелей WireGuard, а в `/etc/sysctl.d/99-netbird-exit.conf` зафиксированы `ip_forward=1` и `src_valid_mark=1`: помимо служебного канала `2222` нода входит в группу `exit-ger-nod-02` и работает как Exit Node (`0.0.0.0/0` с маскарадингом) для клиентов из группы `exit-clients`. Пока peer панели не виден, `NODE_PORT` 2222 остаётся открыт для WAN egress панели. Когда peer `core-net` есть, 2222 разрешён только с его NetBird IP. Публичный `:9100` закрыт: метрики ноды уходят vmagent-ом в VictoriaMetrics на `192.168.1.108:8428` через маршрут `homelab-lan`.
|
||||
5. На `core-net` (unprivileged LXC) `/dev/net/tun` сам не появляется. Токен Terraform получает 403: проброс устройства разрешён только `root@pam`. На netcore: `pct set 902 -dev0 /dev/net/tun,mode=0666 && pct reboot 902`, затем ещё раз `ansible-core-net`. До этого панель остаётся на публичном адресе ноды.
|
||||
|
||||
### Шаг 5. NetBird (rus-central) и связка с OPNsense
|
||||
1. Запустить пайплайн **`ansible-rus-central`** в Gitea Actions. Ручной запуск сверяет машину целиком. Push в `roles/rus-central/netbird` ставит только NetBird.
|
||||
2. Раннер считывает ключи из `/services/netbird`, деплоит стек в `/opt/netbird` на `45.154.185.208`, автоматически регистрирует первого суперпользователя (`POST /api/setup`), создаёт сервисный токен (`NETBIRD_API_TOKEN`), группу `homelab-routers`, маршрут к подсети `192.168.1.0/24` и многоразовый ключ установки (`NETBIRD_SETUP_KEY`). Отдельно создаётся группа `remnawave` и ключ `remnawave-peers` (`NETBIRD_REMNAWAVE_SETUP_KEY`): он не добавляет peer в `homelab-routers`. Клиентский доступ (`client_groups`, `exit_nodes`, `dns_nameservers`, `setup_keys`, `peers`) задаётся декларативно в `ansible/roles/rus-central/netbird/files/access.yml` и применяется задачей `tasks/access.yml` (`sync_access.py`):
|
||||
- **Добавить ключ клиента**: дописать новую запись в `setup_keys` (`name`, `secret`, `groups`) и запушить — ключ создастся в NetBird и сохранится в Infisical `/services/netbird`.
|
||||
- **Отозвать ключ**: выставить `enabled: false` (или удалить запись) в `setup_keys`.
|
||||
- **Управлять устройством**: в `peers` можно зафиксировать группы пира (`groups`) или удалить/отключить устройство через `state: absent`.
|
||||
3. Запустить пайплайн **`ansible-opnsense`** в Gitea Actions. Раннер обращается по HTTPS REST API к `192.168.1.1`, проверяет/устанавливает плагин `os-netbird`, включает службу и регистрирует шлюз OPNsense на `https://central.gunihome.ru:443` по `NETBIRD_SETUP_KEY`.
|
||||
4. Служебный порт `NODE_PORT` (`2222/tcp`) и порты метрик (`9100/tcp`, `9101/tcp`) в UFW открыты **только** для WAN egress панели (`213.128.28.107` и `185.160.137.140`). Публичный доступ к метрикам закрыт: `vmagent` на `core-net` забирает их по whitelist и отправляет в VictoriaMetrics на `192.168.1.108:8428`.
|
||||
Reference in new issue
Block a user