diff --git a/.gitea/workflows/ansible-core-git.yml b/.gitea/workflows/ansible-core-git.yml new file mode 100644 index 0000000..8a77632 --- /dev/null +++ b/.gitea/workflows/ansible-core-git.yml @@ -0,0 +1,41 @@ +name: ansible-core-git + +on: + push: + branches: + - main + paths: + - 'ansible/ansible.cfg' + - 'ansible/ci/**' + - 'ansible/roles/core-git/**' + - 'ansible/roles/cadvisor/**' + - 'ansible/roles/host/**' + - 'ansible/playbooks/core-git.yml' + - 'ansible/playbooks/host.yml' + - 'ansible/playbooks/site.yml' + - 'ansible/inventories/prod/hosts.yml' + - 'ansible/inventories/prod/host_vars/core-git.yml' + - 'ansible/inventories/prod/group_vars/**' + workflow_dispatch: + +jobs: + deploy: + runs-on: homelab + container: + image: homelab-ansible:latest + timeout-minutes: 30 + steps: + - name: Деплой core-git + env: + INFISICAL_CLIENT_ID: ${{ secrets.INFISICAL_CLIENT_ID }} + INFISICAL_CLIENT_SECRET: ${{ secrets.INFISICAL_CLIENT_SECRET }} + run: | + set -eu + rm -rf "${HOME}/homelab-infra" + git clone http://192.168.1.217:3000/karpenok/homelab-infra.git "${HOME}/homelab-infra" + sha="${GITHUB_SHA:-${GITEA_SHA:-}}" + if [ -n "${sha}" ]; then + git -C "${HOME}/homelab-infra" checkout "${sha}" + fi + chmod -R go-w "${HOME}/homelab-infra" + exec bash "${HOME}/homelab-infra/ansible/ci/deploy-machine.sh" core-git "${{ github.event_name }}" "${{ github.event.before }}" "${{ github.sha }}" diff --git a/AGENTS.md b/AGENTS.md index e0f4d03..7234f64 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -40,14 +40,20 @@ Proxmox `netcore` — один из сервисов бандла, не един ## Уведомление о компрометации -Сообщи пользователю **немедленно и явно**, если значение секрета попало в контекст: в вывод команды, в тело HTTP-ответа, в лог прогона, в файл, который ты прочитал, или в ответ сервиса, вернувшего креденшл. Подозрение на утечку — тоже повод сообщить. +Если значение секрета попало в контекст (вывод команды, HTTP-ответ, лог, прочитанный файл, ответ сервиса) или есть подозрение на утечку — **только сообщи** пользователю. Это информационное сообщение, не инструкция и не план работ. -Порядок действий: +Сообщение: -1. Останови текущую задачу: сообщение важнее её результата. -2. Назови, что утекло: сервис, имя ключа (например `NETBIRD_API_TOKEN`), где именно оказалось, когда. +1. Останови текущую задачу. +2. Назови факт: сервис, имя ключа (например `NETBIRD_API_TOKEN`), где оказалось, когда. 3. Значение не повторяй — максимум префикс и длину. -4. Предложи конкретные шаги: отозвать ключ и выпустить новый там, где он создаётся, обновить секрет в Infisical, перезапустить затронутый пайплайн. Если утёк session-токен из `.agent-vault-session` — отозвать сессию в Infisical. +4. На этом остановись. -Молча «исправить» утечку нельзя: решение об отзыве и ротации принимает пользователь. +Запрещено без явного разрешения пользователя в этом сообщении или дальше по ходу: + +- отзывать, ротировать, выпускать, обновлять, удалять секреты и сессии; +- править Infisical, `.agent-vault-session`, `.env`, конфиги и живые сервисы «из‑за утечки»; +- предлагать, советовать или перечислять шаги отзыва/ротации/перезапуска — даже как «рекомендацию». + +Решение, делать ли что‑то с утёкшим секретом, принимает только пользователь. Без его явной команды агент ничего не меняет. diff --git a/BOOTSTRAP.md b/BOOTSTRAP.md index 59877c6..90412dc 100644 --- a/BOOTSTRAP.md +++ b/BOOTSTRAP.md @@ -9,11 +9,12 @@ | `core-net` | `playbooks/core-net.yml` | `roles/core-net/traefik`; `roles/core-net/netbird`; `roles/core-net/remnawave`; `roles/core-net/vmagent`; `roles/core-net/authentik` *(опц., по умолчанию выкл.)* | `/opt/traefik`; клиент NetBird; `/opt/remnawave`; `/opt/vmagent`; `/opt/authentik` *(если включён)* | | `core-secrets` | `playbooks/core-secrets.yml` | `roles/core-secrets/infisical`, `roles/core-secrets/vaultwarden`, `roles/core-secrets/cadvisor` | `/opt/infisical`, `/opt/vaultwarden`, `/opt/cadvisor` | | `core-mon` | `playbooks/core-mon.yml` | `roles/core-mon/monitoring` | `/opt/monitoring` (VictoriaMetrics, vmalert, Grafana) | +| `core-git` | `playbooks/core-git.yml` | `roles/core-git/gitea`, `roles/core-git/cadvisor` | `/opt/gitea`, `/opt/cadvisor` | | `rus-central` | `playbooks/rus-central.yml` | `roles/rus-central/netbird`, `roles/rus-central/cadvisor` | `/opt/netbird`, `/opt/cadvisor` | | `ger-nod-02` | `playbooks/ger-nod-02.yml` | `roles/ger-nod-02/netbird`; `roles/ger-nod-02/remnanode`; `roles/ger-nod-02/vmagent` | клиент NetBird; `/opt/remnanode`; `/opt/vmagent` | | `opnsense` | `playbooks/opnsense.yml` | `roles/opnsense/netbird`; `roles/opnsense/xray` | REST API (`192.168.1.1:4433`) | -Полная сверка одной машины: `ansible-playbook playbooks/site.yml --limit <машина>`. Gitea в автоматизацию не входит: без неё не запустить пайплайны. +Полная сверка одной машины: `ansible-playbook playbooks/site.yml --limit <машина>`. Пока боевой инстанс на CT 109, пайплайны клонируют репо с `192.168.1.217`. Целевой `core-git` (CT 904) уже в автоматизации; cutover DNS/Traefik — отдельный шаг миграции. --- @@ -26,15 +27,16 @@ | **pve** | `192.168.1.2:8006` | PVE Main Node / Services | `root@192.168.1.2` (LAN only) | | **opnsense** | `192.168.1.1` | Маршрутизатор / Шлюз | Шлюз по умолчанию | -Terraform в этом репозитории описывает только узел `netcore`. Узел `pve` и CT 109 поднимаются отдельно. +Terraform в этом репозитории описывает узел `netcore` (включая `core-git`). Боевой CT 109 на `pve` пока остаётся источником до миграции. ### 1.2. Базовые управляющие контейнеры (LXC / Debian 13) | CT ID | Хост PVE | IP | Имя хоста | Продукты | |---|---|---|---|---| -| **CT 109** | `pve` | `192.168.1.217` | `gitea` | Gitea (`:3000`), Postgres (`:5432`), Gitea Actions Runner (`dind`) | +| **CT 109** | `pve` | `192.168.1.217` | `gitea` | Боевой Gitea (`:3000`), Postgres, Actions Runner (`dind`) — до cutover | | **CT 901** | `netcore` | `192.168.1.102` | `core-secrets` | Infisical (`:8080`), Postgres, Redis, Vaultwarden (`:8000`) | | **CT 902** | `netcore` | `192.168.1.104` | `core-net` | Traefik (`:80`, `:443`); Remnawave Panel (`127.0.0.1:3000`) + Subscription (`127.0.0.1:3010`); клиент NetBird (нужен `/dev/net/tun`); Authentik (`127.0.0.1:9000`) — опционально, по умолчанию выкл. | | **CT 903** | `netcore` | `192.168.1.108` | `core-mon` | VictoriaMetrics (`:8428`), vmalert (`127.0.0.1:8880`), Alertmanager (`:9093`), Grafana (`:3000`), Ntfy (`:80`) | +| **CT 904** | `netcore` | `192.168.1.105` | `core-git` | Gitea (`:3000`, git SSH `:222`), Postgres, Actions Runner (`dind`); cAdvisor (`:9101`) | ### 1.3. Внешние узлы | Имя | IP | Роль | Стек | @@ -65,6 +67,9 @@ API Endpoint (внутренний LAN): `http://192.168.1.102:8080/api` - `RUNNER_SSH_KEY`: приватный SSH-ключ раннера (ed25519) для деплоя на хосты. - `TF_STATE_TOKEN`: токен доступа к HTTP State Backend Gitea. - `CLOUDFLARE_API`: API-токен Cloudflare (Zone DNS Edit для `gunis.top`, DNS-01 сертификаты ноды). +- `/services/gitea`: + - `POSTGRES_PASSWORD`: пароль БД Postgres и `GITEA__database__PASSWD` (один и тот же). + - `GITEA_RUNNER_REGISTRATION_TOKEN`: опционально; нужен только для первичной регистрации runner без файла `runner-data/.runner` (после миграции тома токен не нужен). - `/VPS`: - `PASS_GER_NOD_02`: первичный root-пароль `ger-nod-02` (только bootstrap; после роли `host` вход по ключу). - `/services/infisical`: diff --git a/ansible/ci/ansible-target.sh b/ansible/ci/ansible-target.sh index 3418581..2e6216b 100755 --- a/ansible/ci/ansible-target.sh +++ b/ansible/ci/ansible-target.sh @@ -13,7 +13,7 @@ before=${3:-} after=${4:-} case "$machine" in - core-net | core-secrets | core-mon | rus-central | ger-nod-02 | opnsense) ;; + core-net | core-secrets | core-mon | core-git | rus-central | ger-nod-02 | opnsense) ;; *) echo "Неизвестная машина: $machine" >&2 exit 2 diff --git a/ansible/ci/deploy-machine.sh b/ansible/ci/deploy-machine.sh index d34eff2..4e6ddc9 100755 --- a/ansible/ci/deploy-machine.sh +++ b/ansible/ci/deploy-machine.sh @@ -9,7 +9,7 @@ before=${3:-} after=${4:-} case "$machine" in - core-net | core-secrets | core-mon | rus-central | ger-nod-02 | opnsense) ;; + core-net | core-secrets | core-mon | core-git | rus-central | ger-nod-02 | opnsense) ;; *) echo "Неизвестная машина: $machine" >&2 exit 2 @@ -83,6 +83,15 @@ case "$machine" in eval "$(infisical export --domain="${INFISICAL_DOMAIN}" --token="${TOKEN}" --env=prod --projectId="${INFISICAL_PROJECT_ID}" --path="/services/remnawave" --format=dotenv-export --silent 2>/dev/null || true)" export XRAY_CHECKER_SUBSCRIPTION_URL="${XRAY_CHECKER_SUBSCRIPTION_URL:-}" ;; + core-git) + # До миграции секрета может не быть: роль gitea тогда только готовит каталоги/пропускает compose. + eval "$(infisical export --domain="${INFISICAL_DOMAIN}" --token="${TOKEN}" --env=prod --projectId="${INFISICAL_PROJECT_ID}" --path="/services/gitea" --format=dotenv-export --silent 2>/dev/null || true)" + export GITEA_POSTGRES_PASSWORD="${POSTGRES_PASSWORD:-}" + export GITEA_RUNNER_REGISTRATION_TOKEN="${GITEA_RUNNER_REGISTRATION_TOKEN:-}" + if [ -z "${GITEA_POSTGRES_PASSWORD}" ]; then + echo "Предупреждение: в Infisical (/services/gitea) нет POSTGRES_PASSWORD — стек Gitea не поднимется до миграции." >&2 + fi + ;; rus-central) input_email="${INPUT_LETSENCRYPT_EMAIL:-}" eval "$(infisical export --domain="${INFISICAL_DOMAIN}" --token="${TOKEN}" --env=prod --projectId="${INFISICAL_PROJECT_ID}" --path="/services/netbird" --format=dotenv-export --silent)" diff --git a/ansible/inventories/prod/hosts.yml b/ansible/inventories/prod/hosts.yml index 92ba4d1..1f00e27 100644 --- a/ansible/inventories/prod/hosts.yml +++ b/ansible/inventories/prod/hosts.yml @@ -14,6 +14,9 @@ all: core-mon: ansible_host: 192.168.1.108 ansible_user: root + core-git: + ansible_host: 192.168.1.105 + ansible_user: root rus-central: ansible_host: 45.154.185.208 ansible_user: root diff --git a/ansible/playbooks/core-git.yml b/ansible/playbooks/core-git.yml new file mode 100644 index 0000000..b74cacc --- /dev/null +++ b/ansible/playbooks/core-git.yml @@ -0,0 +1,10 @@ +--- +# Playbook for core-git (Gitea + Postgres + Actions Runner, cAdvisor) +- name: Развертывание Gitea на core-git + hosts: core-git + become: true + roles: + - role: core-git/gitea + tags: [gitea] + - role: core-git/cadvisor + tags: [cadvisor] diff --git a/ansible/playbooks/site.yml b/ansible/playbooks/site.yml index 5ac0e14..6595f65 100644 --- a/ansible/playbooks/site.yml +++ b/ansible/playbooks/site.yml @@ -3,6 +3,7 @@ - ansible.builtin.import_playbook: core-net.yml - ansible.builtin.import_playbook: core-secrets.yml - ansible.builtin.import_playbook: core-mon.yml +- ansible.builtin.import_playbook: core-git.yml - ansible.builtin.import_playbook: rus-central.yml - ansible.builtin.import_playbook: ger-nod-02.yml - ansible.builtin.import_playbook: opnsense.yml diff --git a/ansible/roles/core-git/cadvisor/tasks/main.yml b/ansible/roles/core-git/cadvisor/tasks/main.yml new file mode 100644 index 0000000..bc1c3a8 --- /dev/null +++ b/ansible/roles/core-git/cadvisor/tasks/main.yml @@ -0,0 +1,4 @@ +--- +- name: cAdvisor core-git + ansible.builtin.include_role: + name: cadvisor diff --git a/ansible/roles/core-git/gitea/defaults/main.yml b/ansible/roles/core-git/gitea/defaults/main.yml new file mode 100644 index 0000000..d1bb737 --- /dev/null +++ b/ansible/roles/core-git/gitea/defaults/main.yml @@ -0,0 +1,24 @@ +--- +gitea_dir: /opt/gitea +gitea_http_port: 3000 +gitea_ssh_port: 222 + +gitea_image: "docker.gitea.com/gitea:28.3.0" +gitea_postgres_image: "postgres:14" +gitea_runner_image: "docker.io/gitea/runner:5-dind" + +gitea_domain: "gitea.gunihome.ru" +gitea_root_url: "https://gitea.gunihome.ru" +# Стабильное имя для clone SSH (Unbound), не LAN IP CT. +gitea_ssh_domain: "gitea.internal" + +gitea_postgres_user: gitea +gitea_postgres_db: gitea +gitea_postgres_password: "{{ lookup('env', 'GITEA_POSTGRES_PASSWORD') }}" + +gitea_runner_name: homelab +gitea_runner_labels: "homelab:docker://docker.gitea.com/runner-images:ubuntu-latest" +gitea_runner_instance_url: "{{ gitea_root_url }}" +gitea_runner_registration_token: "{{ lookup('env', 'GITEA_RUNNER_REGISTRATION_TOKEN', default='') }}" +# Включается, если есть токен регистрации или уже лежит runner-data/.runner (после миграции). +gitea_runner_enabled: false diff --git a/ansible/roles/core-git/gitea/tasks/main.yml b/ansible/roles/core-git/gitea/tasks/main.yml new file mode 100644 index 0000000..34158a2 --- /dev/null +++ b/ansible/roles/core-git/gitea/tasks/main.yml @@ -0,0 +1,63 @@ +--- +- name: Есть ли данные Postgres (после миграции) + ansible.builtin.stat: + path: "{{ gitea_dir }}/postgres/PG_VERSION" + register: gitea_postgres_data + +- name: Есть ли уже регистрация runner + ansible.builtin.stat: + path: "{{ gitea_dir }}/runner-data/.runner" + register: gitea_runner_file + +- name: Нужен ли пароль для запуска стека + ansible.builtin.set_fact: + gitea_stack_ready: "{{ (gitea_postgres_password | default('') | length > 0) }}" + +- name: Без пароля стек не поднимаем (ожидается миграция) + ansible.builtin.debug: + msg: "GITEA_POSTGRES_PASSWORD пуст — каталоги при необходимости создадим, compose/up пропустим." + when: not gitea_stack_ready + +- name: Пароль обязателен, если данные БД уже на диске + ansible.builtin.assert: + that: + - gitea_postgres_password | length > 0 + fail_msg: "Есть данные Postgres в {{ gitea_dir }}/postgres, но GITEA_POSTGRES_PASSWORD пуст." + when: gitea_postgres_data.stat.exists | default(false) + +- name: Включить runner при токене или существующем .runner + ansible.builtin.set_fact: + gitea_runner_enabled: "{{ gitea_stack_ready and ((gitea_runner_registration_token | default('') | length > 0) or (gitea_runner_file.stat.exists | default(false))) }}" + +- name: Создать каталоги Gitea + ansible.builtin.file: + path: "{{ item.path }}" + state: directory + owner: "{{ item.owner }}" + group: "{{ item.group }}" + mode: "{{ item.mode }}" + loop: + - { path: "{{ gitea_dir }}", owner: "root", group: "root", mode: "0755" } + - { path: "{{ gitea_dir }}/gitea", owner: "root", group: "root", mode: "0755" } + - { path: "{{ gitea_dir }}/postgres", owner: "999", group: "999", mode: "0700" } + - { path: "{{ gitea_dir }}/runner-data", owner: "root", group: "root", mode: "0700" } + +- name: Установить compose.yaml для Gitea + ansible.builtin.template: + src: compose.yaml.j2 + dest: "{{ gitea_dir }}/compose.yaml" + owner: root + group: root + mode: "0600" + no_log: true + when: gitea_stack_ready + +- name: Запустить Gitea + ansible.builtin.command: docker compose -f {{ gitea_dir }}/compose.yaml up -d --remove-orphans + register: gitea_compose_up + changed_when: >- + 'Started' in gitea_compose_up.stderr or + 'Created' in gitea_compose_up.stderr or + 'Recreated' in gitea_compose_up.stderr or + 'Pulled' in gitea_compose_up.stderr + when: gitea_stack_ready diff --git a/ansible/roles/core-git/gitea/templates/compose.yaml.j2 b/ansible/roles/core-git/gitea/templates/compose.yaml.j2 new file mode 100644 index 0000000..831b66c --- /dev/null +++ b/ansible/roles/core-git/gitea/templates/compose.yaml.j2 @@ -0,0 +1,76 @@ +name: gitea + +networks: + gitea: + external: false +{% if gitea_runner_enabled %} + +volumes: + runner-docker: +{% endif %} + +services: + server: + image: {{ gitea_image }} + container_name: gitea + environment: + GITEA__database__DB_TYPE: postgres + GITEA__database__HOST: db:5432 + GITEA__database__NAME: {{ gitea_postgres_db | to_json }} + GITEA__database__USER: {{ gitea_postgres_user | to_json }} + GITEA__database__PASSWD: {{ gitea_postgres_password | to_json }} + GITEA__server__ROOT_URL: {{ gitea_root_url | to_json }} + GITEA__server__DOMAIN: {{ gitea_domain | to_json }} + GITEA__server__SSH_DOMAIN: {{ gitea_ssh_domain | to_json }} + GITEA__server__SSH_PORT: "{{ gitea_ssh_port }}" + GITEA__service__DISABLE_REGISTRATION: "true" + restart: always + networks: + - gitea + volumes: + - {{ gitea_dir }}/gitea:/data + ports: + - "{{ gitea_http_port }}:3000" + - "{{ gitea_ssh_port }}:22" + depends_on: + db: + condition: service_healthy + + db: + image: {{ gitea_postgres_image }} + container_name: gitea-db + restart: always + environment: + POSTGRES_USER: {{ gitea_postgres_user | to_json }} + POSTGRES_PASSWORD: {{ gitea_postgres_password | to_json }} + POSTGRES_DB: {{ gitea_postgres_db | to_json }} + networks: + - gitea + volumes: + - {{ gitea_dir }}/postgres:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U {{ gitea_postgres_user }} -d {{ gitea_postgres_db }}"] + interval: 5s + timeout: 5s + retries: 10 + start_period: 20s +{% if gitea_runner_enabled %} + + runner: + image: {{ gitea_runner_image }} + container_name: gitea-runner + restart: always + privileged: true + environment: + GITEA_INSTANCE_URL: {{ gitea_runner_instance_url | to_json }} + GITEA_RUNNER_NAME: {{ gitea_runner_name | to_json }} + GITEA_RUNNER_LABELS: {{ gitea_runner_labels | to_json }} +{% if gitea_runner_registration_token | length > 0 %} + GITEA_RUNNER_REGISTRATION_TOKEN: {{ gitea_runner_registration_token | to_json }} +{% endif %} + networks: + - gitea + volumes: + - {{ gitea_dir }}/runner-data:/data + - runner-docker:/var/lib/docker +{% endif %} diff --git a/ansible/roles/core-mon/monitoring/defaults/main.yml b/ansible/roles/core-mon/monitoring/defaults/main.yml index 7801d7c..efd3769 100644 --- a/ansible/roles/core-mon/monitoring/defaults/main.yml +++ b/ansible/roles/core-mon/monitoring/defaults/main.yml @@ -25,6 +25,7 @@ monitoring_cadvisor_port: 9101 monitoring_cadvisor_scrape_hosts: - core-secrets - rus-central + - core-git grafana_admin_user: "{{ lookup('ansible.builtin.env', 'ADMIN_USER', default='karpenok') }}" grafana_admin_password: "{{ lookup('ansible.builtin.env', 'ADMIN_PASSWORD', default='') }}" diff --git a/terraform/netcore/core-git.tf b/terraform/netcore/core-git.tf new file mode 100644 index 0000000..fcde1fd --- /dev/null +++ b/terraform/netcore/core-git.tf @@ -0,0 +1,51 @@ +resource "proxmox_virtual_environment_container" "core_git" { + description = "Managed by Terraform: core-git (Gitea + Actions Runner)" + node_name = var.proxmox_node + + vm_id = 904 + unprivileged = true + started = true + + initialization { + hostname = "core-git" + + ip_config { + ipv4 { + address = "192.168.1.105/24" + gateway = "192.168.1.1" + } + } + + user_account { + keys = var.ssh_public_keys + } + } + + network_interface { + name = "eth0" + bridge = "vmbr10" + } + + operating_system { + template_file_id = "local:vztmpl/debian-13-standard_13.6-1_amd64.tar.zst" + type = "debian" + } + + cpu { + cores = 2 + } + + memory { + dedicated = 4096 + swap = 2048 + } + + disk { + datastore_id = "local-lvm" + size = 40 + } + + features { + nesting = true + } +} diff --git a/terraform/netcore/outputs.tf b/terraform/netcore/outputs.tf index f46ca79..6b71378 100644 --- a/terraform/netcore/outputs.tf +++ b/terraform/netcore/outputs.tf @@ -27,3 +27,13 @@ output "core_mon_ip" { description = "IPv4 адрес контейнера core-mon" value = proxmox_virtual_environment_container.core_mon.initialization[0].ip_config[0].ipv4[0].address } + +output "core_git_id" { + description = "VMID контейнера core-git" + value = proxmox_virtual_environment_container.core_git.vm_id +} + +output "core_git_ip" { + description = "IPv4 адрес контейнера core-git" + value = proxmox_virtual_environment_container.core_git.initialization[0].ip_config[0].ipv4[0].address +}