Режим без окна

problet --headless запускает браузер скрыто, без окна и даже без дисплея. Так можно загрузить страницу из скрипта и получить отчёт, снимок или текст — или управлять браузером по HTTP.

Как это устроено

Одна загрузка с отчётом

problet --headless --fetch=https://example.com --runs=3 --wait=4000 --adblock --text --shot=page.png --eval="document.title"
КлючЧто делает
--fetch=URLКакую страницу загрузить. Отчёт JSON печатается в stdout, после чего браузер выходит.
--runs=NЗагрузить N раз, каждый раз с чистого листа; счётчики запросов складываются.
--wait=мсСколько ждать после окончания загрузки, пока страница дорисуется. По умолчанию 4000.
--size=1280x800Размер страницы.
--adblockВключить блокировщик рекламы на этот запуск.
--textДобавить в отчёт текст страницы.
--shot=файл.pngСохранить снимок страницы.
--eval="код"Выполнить JavaScript на странице и добавить результат в отчёт.
--insert=код или путь к .jsСкрипт, который выполняется на каждой открытой странице до её собственных скриптов. Работает и в режиме управления по HTTP.

В отчёте — заголовок, итоговый адрес (после переадресаций), время загрузки, ошибки и предупреждения из консоли (console) и сводка запросов по хостам: сколько запросов ушло на каждый и сколько из них заблокировано (hosts). По этой сводке удобно смотреть, какие трекеры тянет сайт и что ловит блокировщик.

Управление по HTTP

problet --headless --control-port=8765

Браузер печатает в stdout строку PROBLET_HEADLESS {url, port, token, pid} и пишет то же в файл problet/headless.json во временной папке (на Linux — /tmp/problet/headless.json). Без --control-port порт выбирается свободный. Сервер слушает только 127.0.0.1, и каждый запрос должен нести токен — в заголовке x-token или параметре ?token=.

ЗапросЧто делает
GET /tabsСписок вкладок.
POST /open {url, wait}Открыть адрес в новой вкладке и дождаться загрузки.
POST /eval {tab, js}Выполнить JavaScript на странице и вернуть результат.
GET /text?tab=Текст страницы.
GET /screenshot?tab=Снимок PNG.
GET /requests?clear=1Сводка запросов по хостам (blocked — заблокировано блокировщиком).
GET /console?clear=1Ошибки и предупреждения из консоли страниц.
GET /log?lines=200Хвост журнала браузера.
POST /close {tab}Закрыть вкладку.
POST /quitВыйти.

Пример на curl

problet --headless --control-port=8765 &
TOKEN=$(node -p "require('/tmp/problet/headless.json').token")
TAB=$(curl -s -H "x-token: $TOKEN" -X POST localhost:8765/open -d '{"url":"https://example.com"}' | node -p "JSON.parse(require('fs').readFileSync(0)).id")
curl -s -H "x-token: $TOKEN" "localhost:8765/text?tab=$TAB"
curl -s -H "x-token: $TOKEN" -X POST localhost:8765/quit

/open возвращает вкладку: id, адрес, заголовок, загрузилась ли и сколько грузилась. Тот же id показывает /tabs.

Встроенные страницы problet:// тоже открываются, читаются и снимаются через эти запросы.