RE:NODE

Minecraft: A single server tick took 60.00 seconds - решение

Автор Команда RE:NODE
17 мин чтения


Строка A single server tick took 60.00 seconds (should be max 0.05) означает, что основной поток сервера целую минуту не завершал ни одного тика, и защитный поток, называемый watchdog, остановил сервер, решив, что он завис. Исправлять это увеличением таймаута не нужно. Нужно найти, на чём застрял основной поток, и ответ почти всегда напечатан в thread dump прямо под этой строкой: плагин ждёт базу данных или веб-запрос, поиск чанка или структуры не вернулся, взаимная блокировка либо машина осталась без памяти и замерла. Прочитайте dump, назовите виновника, удалите его или перенастройте. Увеличение max-tick-time лишь удлиняет зависание.

Эта статья посвящена именно этому крашу. Если в консоли более мягкое предупреждение Can't keep up! Is the server overloaded?, то это другая, куда менее серьёзная проблема, о ней в статье Can't keep up: перегружен ли сервер?. Если сервер падает на конкретной сущности или блоке, смотрите исправление краша ticking entity. Если он перезапускается, падает и снова перезапускается, начните с восстановления после цикла падений. Здесь разбирается случай, когда ничего не падает в обычном смысле - сервер просто перестаёт двигаться, а потом его «расстреливают».

Что такое watchdog и что означает сообщение#

Minecraft обсчитывает весь мир в одном потоке, который называется потоком сервера. На каждый тик у него 50 миллисекунд, чтобы сделать всё: подвинуть мобов, обработать редстоун, пакеты, загрузить чанки, выполнить задачи каждого плагина. Отсюда число в сообщении: при 20 тиках в секунду тик должен занимать не более 0,05 секунды.

Рядом с потоком сервера работает второй, крошечный поток, единственная задача которого - проверять, что поток сервера продолжает двигаться. В vanilla это серверный watchdog. Paper и его форки несут собственную версию той же идеи, настраиваемую в другом файле. Watchdog не измеряет среднюю медлительность тиков. Он задаёт один вопрос: не идёт ли текущий тик дольше лимита? Если да, он считает, что сервер завис во взаимной блокировке или бесконечном цикле, пишет crash report и останавливает процесс, чтобы что-то могло его перезапустить.

Это регулируют две разные настройки, и их часто путают:

ПараметрФайлПо умолчанию
max-tick-timeserver.properties60000 (миллисекунды)
settings.timeout-timespigot.yml60 (секунды)

В vanilla действует только первая. На Paper за потоком сервера следит ещё и watchdog, унаследованный от Spigot, который читает timeout-time из spigot.yml. Оба по умолчанию равны шестидесяти секундам, поэтому в сообщении почти всегда стоит ровно 60.00. Если вы увеличили одно из значений, а число в сообщении другое, оно подсказывает, какой watchdog сработал: это заданный вами лимит, а не время, которое тик занял бы в итоге.

Вариант Paper печатает другое, более длинное сообщение. Его формулировки меняются между версиями, но обычно оно начинается со строки о том, что сервер перестал отвечать, замечает, что это, вероятно, не ошибка Paper, и затем печатает Server thread dump со стеком каждого потока. Вариант vanilla печатает строку A single server tick took 60.00 seconds (should be max 0.05), за ней Considering it to be crashed, server will forcibly shutdown. и записывает файл в crash-reports/. Что бы вы ни увидели, полезная часть одна и та же: где стоял поток сервера, когда watchdog сдался?

Сначала прочитайте thread dump#

Пока ничего не меняйте в настройках. Откройте лог консоли (logs/latest.log или предыдущий файл в logs/, если сервер уже перезапустился) и найдите dump. На Paper он идёт сразу за строками «server has stopped responding». Вам нужен поток с именем Server thread. Всё остальное - контекст.

Верх стека этого потока - строка, на которой стоял сервер. Читайте вниз, пока не встретите имя пакета, которое вы узнаёте как плагин, а не net.minecraft, org.bukkit или java. Типичный dump с зависанием на базе данных выглядит так:

code
"Server thread" #34 prio=5 tid=0x... nid=0x... runnable   java.lang.Thread.State: RUNNABLE	at java.base/sun.nio.ch.SocketDispatcher.read0(Native Method)	at java.base/java.net.SocketInputStream.socketRead0(Native Method)	at com.mysql.cj.protocol.ReadAheadInputStream.fill(...)	at com.mysql.cj.jdbc.ClientPreparedStatement.executeQuery(...)	at com.example.economy.Storage.loadBalance(Storage.java:88)	at com.example.economy.listeners.JoinListener.onJoin(JoinListener.java:41)	at org.bukkit.plugin.EventExecutor.execute(...)

Имена выше выдуманы, но форма настоящая. Поток сервера читает из сетевого сокета, вызванный обработчиком входа игрока из плагина, то есть плагин делает запрос к базе в основном потоке, а база перестала отвечать. Причина - плагин; триггер - база.

Шаблоны, которые встречаются в таких dump чаще всего:

  • `socketRead`, `SocketInputStream`, `HttpURLConnection`, `com.mysql`, `org.mariadb`, `org.postgresql`, `redis` в верхней части. Плагин выполняет сетевую работу или работу с базой синхронно. Таймаута в 30 или 60 секунд на мёртвом соединении достаточно.
  • `Future.get`, `CompletableFuture.join`, `Unsafe.park`, `LockSupport.park` под классом плагина. Основной поток ждёт работы в другом потоке, а тот, в свою очередь, может ждать основной. Это взаимная блокировка. Поищите в остальных потоках dump тот, что BLOCKED или ждёт основной поток.
  • `ChunkGenerator`, `StructureManager`, `findNearestMapStructure`, `locateStructure` или подобное в стеке. Поиск структуры или вызов генерации мира, который не заканчивается. Частые триггеры - картограф-житель, продающий карту исследователя, Eye of Ender, команда /locate или плагин, размещающий структуры.
  • `RegionFile`, `ChunkIOExecutor`, `FileChannel`, `sun.nio.ch.FileDispatcher` или `ZipFile`. Ввод-вывод на диск. Либо диск замер, либо файл чанка повреждён. См. ошибки чанков и повреждение мира.
  • Цикл внутри одного плагина или функции датапака. Одни и те же две-три строки плагина повторяются в каждом снятом dump. Функция датапака .mcfunction, вызывающая сама себя без условия остановки, даёт тот же эффект.
  • Никаких плагинов, только кадры `net.minecraft`. Огромное число сущностей или воронок, гигантские часы на редстоуне или команда вроде очень большого /fill, /clone либо операции WorldEdit. Они не зависли, а работают, просто слишком много для одного тика.

Если в dump только кадры vanilla и вы не понимаете, чем занят сервер, это повод профилировать, а не гадать. Об этом ниже.

Что на самом деле вызывает тик в 60 секунд#

Причины делятся на пять групп. Примерно в том порядке, в каком они оказываются ответом на реальных серверах:

  1. Плагин блокирует основной поток операцией ввода-вывода. Базы данных, веб-API, вебхуки Discord, проверки обновлений, поиск скинов или UUID. Всё, что говорит по сети, должно выполняться вне основного потока. Многие плагины ошибаются в одной ветке кода, например в событии входа, и это проявляется только когда удалённая сторона тормозит. Поэтому краш кажется случайным: он следует за плохой минутой чужого сервиса, а не вашего. Плагины на MySQL описаны в статье MySQL для плагинов Minecraft.
  2. Взаимная блокировка. Два потока ждут друг друга. Обычно это плагин, который из асинхронной задачи обращается обратно в основной поток и ждёт ответа. Взаимная блокировка сама не разрешается, так что минутное ожидание неизбежно.
  3. Убежавший поиск или задача генерации. Поиск структуры в мире с необычными настройками генерации, собственный генератор мира или датапак, меняющий размещение структур, могут превратить поиск, который обычно занимает миллисекунды, в многоминутный.
  4. Остановка на уровне машины. Процесс был приостановлен, а не занят. Обычные причины: сборка мусора после заполнения кучи, вытеснение памяти операционной системой на диск, диск, переставший отвечать во время сохранения, или контейнер, упёршийся в лимит памяти. Сервер, который буксует на верхней границе кучи, может замирать на десятки секунд. См. Java heap space OutOfMemoryError и флаги JVM и версии Java.
  5. Честная перегрузка, выросшая за лимит. Ферма мобов, накопившая десятки тысяч сущностей, цепочка воронок или операция на весь мир, запущенная админом. Каждый тик становится медленнее, пока один из них не становится не тиком, а минутой.

О четвёртой группе стоит сказать отдельно, потому что перед ней в консоли нет ничего необычного. Если лог замолчал на минуту и watchdog сработал, когда поток сервера находился в безобидном на вид методе, или сам dump задержан либо отсутствует, подозревайте заморозку процесса снаружи, а не код сервера.

Найдите причину с помощью spark#

Когда dump неоднозначен или краш происходит только под нагрузкой и вы не можете поймать его на месте, используйте spark. На свежих версиях он идёт вместе с Paper, а на других типах серверов - отдельным плагином или модом. Полный разбор есть в статье диагностика лагов через spark; три команды, важные для этого краха, такие:

code
/spark tickmonitor --threshold-tick 1000/spark profiler start --timeout 600/spark profiler stop

tickmonitor с порогом тика печатает сообщение каждый раз, когда один тик длится дольше заданного числа миллисекунд, здесь - одной секунды. Оставьте его включённым, и вы получите список плохих тиков с отметками времени, которые можно сопоставить с действиями игроков. Профилировщик опрашивает все потоки и показывает в виде дерева вызовов, сколько времени поток сервера провёл в каждом плагине и методе. Запустите его, дождитесь медленного периода, остановите и откройте напечатанную ссылку. Если один плагин занимает большую часть времени потока сервера, виновник найден, даже если сервер ни разу не пересёк границу в 60 секунд.

У профилировщика есть опция, оставляющая только тики, превысившие заданную длину (--only-ticks-over), которая помогает выделить редкое зависание среди тысяч нормальных тиков. Опции команд немного отличаются между версиями spark, поэтому запустите /spark profiler без аргументов, чтобы увидеть, что принимает ваша.

Взаимную блокировку профилирование ловит плохо, потому что застрявший поток не расходует CPU, а ждёт. Для подозрения на взаимную блокировку лучшее доказательство - thread dump: снимите два dump с разницей в несколько секунд и сравните. Если стек потока сервера в обоих одинаков, он застрял, а не занят.

Thread dump до срабатывания watchdog#

Если зависание воспроизводится, вы можете посмотреть на него до того, как watchdog остановит сервер. На сервере, которым вы управляете напрямую, jstack <pid> печатает стеки работающего процесса Java, а jcmd <pid> Thread.print делает то же самое. Обе утилиты входят в JDK, а не в урезанный JRE. На хостинге внутри контейнера обычно запустить их нельзя, и поэтому автоматический dump, который пишет watchdog, так ценен. У watchdog в Paper есть также настройка раннего предупреждения, которая печатает thread dump, пока тик ещё идёт, задолго до окончательного таймаута. Она задаётся в глобальном файле конфигурации Paper (config/paper-global.yml в свежих версиях, paper.yml в старых) в разделе watchdog, с интервалом и задержкой. Имена ключей менялись между релизами, так что сверяйтесь со сгенерированным файлом вашей версии, а не копируйте значения отсюда.

Исправления по причинам#

Когда группа известна, исправление обычно короткое.

Плагин блокируется на вводе-выводе

Сначала проверьте, здоров ли сервис, с которым он общается: доступна ли база, разрешается ли имя хоста, не упал ли удалённый API? Почините это, и зависания прекратятся. Затем найдите в настройках плагина таймаут соединения или запроса и поставьте несколько секунд вместо значения по умолчанию. Обновите плагин, потому что блокирующие вызовы в основном потоке обычно исправляют в поздних версиях. Если плагин нельзя заставить выполнять вызовы асинхронно, замените его. Плагин, который держит весь сервер в заложниках при каждом сбое сети, не стоит своего набора функций.

Если база размещена рядом с сервером, задержка редко бывает проблемой; проблема в доступности. Проверьте, что учётная запись базы, пароль и хост в конфигурации плагина по-прежнему верны после любого переезда или смены пароля.

Взаимная блокировка

Сначала обновите плагин и поищите в его трекере задач слова «deadlock» или «watchdog». Уберите его на день, чтобы подтвердить диагноз. Если взаимодействуют два плагина (классическая пара - плагин защиты и плагин журналирования), в dump каждый будет заблокирован на замке, который держит другой; сообщите авторам, приложив оба стека.

Убежавший поиск структуры или генерация

Если в dump назван поиск структур, найдите триггер: торговля жителя, предмет, команда. Не давайте игрокам пользоваться им, пока не разберётесь, например убрав сделки картографов плагином, который это умеет. Проверьте, что настройки генератора мира не необычные и что любой датапак, меняющий структуры, сделан под вашу версию Minecraft. Если застрявший поиск оставил плохой чанк, повреждённому файлу региона может понадобиться ремонт или восстановление из бэкапа.

Тяжёлую плановую генерацию, например предварительную генерацию мира, не делайте в основном игровом цикле. Используйте инструмент предгенерации в пределах заданной границы; см. граница мира и предгенерация.

Остановка на уровне машины

Сначала проверьте память. Если куча в флагах запуска задана почти равной памяти, которую хост реально даёт процессу, то процесс Java вместе с памятью вне кучи может превысить лимит контейнера и быть убит либо замереть. Оставляйте запас. Разумная отправная точка - куча примерно 75-80 процентов доступной памяти, а не 100; обоснование и наборы флагов смотрите в флагах JVM и версиях Java. Затем проверьте диск: сохранение на медленном или почти заполненном диске может остановить поток сервера в ожидании. Журнал сборки мусора, включаемый флагом унифицированного логирования JVM -Xlog:gc, покажет паузы в несколько секунд, если проблема в куче.

Честная перегрузка

Уменьшите то, чего требуют от мира. Очистка сущностей, лимиты мобов, лимиты воронок и дальность прорисовки описаны в руководстве по оптимизации Paper и в настройке дальности прорисовки и симуляции. Для миров с множеством ферм см. лаги от ферм жителей и мобов. Команду администратора, затрагивающую огромную область, стоит разбить на меньшие части или запускать из инструмента, который распределяет работу по тикам.

Менять ли max-tick-time и timeout-time?#

Обычно нет. Соблазн понятен: краш раз в неделю, в остальном сервер в порядке, а max-tick-time=-1 в server.properties убирает сообщение. В vanilla -1 полностью отключает watchdog. В итоге вы получаете сервер, который при настоящем зависании зависает навсегда, а игроки смотрят на замёрзший мир, пока кто-нибудь не заметит и не убьёт процесс вручную. Именно watchdog превращает бесконечное зависание в перезапуск.

Есть две честные причины его менять:

  • Известная ограниченная долгая операция. Конвертация мира, разовая миграция или большая предгенерация могут законно держать основной поток минутами. Поднимите лимит на эту сессию и верните обратно.
  • Медленный диск при тяжёлом сохранении большого мира. Если вы убедились, что причина в долгом сохранении, а диск починить нельзя, лимит в 120 секунд может быть разумным. Считайте это смягчением, а не лечением.
server.properties
# milliseconds; 60000 is the default, -1 disables the vanilla watchdogmax-tick-time=60000
spigot.yml
settings:  # seconds; 60 is the default  timeout-time: 60  restart-on-crash: true  restart-script: ./start.sh

На серверах на базе Spigot restart-on-crash и restart-script говорят серверу запустить скрипт после остановки watchdog. Это полезно, только если такой скрипт у вас есть; на хостинге с панелью перезапуск при выходе делает сама панель, и стоит проверить, как он настроен, прежде чем полагаться на что-то из этого. Правки spigot.yml и server.properties требуют полного перезапуска, а не перезагрузки. Формат файлов и полный список ключей - в разборе server.properties.

Разбор на примере#

Сервер работает на Paper примерно с двадцатью плагинами, среди них плагин экономики, хранящий балансы в удалённой базе MySQL. Каждые несколько дней, в случайный час, консоль печатает сообщение vanilla, и процесс останавливается. Никто не может зайти в мир, пока его не запустят снова.

После перезапуска админ открывает logs/latest.log и находит dump. Server thread стоит в socketRead0, вызванный из обработчика входа плагина экономики. Он проверяет хост базы: мониторинг провайдера показывает 70-секундный перерыв в ту же минуту. Причина ясна - плагин блокирует основной поток запросом, когда игрок заходит, а база была недоступна.

Он делает три вещи. Обновляет плагин экономики; в списке изменений новой версии упомянут вынос загрузки баланса из основного потока. Ставит в конфигурации плагина таймаут соединения в пять секунд. И оставляет max-tick-time по умолчанию, чтобы будущее зависание по-прежнему заканчивалось перезапуском, а не замёрзшим миром. Через неделю следующий перерыв базы даёт в логе несколько предупреждений и у некоторых игроков отложенный баланс, а сервер остаётся в работе.

Обратите внимание, чего админ не делал. Он не добавлял RAM, не менял версию Java и не снижал дальность прорисовки; ничто из этого не могло помочь, потому что dump указывал на чтение сокета. Десять минут с dump заменили дни догадок.

Как это устроено на RE:NODE#

На сервере Minecraft от RE:NODE работает Paper с подходящей версией Java. Большая часть нужного этой статье уже есть на экранах: вкладка Console показывает неотфильтрованный вывод в реальном времени, так что thread dump виден сразу, как только напечатан; файловый менеджер открывает server.properties, spigot.yml и crash-reports/ для правки и скачивания; вкладка Startup хранит переменные сервера. Тарифы начинаются от $5 в месяц с 2 GB, а память - жёсткий лимит: при его достижении ядро останавливает контейнер, и он чисто перезапускается, а не уходит в swap. Для этого краха это важно, ведь куча Java, заданная слишком близко к памяти тарифа, - один из способов получить описанную выше остановку на уровне машины. Оставляйте запас между кучей и памятью тарифа.

Остановка watchdog завершает процесс, а обнаружение падений в панели каждые две минуты проверяет сервер, ушедший офлайн или у которого uptime пошёл назад. Перезапуски, которые вы запросили сами, не считаются; три падения за час вызывают предупреждение на странице сервера и автоматический тикет. Если сервер падает снова и снова, прочитайте dump до третьего раза. Контролируемый ежедневный перезапуск и бэкап можно автоматизировать на вкладке Schedules, и он сбросит медленный рост памяти до того, как тот обернётся долгой паузой сборки мусора; настройка описана в плановых перезапусках и автоматических бэкапах. Делайте бэкап перед правкой конфигурации или удалением плагина и храните проверенную копию; как это сделать, рассказывает бэкап и восстановление мира.

Чек-лист на следующий раз#

  1. Пока не меняйте настройки. Скопируйте logs/latest.log и новейший файл в crash-reports/ в безопасное место.
  2. Найдите стек Server thread и читайте вниз до первого кадра плагина или датапака.
  3. Классифицируйте: сеть или база, взаимная блокировка, работа со структурами или чанками, диск или только кадры vanilla.
  4. Проверьте внешний мир: были ли база, API или диск здоровы в ту минуту?
  5. Обновите, перенастройте или удалите плагин, названный в стеке. Меняйте что-то одно за раз.
  6. Если ясного стека нет, запустите /spark tickmonitor --threshold-tick 1000 и профиль в часы нагрузки.
  7. Оставьте watchdog включённым. Увеличивайте лимит только для известной ограниченной задачи и верните обратно.
  8. После смены плагина пройдите порядок из статьи об обновлении плагинов на живом сервере: сначала бэкап, одно изменение, наблюдение за консолью.

FAQ#

Что означает «A single server tick took 60.00 seconds (should be max 0.05)»?

Основной поток сервера потратил 60 секунд на один тик, и поток watchdog решил, что сервер завис, и остановил его. Здоровый тик занимает не более 0,05 секунды. Число 60.00 - это настроенный лимит, по умолчанию max-tick-time в server.properties, а не обязательно время, которое тик занял бы на самом деле.

Потеряю ли я мир, когда watchdog остановит сервер?

Обычно немногое, но недавний прогресс потерять можно. Процесс останавливается принудительно, так что последние несохранённые изменения могут не записаться. Риск повреждения выше, если краш случился во время сохранения. Если после этого вы видите ошибки чанков, восстановите мир из бэкапа.

Хорошее ли решение - поставить max-tick-time в -1?

Нет. Это отключает watchdog vanilla, так что сообщение о краше пропадает, а зависание остаётся, и настоящее зависание никогда не восстановится само. Используйте это лишь временно, для известной долгой задачи.

Это то же самое, что «Can't keep up! Is the server overloaded?»

Нет. То сообщение означает, что тики медленные, но завершаются. Это означает, что тик не завершался целую минуту. Причина может быть общей, например тяжёлый плагин, но 60-секундный тик почти всегда указывает на что-то блокирующее или застрявшее, а не на обычную нагрузку.

Почему это происходит в случайное время?

Потому что триггер обычно вне вашего сервера: база, которая встала, API, не уложившийся в таймаут, диск, который замер, или действие игрока, запускающее редкий поиск. Посмотрите, что ещё происходило в ту минуту.

Может ли причиной быть мод или плагин, которого нет в dump?

Да. Поток сервера показывает, чем он был занят в момент срабатывания watchdog, а взаимная блокировка или остановка из-за памяти могут оставить его в постороннем методе. Проверьте остальные потоки в dump, использование памяти и журнал сборки мусора, прежде чем исключать плагин.

Это было полезно?