One place for hosting & domains

      для

      Использование Journalctl для просмотра журналов Systemd и выполнения операций с ними


      Введение

      Некоторые из наиболее привлекательных преимуществ systemd связаны с ведением журналов процессов и системных событий. При использовании других систем журналы обычно распределяются по разным местам, обрабатываются различными демонами и инструментами, и их бывает сложно интерпретировать, когда они работают с несколькими приложениями. Systemd пытается устранить эти сложности, предоставляя решение централизованного управления для регистрации всех процессов ядра и пользовательской области. Система, собирающая эти журналы и управляющая ими, называется журнальной системой.

      Журнальная система реализована в форме демона journald, который обрабатывает все сообщения ядра, initrd, служб и т. д. В этом учебном руководстве мы покажем, как использовать утилиту journalctl для доступа данными в журнале и управления этими данными.

      Общая идея

      Одна из целей журнальной системы systemd заключается в централизации управления журналами вне зависимости от источника сообщений. Поскольку существенная часть процесса загрузки и управления службами выполняется процессом systemd, имеет смысл стандартизировать сбор данных для журналов и доступ к ним. Демон journald собирает данные из всех доступных источников и сохраняет их в двоичном формате для удобного и динамичного управления ими.

      Это дает нам ряд существенных преимуществ. Взаимодействуя с данными через одну утилиту, администраторы могут динамически выводить данные журнала в соответствии с их потребностями. Это могут быть как простые задачи, такие как просмотр данных предыдущей загрузки системы, так и более сложные задачи, например, комбинирование записей журналов двух связанных служб для устранения коммуникационной проблемы.

      Хранение данных журнала в двоичном формате также означает, что данные можно отображать в произвольном виде в зависимости от того, что требуется в текущий момент. Например, для каждодневного управления журналами вы можете использовать стандартный формат syslog, но если вы захотите составить график перебоев в работе служб, вы можете вывести все записи в формате объектов JSON для экспорта в приложение составления графиков. Поскольку данные не записываются на диск в формате обычного текста, их не нужно будет конвертировать, если вам потребуется другой формат вывода.

      Журнальную систему systemd можно использовать вместе с существующей реализацией syslog, или в качестве функциональной замены syslog, если вам это потребуется. Хотя журнальная система systemd способна удовлетворить большинство потребностей администратора, ее также можно использовать в качестве дополнения к существующим механизмам ведения журнала. Например, вы можете использовать централизованный сервер syslog для компиляции данных с нескольких серверов, но при этом также чередовать журналы нескольких служб одной системы с журналом systemd. Объединив эти технологии, вы можете выполнить обе задачи.

      Настройка времени системы

      Одно из преимуществ использования двоичного журнала заключается в возможности просмотра записей журнала как с локальным временем, так и с временем по Гринвичу (UTC). По умолчанию systemd использует для отображения результатов локальное время.

      В связи с этим, прежде чем мы начнем работу с журналом, нам нужно будет убедиться, что часовой пояс настроен правильно. Пакет systemd включает инструмент timedatectl, который может помочь с этой задачей.

      Прежде всего, нужно использовать опцию list-timezones для просмотра доступных часовых поясов:

      timedatectl list-timezones
      

      Эта опция выводит список часовых поясов, доступных в вашей системе. Когда вы найдете часовой пояс, соответствующий расположению вашего сервера, вы сможете установить его с помощью опцииset-timezone:

      sudo timedatectl set-timezone zone
      

      Чтобы убедиться, что ваша система использует правильное время, воспользуйтесь командой timedatectl без опций или с опцией status. Изображение на экране будет таким же:

      timedatectl status
      
            Local time: Thu 2015-02-05 14:08:06 EST
        Universal time: Thu 2015-02-05 19:08:06 UTC
              RTC time: Thu 2015-02-05 19:08:06
             Time zone: America/New_York (EST, -0500)
           NTP enabled: no
      NTP synchronized: no
       RTC in local TZ: no
            DST active: n/a
      

      В первой строке должно отображаться правильное время.

      Основы просмотра журнала

      Чтобы просмотреть журналы, собранные демоном journald, используйте команду journalctl.

      Когда эта команда используется отдельно, все записи журналов в системе будут выведены в многостраничном списке (обычно занимает меньше страницы), который вы сможете просматривать. Самые старые записи будут отображаться сверху:

      journalctl
      
      -- Logs begin at Tue 2015-02-03 21:48:52 UTC, end at Tue 2015-02-03 22:29:38 UTC. --
      Feb 03 21:48:52 localhost.localdomain systemd-journal[243]: Runtime journal is using 6.2M (max allowed 49.
      Feb 03 21:48:52 localhost.localdomain systemd-journal[243]: Runtime journal is using 6.2M (max allowed 49.
      Feb 03 21:48:52 localhost.localdomain systemd-journald[139]: Received SIGTERM from PID 1 (systemd).
      Feb 03 21:48:52 localhost.localdomain kernel: audit: type=1404 audit(1423000132.274:2): enforcing=1 old_en
      Feb 03 21:48:52 localhost.localdomain kernel: SELinux: 2048 avtab hash slots, 104131 rules.
      Feb 03 21:48:52 localhost.localdomain kernel: SELinux: 2048 avtab hash slots, 104131 rules.
      Feb 03 21:48:52 localhost.localdomain kernel: input: ImExPS/2 Generic Explorer Mouse as /devices/platform/
      Feb 03 21:48:52 localhost.localdomain kernel: SELinux:  8 users, 102 roles, 4976 types, 294 bools, 1 sens,
      Feb 03 21:48:52 localhost.localdomain kernel: SELinux:  83 classes, 104131 rules
      
      . . .
      

      Вероятно у вас будет возможность прокрутки множества страниц данных, включая даже десятки тысяч строк, если systemd используется в вашей системе уже давно. Это показывает, сколько данных доступно в базе данных журнала.

      Данный формат будет знаком тем, кто привык к стандартным журналам syslog. Однако при этом способе данные собираются из большего числа источников, чем поддерживают стандартные приложения syslog. Журнальная система поддерживает журналы процесса начальной загрузки, ядра, initrd, стандартные журналы ошибок и вывода приложений и т. д.

      Обратите внимание, что для всех временных меток используется локальное время. Эта возможность теперь доступна для всех записей журнала, потому что мы правильно настроили локальное время в нашей системе. Все журналы отображаются с использованием этой новой информации.

      Если вы хотите вывести временные метки в формате UTC, вы можете использовать флаг --utc:

      journalctl --utc
      

      Фильтрация журнала по времени

      Хотя доступ к такому большому набору данных несомненно полезен, просмотреть и понять такое количество информации может быть очень сложно или даже невозможно. Поэтому опции фильтрации входят в число наиболее значимых возможностей journalctl.

      Вывод журналов текущей загрузки

      Флаг -b — одна из самых простых опций, которой вы часто будете пользоваться. С его помощью вы сможете вывести для просмотра все записи журнала, собранные с момента последней перезагрузки.

      journalctl -b
      

      Это поможет вам определять, какая информация важна для текущей среды, и управлять этой информацией.

      Если вы не используете эту функцию и выводите данные более, чем за один день загрузок, вы увидите, что утилита journalctl вставляет примерно такую строку при каждом выключении системы:

      . . .
      
      -- Reboot --
      
      . . .
      

      Ее можно использовать в качестве логического разделителя информации между сеансами загрузки.

      Прошлые загрузки

      Хотя чаще всего вам будут нужны данные по текущему сеансу загрузки системы, данные по прошлым сеансам также могут оказаться полезными. Журнальная система может хранить данные множества сеансов загрузки, так что journalctl можно использовать для удобного вывода информации.

      В некоторых дистрибутивах информация о предыдущих сеансах загрузки сохраняется по умолчанию, а в других эта возможность отключена. Чтобы информация о сеансах загрузки не удалялась, вы можете создать каталог для хранения журналов с помощью следующей команды:

      • sudo mkdir -p /var/log/journal

      Также вы можете отредактировать файл конфигурации журнальной системы:

      • sudo nano /etc/systemd/journald.conf

      В разделе [Journal] установите для опции Storage= значение persistent, чтобы включить постоянное хранение журналов:

      /etc/systemd/journald.conf

      . . .
      [Journal]
      Storage=persistent
      

      Если на вашем сервере включено хранение журналов предыдущих сеансов загрузки, утилита journalctl предоставит ряд команд, которые помогут работать с сеансами загрузки как с единицами хранения. Чтобы просмотреть сеансы загрузки, о которых известно journald, используйте опцию --list-boots с командой journalctl:

      journalctl --list-boots
      
      -2 caf0524a1d394ce0bdbcff75b94444fe Tue 2015-02-03 21:48:52 UTC—Tue 2015-02-03 22:17:00 UTC
      -1 13883d180dc0420db0abcb5fa26d6198 Tue 2015-02-03 22:17:03 UTC—Tue 2015-02-03 22:19:08 UTC
       0 bed718b17a73415fade0e4e7f4bea609 Tue 2015-02-03 22:19:12 UTC—Tue 2015-02-03 23:01:01 UTC
      

      С этой опцией команда будет выводить по одной строке для каждого сеанса загрузки. Первый столбец — это относительный идентификатор сеанса загрузки, который удобно использовать для ссылки на сеанс загрузки с помощью journalctl. Если вам требуется абсолютный идентификатор, используйте значение boot ID во втором столбце. Два поля времени ближе к концу строки позволяют определить время сеанса загрузки.

      Чтобы вывести информацию из этих сеансов загрузки, вы можете использовать информацию из первого или второго столбца.

      Например, чтобы просмотреть журнал предыдущей загрузки, используйте относительный указатель -1 с флагом -b:

      journalctl -b -1
      

      Также вы можете использовать идентификатор сеанса загрузки для получения данных по сеансу загрузки:

      journalctl -b caf0524a1d394ce0bdbcff75b94444fe
      

      Временные окна

      Хотя возможность сортировки записей журнала по сеансам загрузки очень полезна, довольно часто вам могут потребоваться данные за периоды, не соответствующие сеансам загрузки системы. Это может быть особенно актуально для серверов, которые долгое время работают без перезагрузки.

      Для фильтрации временных окон можно использовать опции --since и --until, которые ограничивают вывод записями после или до указанного времени соответственно.

      Значения времени могут иметь разные форматы. Для абсолютных значений времени нужно использовать следующий формат:

      YYYY-MM-DD HH:MM:SS
      

      Например, чтобы просмотреть все записи с 10 января 2015 г. 17:15, мы введем:

      journalctl --since "2015-01-10 17:15:00"
      

      Если какие-то компоненты вышеописанного формата будут пропущены, будут применены значения по умолчанию. Например, если дата не будет указана, по умолчанию будет использоваться текущая дата. Если компонент времени отсутствует, для замены будет использоваться значение “00:00:00” (полночь). Поле секунд можно опустить, и тогда для него будет по умолчанию использовано значение “00”:

      journalctl --since "2015-01-10" --until "2015-01-11 03:00"
      

      Журнальная система также понимает определенные относительные значения и именованные ярлыки. Например, вы можете использовать слова “yesterday” (вчера), “today” (сегодня), “tomorrow”(завтра), “now” (сейчас) и т. д. Чтобы указать относительное время, следует использовать префикс «-» или «+» перед числовым значением или использовать такие слова, как «ago» (назад) при построении фраз.

      Чтобы получить данные за вчерашний день, введите:

      journalctl --since yesterday
      

      Если вы получили отчеты о перебоях в работе службы, которые начались в 9:00 и закончились час назад, вы можете ввести следующую команду:

      journalctl --since 09:00 --until "1 hour ago"
      

      Как видите, вы можете достаточно легко задавать гибкие временные интервалы для фильтрации записей, которые вам нужны.

      Фильтрация по значимости сообщений

      Мы изучили несколько возможных способов фильтрации записей в журнальной системе по временным рамкам. В этом разделе мы поговорим о фильтрации сообщений по значимым для вас службам или компонентам. Журнал systemd предоставляет много разных способов делать это.

      По единицам

      Возможно одним из наиболее полезных способов фильтрации является фильтрация по единицам, которые вас интересуют. Для такой фильтрации мы можем использовать опцию -u.

      Например, чтобы посмотреть все журналы единицы Nginx в нашей системе, мы можем ввести команду:

      journalctl -u nginx.service
      

      Обычно при этом также используется фильтрация по времени, чтобы вывести строки, которые вас интересуют. Например, чтобы проверить, как служба работает сегодня, можно ввести команду:

      journalctl -u nginx.service --since today
      

      Такая фокусировка особенно полезна, если вы используете возможности чередования записей разных единиц в журнальной системе. Например, если ваш процесс Nginx использует единицу PHP-FPM для обработки динамического контента, вы можете объединить их данные в хронологическом порядке, указав обе единицы:

      journalctl -u nginx.service -u php-fpm.service --since today
      

      Это облегчает поиск взаимодействия между разными программами, позволяя отлаживать целые системы вместо отдельных процессов.

      По процессу, пользователю или идентификатору группы

      Некоторые службы создают для своей работы множество разнообразных дочерних процессов. Если вы определили точное значение PID интересующего вас процесса, вы можете использовать его как критерий фильтрации.

      Для этого нужно указать при фильтрации поле _PID. Например, если нас интересует PID 8088, мы можем ввести:

      journalctl _PID=8088
      

      В других случаях нам может понадобиться вывести все записи, зарегистрированные для определенного пользователя или группы. Это можно сделать с помощью фильтров _UID или _GID. Например, если ваш веб-сервер работает под именем пользователя www-data, вы можете найти идентификатор пользователя с помощью следующей команды:

      id -u www-data
      
      33
      

      После этого, вы сможете использовать возвращенный идентификатор для фильтрации результатов журнальной системы:

      journalctl _UID=33 --since today
      

      Журнал systemd содержит множество полей, которые можно использовать для фильтрации. Некоторые из них передаются от регистрируемого процесса и применяются journald с использованием информации, собираемой из системы в указанное в журнале время.

      Символ подчеркивания в начале указывает, что поле _PID относится к последнему типу. Журнал автоматически регистрирует и индексирует значения PID процессов, регистрируемых для последующей фильтрации. Вы можете узнать все о доступных полях журнала, используя следующую команду:

      man systemd.journal-fields
      

      В этом руководстве мы обсудим это более подробно. Сейчас же мы рассмотрим более полезную опцию, связанную с фильтрацией по этим полям. Опцию -F можно использовать, чтобы вывести все доступные значения для указанного поля журнальной системы.

      Например, чтобы посмотреть, для каких идентификаторов групп существуют записи в журнальной системе systemd, вы можете ввести следующую команду:

      journalctl -F _GID
      
      32
      99
      102
      133
      81
      84
      100
      0
      124
      87
      

      Она покажет вам все значения, сохраненные в журнальной системе для поля group ID. Это должно помочь вам в настройке фильтров.

      По пути компонента

      Также для фильтрации можно указать путь.

      Если путь указывает на исполняемый файл, journalctl выведет все записи, связанные с этим исполняемым файлом. Например, чтобы найти записи с исполняемым файлом bash, нужно ввести команду:

      journalctl /usr/bin/bash
      

      Обычно, если единица доступна для исполняемого файла, этот метод проще и удобнее и дает более полезную информацию (записи связанных дочерних процессов и т. д.). В некоторых случаях это невозможно.

      Отображение сообщений ядра

      Также из журнальной системы можно получить сообщения ядра, обычно содержащиеся в выводе dmesg.

      Чтобы вывести только эти сообщения, можно добавить к команде флаг -k или --dmesg:

      journalctl -k
      

      По умолчанию отображаются только сообщения ядра из текущего сеанса загрузки. При этом вы можете указать другой сеанс загрузки, используя описанные выше флаги выбора загрузки. Например, чтобы получить сообщения пятого по счету сеанса загрузки, начиная с текущего, можно ввести команду:

      journalctl -k -b -5
      

      По приоритету

      Приоритет сообщений — один из тех критериев фильтрации, которые больше всего интересны системным администраторам. Хотя регистрация в журнале развернутой информации обычно полезна, при чтении этой информации записи с низким приоритетом могут отвлечь или запутать.

      Вы можете использовать journalctl с опцией -p, чтобы вывести только сообщения с указанным или более высоким приоритетом. Это позволяет убрать из выводимых результатов сообщения с более низким приоритетом.

      Например, чтобы вывести только записи с уровнем серьезности error (ошибка) или выше, введите команду:

      journalctl -p err -b
      

      Эта команда покажет вам все сообщения с пометкой error (ошибка), critical (критическая ошибка), alert (тревога) или emergency (чрезвычайная ситуация). В журнальной системе реализованы стандартные уровни ошибок syslog. Вы можете использовать название уровня приоритета или соответствующее числовое значение. Вот эти значения, от наибольшего приоритета к наименьшему:

      • 0: emerg
      • 1: alert
      • 2: crit
      • 3: err
      • 4: warning
      • 5: notice
      • 6: info
      • 7: debug

      Вышеуказанные числа или названия можно использовать с опцией -p как взаимозаменяемые. При выборе приоритета будут выведены сообщения указанного уровня и более высоких уровней.

      Изменение отображения журнальной системы

      Выше мы продемонстрировали выбор записей посредством фильтрации. Однако есть и другие способы, позволяющие изменить вывод. Мы можем настраивать отображение journalctl для различных целей.

      Сокращение или расширение области вывода

      Мы можем настроить вид вывода данных journalctl, указав, что вывод можно сжать или раскрыть.

      По умолчанию journalctl выводит на страничном модуле всю запись целиком так, что записи доходят до правого края экрана. Для доступа к этой информации следует нажать правую стрелку.

      Если вы предпочитаете урезать вывод и вставить многоточие в месте, где удалена информация, вы можете использовать опцию --no-full:

      journalctl --no-full
      
      . . .
      
      Feb 04 20:54:13 journalme sshd[937]: Failed password for root from 83.234.207.60...h2
      Feb 04 20:54:13 journalme sshd[937]: Connection closed by 83.234.207.60 [preauth]
      Feb 04 20:54:13 journalme sshd[937]: PAM 2 more authentication failures; logname...ot
      

      Также вы можете сделать и обратное, и попросить journalctl вывести всю доступную информацию вне зависимости от того, содержит ли она непечатные символы. Для этого можно использовать флаг -a:

      journalctl -a
      

      Вывод в стандартный выход

      По умолчанию journalctl показывает вывод на многостраничной панели, чтобы упростить чтение информации. Однако, если вы планируете обработать данные в текстовом редакторе, вероятно для вас будет более предпочтительным стандартный вывод.

      Для такого вывода следует использовать опцию --no-pager:

      journalctl --no-pager
      

      Полученные данные можно немедленно передать в утилиту обработки или сохранить в файле на диске в зависимости от того, что вам требуется.

      Форматы вывода

      Если вы обрабатываете записи журнала, как указано выше, вам вероятно будет проще анализировать данные в более удобном формате. К счастью, журнал можно выводить в множестве разных форматов. Для этого вы можете использовать опцию -o вместе с указателем формата.

      Например, чтобы вывести журнала в формате JSON, нужно ввести следующую команду:

      journalctl -b -u nginx -o json
      
      { "__CURSOR" : "s=13a21661cf4948289c63075db6c25c00;i=116f1;b=81b58db8fd9046ab9f847ddb82a2fa2d;m=19f0daa;t=50e33c33587ae;x=e307daadb4858635", "__REALTIME_TIMESTAMP" : "1422990364739502", "__MONOTONIC_TIMESTAMP" : "27200938", "_BOOT_ID" : "81b58db8fd9046ab9f847ddb82a2fa2d", "PRIORITY" : "6", "_UID" : "0", "_GID" : "0", "_CAP_EFFECTIVE" : "3fffffffff", "_MACHINE_ID" : "752737531a9d1a9c1e3cb52a4ab967ee", "_HOSTNAME" : "desktop", "SYSLOG_FACILITY" : "3", "CODE_FILE" : "src/core/unit.c", "CODE_LINE" : "1402", "CODE_FUNCTION" : "unit_status_log_starting_stopping_reloading", "SYSLOG_IDENTIFIER" : "systemd", "MESSAGE_ID" : "7d4958e842da4a758f6c1cdc7b36dcc5", "_TRANSPORT" : "journal", "_PID" : "1", "_COMM" : "systemd", "_EXE" : "/usr/lib/systemd/systemd", "_CMDLINE" : "/usr/lib/systemd/systemd", "_SYSTEMD_CGROUP" : "/", "UNIT" : "nginx.service", "MESSAGE" : "Starting A high performance web server and a reverse proxy server...", "_SOURCE_REALTIME_TIMESTAMP" : "1422990364737973" }
      
      . . .
      

      Это полезно, если вы используете утилиты для синтаксического анализа. Вы можете использовать формат json-pretty, чтобы сделать структуру данных проще, прежде чем передавать данные потребителю JSON:

      journalctl -b -u nginx -o json-pretty
      
      {
          "__CURSOR" : "s=13a21661cf4948289c63075db6c25c00;i=116f1;b=81b58db8fd9046ab9f847ddb82a2fa2d;m=19f0daa;t=50e33c33587ae;x=e307daadb4858635",
          "__REALTIME_TIMESTAMP" : "1422990364739502",
          "__MONOTONIC_TIMESTAMP" : "27200938",
          "_BOOT_ID" : "81b58db8fd9046ab9f847ddb82a2fa2d",
          "PRIORITY" : "6",
          "_UID" : "0",
          "_GID" : "0",
          "_CAP_EFFECTIVE" : "3fffffffff",
          "_MACHINE_ID" : "752737531a9d1a9c1e3cb52a4ab967ee",
          "_HOSTNAME" : "desktop",
          "SYSLOG_FACILITY" : "3",
          "CODE_FILE" : "src/core/unit.c",
          "CODE_LINE" : "1402",
          "CODE_FUNCTION" : "unit_status_log_starting_stopping_reloading",
          "SYSLOG_IDENTIFIER" : "systemd",
          "MESSAGE_ID" : "7d4958e842da4a758f6c1cdc7b36dcc5",
          "_TRANSPORT" : "journal",
          "_PID" : "1",
          "_COMM" : "systemd",
          "_EXE" : "/usr/lib/systemd/systemd",
          "_CMDLINE" : "/usr/lib/systemd/systemd",
          "_SYSTEMD_CGROUP" : "/",
          "UNIT" : "nginx.service",
          "MESSAGE" : "Starting A high performance web server and a reverse proxy server...",
          "_SOURCE_REALTIME_TIMESTAMP" : "1422990364737973"
      }
      
      . . .
      

      Для отображения можно использовать следующие форматы:

      • cat: отображает только само поле сообщения.
      • export: двоичный формат, подходящий для передачи или резервного копирования.
      • json: стандартный формат JSON с одной записью на строку.
      • json-pretty: код JSON в формате, более удобном для чтения человеком
      • json-sse: вывод в формате JSON в оболочке, совместимой с операцией add server-sent event
      • short: вывод в формате syslog по умолчанию
      • short-iso: формат по умолчанию, дополненный для отображения временных меток часов ISO 8601.
      • short-monotonic: формат по умолчанию с однотонными временными метками.
      • short-precise: формат по умолчанию с точностью до микросекунд
      • verbose: показывает все поля журнальной системы, доступные для ввода, в том числе те, которые обычно скрыты на внутреннем уровне.

      Эти опции позволяют выводить записи журнала в любом формате, который лучше всего соответствует вашим текущим потребностям.

      Мониторинг активных процессов

      Команда journalctl имитирует, сколько администраторов используют tail для мониторинга активных процессов или недавней активности. Эта функция встроена в journalctl, обеспечивая доступ к этим возможностям без подключения другого инструмента.

      Отображение последних журналов

      Чтобы вывести указанное количество записей, вы можете использовать опцию -n, которая работает как tail -n.

      По умолчанию отображается 10 последних записей:

      journalctl -n
      

      Вы можете указать желаемое количество записей, задав число после -n:

      journalctl -n 20
      

      Наблюдение за журналами

      Для активного наблюдения за журналами по мере их пополнения можно использовать флаг -f. Это будет работать именно так, как можно ожидать, если у вас есть опыт использования tail -f:

      journalctl -f
      

      Обслуживание журналов

      Вам может быть интересно, сколько места занимают все эти данные, которые мы уже видели. Более того, вы можете захотеть удалить какие-либо старые журналы и освободить место.

      Определение текущего использования дискового пространства

      Вы можете определить, сколько места занимает журнал на диске, используя флаг --disk-usage:

      journalctl --disk-usage
      
      Journals take up 8.0M on disk.
      

      Удаление старых журналов

      Если вы хотите сократить размер журнала, вы можете использовать для этого два разных способа (доступных в systemd версии 218 или выше).

      Если вы используете опцию --vacuum-size, вы можете сократить журнал, указав размер. При использовании этой опции старые записи будут удаляться, пока занимаемое журнальной системой место на диске не сократится до требуемого размера:

      sudo journalctl --vacuum-size=1G
      

      Также можно сократить размер журнала, указав время отсечки с помощью --vacuum-time. Любые записи вне этого времени удаляются. Эта опция позволяет сохранить записи, созданные после истечения определенного времени.

      Например, чтобы сохранить записи с прошлого года, вы можете ввести:

      sudo journalctl --vacuum-time=1years
      

      Ограничение расширения журналов

      Вы можете настроить свой сервер так, чтобы ограничить место, занимаемое журнальной системой. Для этого следует отредактировать файл /etc/systemd/journald.conf.

      Для ограничения роста занимаемого журнальной системой объема можно использовать следующие элементы:

      • SystemMaxUse=: указывает максимальное пространство на диске, которое может использоваться журнальной системой.
      • SystemKeepFree=: указывает пространство на диске, которое журнальная система должна оставлять свободным при добавлении записей в журналы.
      • SystemMaxFileSize=: определяет, до какого размера могут увеличиваться большие файлы журнала на диске до ротации.
      • RuntimeMaxUse=: указывает, сколько места на диске может использоваться для временного хранения (в /run filesystem).
      • RuntimeKeepFree=: указывает, сколько места на диске следует оставлять на диске для других целей при записи данных во временное хранилище (в файловой системе /run).
      • RuntimeMaxFileSize=: указывает, сколько места может занимать отдельный файл журнала во временном хранилище (в файловой системе /run) до ротации.

      Задавая эти значения, вы можете контролировать, сколько места на вашем сервере использует journald. Помните, что SystemMaxFileSize и RuntimeMaxFileSize будут применяться к архивным файлам для достижения заданных ограничений. Это важно помнить при интерпретации подсчета файлов после операции вакуумной очистки.

      Заключение

      Как видите, журнальная система systemd очень полезна для сбора данных о вашей системе и приложениях и для управления этими данными. Гибкость в основном обеспечивается за счет автоматической регистрации большого количества метаданных и централизованной структуры журналов. Команда journalctl позволяет легко использовать расширенные функции журнальной системы и проводить расширенный анализ и реляционную отладку разных компонентов приложения.



      Source link

      Использование JavaScript Fetch API для получения данных


      Введение

      Было время, когда для запросов API использовался XMLHttpRequest. В нем не было промисов, и он не позволял создавать чистый код JavaScript. В jQuery мы использовали более чистый синтаксис с jQuery.ajax().

      Сейчас JavaScript имеется собственный встроенный способ отправки запросов API. Это Fetch API, новый стандарт создания серверных запросов с промисами, также включающий много других возможностей.

      В этом учебном модуле мы создадим запросы GET и POST, используя Fetch API.

      Предварительные требования

      Для этого обучающего модуля вам потребуется следующее:

      Шаг 1 — Введение в синтаксис Fetch API

      Чтобы использовать Fetch API, вызовите метод fetch, который принимает URL API в качестве параметра:

      fetch(url)
      

      После метода fetch() нужно включить метод промиса then():

      .then(function() {
      
      })
      

      Метод fetch() возвращает промис. Если возвращается промис resolve, будет выполнена функция метода then(). Эта функция содержит код для обработки данных, получаемых от API.

      Под методом then() следует включить метод catch():

      .catch(function() {
      
      });
      

      API, вызываемый с помощью метода fetch(), может не работать или на нем могут возникнуть ошибки. Если это произойдет, будет возвращен промис reject. Метод catch используется для обработки reject. Код метода catch() выполняется в случае возникновения ошибки при вызове выбранного API.

      В целом, использование Fetch API выглядит следующим образом:

      fetch(url)
      .then(function() {
      
      })
      .catch(function() {
      
      });
      

      Теперь мы понимаем синтаксис использования Fetch API и можем переходить к использованию fetch() с реальным API.

      Шаг 2 — Использование Fetch для получения данных от API

      Следующие примеры кода основаны на Random User API. Используя API, вы получаете десять пользователей и выводите их на странице, используя Vanilla JavaScript.

      Идея заключается в том, чтобы получить все данные от Random User API и вывести их в элементах списка внутри списка автора. Для начала следует создать файл HTML и добавить в него заголовок и неупорядоченный список с идентификатором authors:

      <h1>Authors</h1>
      <ul id="authors"></ul>
      

      Теперь добавьте теги script в конец файла HTML и используйте селектор DOM для получения ul. Используйте getElementById с аргументом authors. Помните, что authors — это идентификатор ранее созданного ul:

      <script>
      
          const ul = document.getElementById('authors');
      
      </script>
      

      Создайте постоянную переменную url, в которой будет храниться URL-адрес API, который вернет десять случайных пользователей:

      const url="https://randomuser.me/api/?results=10";
      

      Теперь у нас есть ul и url, и мы можем создать функции, которые будут использоваться для создания элементов списка. Создайте функцию под названием createNode, принимающую параметр с именем element:

      function createNode(element) {
      
      }
      

      Впоследствии, при вызове createNode, вам нужно будет передать имя создаваемого элемента HTML.

      Добавьте в функцию выражение return, возвращающее element, с помощью document.createElement():

      function createNode(element) {
          return document.createElement(element);
      }
      

      Также вам нужно будет создать функцию с именем append, которая принимает два параметра: parent и el:

      function append(parent, el) {
      
      }
      

      Эта функция будет добавлять el к parent, используя document.createElement:

      function append(parent, el) {
          return parent.appendChild(el);
      }
      

      Теперь и createNode, и append готовы к использованию. Используя Fetch API, вызовите Random User API, добавив к fetch() аргумент url:

      fetch(url)
      
      fetch(url)
        .then(function(data) {
      
          })
        })
        .catch(function(error) {
      
        });
      

      В вышеуказанном коде вы вызываете Fetch API и передаете URL в Random User API. После этого поступает ответ. Однако ответ вы получите не в формате JSON, а в виде объекта с серией методов, которые можно использовать в зависимости от того, что вы хотите делать с информацией. Чтобы конвертировать возвращаемый объект в формат JSON, используйте метод json().

      Добавьте метод then(), содержащий функцию с параметром resp:

      fetch(url)
      .then((resp) => )
      

      Параметр resp принимает значение объекта, возвращаемого fetch(url). Используйте метод json(), чтобы конвертировать resp в данные JSON:

      fetch(url)
      .then((resp) => resp.json())
      

      При этом данные JSON все равно необходимо обработать. Добавьте еще одно выражение then() с функцией, имеющей аргумент с именем data:

      .then(function(data) {
      
          })
      })
      

      Создайте в этой функции переменную с именем authors, принимающую значение data.results:

      .then(function(data) {
          let authors = data.results;
      

      Для каждого автора в переменной authors нам нужно создать элемент списка, выводящий портрет и имя автора. Для этого отлично подходит метод map():

      let authors = data.results;
      return authors.map(function(author) {
      
      })
      

      Создайте в функции map переменную li, которая будет равна createNode с li (элемент HTML) в качестве аргумента:

      return authors.map(function(author) {
          let li = createNode('li');
      })
      

      Повторите эту процедуру, чтобы создать элемент span и элемент img:

      let li = createNode('li');
      let img = createNode('img');
      let span = createNode('span');
      

      Предлагает имя автора и портрет, идущий вместе с именем. Установите в img.src портрет автора:

      let img = createNode('img');
      let span = createNode('span');
      
      img.src = author.picture.medium;
      

      Элемент span должен содержать имя и фамилию автора. Для этого можно использовать свойство innerHTML и интерполяцию строк:

      img.src = author.picture.medium;
      span.innerHTML = `${author.name.first} ${author.name.last}`;
      

      Когда изображение и элемент списка созданы вместе с элементом span, вы можете использовать функцию append, которую мы ранее добавили для отображения этих элементов на странице:

      append(li, img);
      append(li, span);
      append(ul, li);
      

      Выполнив обе функции then(), вы сможете добавить функцию catch(). Эта функция поможет зарегистрировать потенциальную ошибку на консоли:

      .catch(function(error) {
        console.log(error);
      });
      

      Это полный код запроса, который вы создали:

      function createNode(element) {
          return document.createElement(element);
      }
      
      function append(parent, el) {
        return parent.appendChild(el);
      }
      
      const ul = document.getElementById('authors');
      const url="https://randomuser.me/api/?results=10";
      
      fetch(url)
      .then((resp) => resp.json())
      .then(function(data) {
        let authors = data.results;
        return authors.map(function(author) {
          let li = createNode('li');
          let img = createNode('img');
          let span = createNode('span');
          img.src = author.picture.medium;
          span.innerHTML = `${author.name.first} ${author.name.last}`;
          append(li, img);
          append(li, span);
          append(ul, li);
        })
      })
      .catch(function(error) {
        console.log(error);
      });
      

      Вы только что успешно выполнили запрос GET, используя Random User API и Fetch API. На следующем шаге вы научитесь выполнять запросы POST.

      Шаг 3 — Обработка запросов POST

      По умолчанию Fetch использует запросы GET, но вы также можете использовать и все другие типы запросов, изменять заголовки и отправлять данные. Для этого нужно задать объект и передать его как второй аргумент функции fetch.

      Прежде чем создать запрос POST, создайте данные, которые вы хотите отправить в API. Это будет объект с именем data с ключом name и значением Sammy (или вашим именем):

      const url="https://randomuser.me/api";
      
      let data = {
        name: 'Sammy'
      }
      

      Обязательно добавьте постоянную переменную, хранящую ссылку на Random User API.

      Поскольку это запрос POST, ее нужно будет указать явно. Создайте объект с именем fetchData:

      let fetchData = {
      
      }
      

      Этот объект должен содержать три ключа: method, body и headers. Ключ method должен иметь значение 'POST'. Для body следует задать значение только что созданного объекта data. Для headers следует задать значение new Headers():

      let fetchData = {
        method: 'POST',
        body: data,
        headers: new Headers()
      }
      

      Интерфейс Headers является свойством Fetch API, который позволяет выполнять различные действия с заголовками запросов и ответов HTTP. Если вы захотите узнать об этом больше, вы можете найти более подробную информацию в статье под названием Определение маршрутов и методов запросов HTTP в Express.

      С этим кодом можно составлять запросы POST, используя Fetch API. Мы добавим url и fetchData как аргументы запроса fetch POST:

      fetch(url, fetchData)
      

      Функция then() будет включать код, обрабатывающий ответ, получаемый от сервера Random User API:

      fetch(url, fetchData)
      .then(function() {
          // Handle response you get from the server
      });
      

      Есть и другая опция, позволяющая создать объект и использовать функцию fetch(). Вместо того, чтобы создавать такой объект как fetchData, вы можете использовать конструктор запросов для создания объекта запроса. Для этого нужно создать переменную с именем request:

      const url="https://randomuser.me/api";
      
      let data = {
        name: 'Sara'
      }
      
      var request =
      

      Для переменной request следует задать значение new Request. Конструкт new Request принимает два аргумента: URL API (url) и объект. В объекте также должны содержаться ключи method, body и headers, как и в fetchData:

      var request = new Request(url, {
          method: 'POST',
          body: data,
          headers: new Headers()
      });
      

      Теперь request можно использовать как единственный аргумент для fetch(), поскольку он также включает URL-адрес API:

      fetch(request)
      .then(function() {
          // Handle response we get from the API
      })
      

      В целом код будет выглядеть следующим образом:

      const url="https://randomuser.me/api";
      
      let data = {
        name: 'Sara'
      }
      
      var request = new Request(url, {
          method: 'POST',
          body: data,
          headers: new Headers()
      });
      
      fetch(request)
      .then(function() {
          // Handle response we get from the API
      })
      

      Теперь вы знаете два метода создания и выполнения запросов POST с помощью Fetch API.

      Заключение

      Хотя Fetch API поддерживается еще не всеми браузерами, он представляет собой отличную альтернативу XMLHttpRequest. Если вы хотите узнать, как вызывать Web API с помощью React, ознакомьтесь с этой статьей по данной теме.



      Source link

      Использование SSH для подключения к удаленному серверу


      Введение

      Одним из важнейших инструментов в работе системного администратора является SSH.

      SSH, или Secure Shell, — это протокол, используемый для безопасного входа на удаленные системы. Это самый распространенный способ получения доступа к удаленным серверам Linux.

      В этом руководстве мы обсудим, как использовать SSH для подключения к удаленной системе.

      Базовый синтаксис

      Чтобы подключиться к удаленной системе с помощью SSH, мы будем использовать команду ssh. В самом базовом виде команда имеет следующую форму:

      remote_host в этом примере является IP-адресом или доменным именем узла, к которому вы пытаетесь подключиться.

      Эта команда предполагает, что ваше имя пользователя на удаленной системе совпадает с именем пользователя в локальной системе.

      Если ваше локальное имя пользователя отличается от имени пользователя в удаленной системе, вы можете задать его, используя следующий синтаксис:

      • ssh remote_username@remote_host

      После подключения к серверу вам, возможно, потребуется подтвердить вашу личность с помощью пароля. Позже мы рассмотрим, как сгенерировать ключи, которые можно использовать вместо паролей.

      Чтобы завершить сеанс ssh и вернуться в сеанс локальной оболочки, введите следующую команду:

      Как работает SSH?

      SSH выполняет подключение клиентской программы к серверу ssh с именем sshd.

      В предыдущем разделе команда ssh использовалась для вызова клиентской программы. Сервер ssh уже запущен на удаленном хосте remote_host, который мы указали.

      На вашем сервере должен быть запущен сервер sshd. Если это не так, вам может потребоваться подключение к серверу через веб-консоль или локальную последовательную консоль.

      Процесс запуска сервера ssh зависит от дистрибутива Linux, который вы используете.

      В Ubuntu вы можете запустить сервер ssh с помощью следующей команды:

      Эта команда должна запускать сервер sshd, после чего вы сможете выполнять удаленный вход.

      Настройка SSH

      При изменении конфигурации SSH вы меняете настройки сервера sshd.

      В Ubuntu основной файл конфигурации sshd находится в каталоге /etc/ssh/sshd_config.

      Выполните резервное копирование текущей версии этого файла перед началом редактирования:

      • sudo cp /etc/ssh/sshd_config{,.bak}

      Откройте файл в текстовом редакторе:

      • sudo nano /etc/ssh/sshd_config

      Скорее всего, вы захотите оставить большинство опций в этом файле без изменений. Однако существует несколько настроек, на которые вам стоит обратить особое внимание:

      /etc/ssh/sshd_config

      Port 22
      

      Объявление порта указывает, подключения к какому порту будет отслеживать сервер sshd. По умолчанию используется порт 22. Вам, скорее всего, не придется изменять данную настройку, если только у вас нет конкретных причин для иного решения. Если вы решите изменить порт, позже мы покажем, как подключиться к новому порту.

      /etc/ssh/sshd_config

      HostKey /etc/ssh/ssh_host_rsa_key
      HostKey /etc/ssh/ssh_host_dsa_key
      HostKey /etc/ssh/ssh_host_ecdsa_key
      

      В объявлениях ключей хоста указывается, где нужно искать глобальные ключи хоста. Мы обсудим, что такое ключ хоста, позже.

      /etc/ssh/sshd_config

      SyslogFacility AUTH
      LogLevel INFO
      

      Эти две строки указывают на уровень логирования, который необходимо использовать.

      Если вы сталкиваетесь с проблемами при работе с SSH, увеличение объема логируемых данных может быть хорошим решением, которое поможет понять, в чем заключается проблема.

      /etc/ssh/sshd_config

      LoginGraceTime 120
      PermitRootLogin yes
      StrictModes yes
      

      Эти параметры определяют некоторые данные для входа в систему.

      Опция LoginGraceTime определяет количество секунд, в течение которых следует сохранять подключение при отсутствии успешных попыток входа в систему.

      Возможно, вам может быть полезным задать для этого параметра чуть большее количество времени, чем то, которое вам обычно требуется для входа.

      PermitRootLogin определяет, разрешен ли вход с помощью пользователя с правами root.

      В большинстве случаев необходимо изменить значение на no, если вы создали учетную запись пользователя, которая имеет доступ к высокому уровню привилегий (через su или sudo) и может использоваться для входа в систему через ssh.

      strictModes — это защитник, который будет препятствовать попыткам входа, если файлы аутентификации доступны для чтения всем.

      Он позволяет предотвратить попытки входа в систему, когда файлы конфигурации не находятся в безопасном состоянии.

      /etc/ssh/sshd_config

      X11Forwarding yes
      X11DisplayOffset 10
      

      Эти параметры используются для настройки такой возможности, как X11 Forwarding. X11 Forwarding позволяет просматривать графический пользовательский интерфейс (GUI) удаленной системы на локальной системе.

      Эта функция должна быть активирована на сервере и передана клиенту SSH во время подключения с помощью опции -X.

      После внесения изменений сохраните и закройте файл, введя CTRL+X, Y, а затем нажмите ENTER.

      Если вы внесли изменения в какие-либо настройки в файле /etc/ssh/sshd_config, необходимо перезапустить ваш сервер sshd, чтобы изменения вступили в силу:

      • sudo systemctl reload ssh

      Вы должны тщательно протестировать ваши изменения, чтобы убедиться, что все работает так, как вы ожидаете.

      Вы можете использовать несколько активных сеансов во время внесения изменений. Это позволит вам вернуться к первоначальной конфигурации, если это потребуется.

      Выполнение входа через SSH с использованием ключей

      Хотя возможность входа в удаленную систему с помощью паролей может быть полезна, гораздо лучшей идеей будет настройка аутентификации с помощью ключей.

      Как работает аутентификация с помощью ключей?

      Аутентификация с помощью ключей реализуется путем создания пары ключей: приватного ключа и публичного ключа.

      Приватный ключ располагается на клиентском компьютере, этот ключ защищен и хранится в секрете.

      Публичный ключ может передаваться любому лицу или размещаться на сервере, доступ к которому вы хотите получить.

      При попытке подключения с использованием пары ключей сервер будет использовать публичный ключ для создания сообщения для клиентского компьютера, которое может быть прочитано только с помощью приватного ключа.

      Затем клиентский компьютер отправляет соответствующий ответ обратно серверу, после чего сервер будет знать, что клиент не является поддельным.

      Весь этот процесс выполняется в автоматическом режиме после того, как вы настроите ключи.

      Создание ключей SSH

      Ключи SSH необходимо генерировать на компьютере, откуда вы хотите войти в систему. Как правило, это ваш локальный компьютер.

      Введите следующую команду в командной строке:

      Нажмите ENTER, чтобы принять используемые по умолчанию значения. Ваши ключи будут сгенерированы в файлах ~/.ssh/id_rsa.pub и ~/.ssh/id_rsa.

      Перейдите в каталог .ssh с помощью следующей команды:

      Просмотрите данные о разрешениях для файлов:

      Output

      -rw-r--r-- 1 demo demo 807 Sep 9 22:15 authorized_keys -rw------- 1 demo demo 1679 Sep 9 23:13 id_rsa -rw-r--r-- 1 demo demo 396 Sep 9 23:13 id_rsa.pub

      Как вы можете видеть, файл id_rsa доступен для чтения и записи только владельцу. Именно такие разрешения позволяют сохранить его в секрете.

      В то же время файл id_rsa.pub может использоваться совместно и имеет соответствующие разрешения для данной деятельности.

      Как передать ваш публичный ключ на сервер

      Если в настоящее время вы используете доступ к серверу с помощью пароля, вы можете скопировать ваш публичный ключ на сервер, воспользовавшись данной командой:

      В результате будет создан сеанс SSH. Когда вы введете пароль, ваш публичный ключ будет скопирован в файл авторизованных ключей сервера, что позволит не использовать пароль при входе в следующий раз.

      Опции для клиентской стороны

      Существует ряд опциональных флагов, которые вы можете использовать при подключении через SSH.

      Некоторые из них могут быть необходимы при наличии определенных настроек конфигурации sshd на удаленном хосте.

      Например, если вы изменили номер порта в конфигурации sshd, вам потребуется указать этот порт на клиентской стороне с помощью следующей команды:

      • ssh -p port_number remote_host

      Если вы хотите выполнить отдельную команду на удаленной системе, вы можете указать ее после имени хоста следующим образом:

      • ssh remote_host command_to_run

      В результате будет установлено подключение к удаленному компьютеру, а после успешной аутентификации команда будет выполнена.

      Как уже отмечалось ранее, если функция X11 forwarding активирована на обоих компьютерах, вы можете получить доступ к данному функционалу, воспользовавшись следующей командой:

      При наличии соответствующих инструментов на вашем компьютере программы GUI, которые вы используете на удаленной системе, теперь будут открываться в отдельном окне на локальной системе.

      Отключение аутентификации по паролю

      Если вы создали ключи SSH, вы можете повысить уровень безопасности вашего сервера, отключив аутентификацию только по паролю. Помимо консоли единственным способом входа на ваш сервер будет использование приватного ключа, который используется в паре с публичным ключом, установленным на сервере.

      Предупреждение: перед выполнением этих действий необходимо убедиться, что публичный ключ установлен на сервере. В противном случае вы заблокируете доступ к серверу!

      Откройте файл конфигурации sshd, воспользовавшись пользователем root или пользователем с привилегиями sudo:

      • sudo nano /etc/ssh/sshd_config

      Найдите строку Password Authentication и раскомментируйте ее, удалив символ # в начале строки. Теперь вы можете указать значение no:

      /etc/ssh/sshd_config

      PasswordAuthentication no
      

      Вы должны также изменить значения двух других настроек (если вы не вносили изменения в этот файл ранее) — PubkeyAuthentication и ChallengeResponseAuthentication. Значения устанавливаются по умолчанию и выглядят следующим образом:

      /etc/ssh/sshd_config

      PubkeyAuthentication yes
      ChallengeResponseAuthentication no
      

      После внесения изменений сохраните и закройте файл.

      Теперь нужно перезапустить демон SSH:

      • sudo systemctl reload ssh

      Теперь аутентификация по паролю должна быть отключена, а ваш сервер должен быть доступен только с помощью аутентификации по ключу SSH.

      Заключение

      Обучение работе с SSH точно будет полезным, хотя бы потому, что это очень распространенный инструмент.

      По мере знакомства с разными опциями вы будете открывать для себя более продвинутый функционал, который поможет сделать вашу жизнь проще. SSH остается популярным благодаря своей безопасности, легковесности и пользе в самых разных ситуациях.



      Source link