Разное

Логи это что: Что такое логи logs файл(ы) сайта и зачем они нужны?

Логи доступа сайта (Access-лог) | Вопросы-ответы на Wiki

Логи доступа сайта (Access-логи) — это логи абсолютно всех запросов к сайту, дошедших до нашего веб-сервера. Он находится в разделе «Хостинг → Мои сайты → Логи доступа сайта»:

При использовании сервисов фильтрации трафика вроде Cloudflare не всегда удаётся оперативно отслеживать включение или отключение фильтрации, поэтому в лог могут попадать не реальные IP посетителей, а адреса используемых сервисов. Для принудительного обновления информации о сервисе фильтрации в нашей системе в верхней части страницы с логом напротив «Автоматически определённый сервис фильтрации трафика» нажмите на кнопку с названием используемого сервиса фильтрации:

После нажатия кнопки новые запросы будут фиксироваться уже с реальными IP. Старые записи при этом не изменяются.

Все запросы к сайту фиксируются в логе доступа nginx. На бизнес-хостинге присутствует дополнительный лог — лог доступа FPM

. В него попадают запросы, поступающие на сайт, когда в настройках сайта в качестве веб-сервера выбран PHP-FPM. Логи выводятся в виде вкладок над блоком выбора даты. На обычном хостинге доступен только общий лог доступа nginx.

Важные моменты:

Над логом за день выводится список всех дат, за которые доступны логи:

В списке можно:

Важные моменты:

В логе за день выводится информация по всем запросам за выбранную дату:

На основе Access-логов можно формировать удобные HTML-отчёты. Они генерируются с помощью программы GoAccess, встроенной на хостинге. Каждый отчёт содержит наглядную статистику по следующим показателям: уникальные посетители, запрошенные

URL и статические файлы, ошибки 404, имена хостов и IP посетителей, их операционные системы и браузеры, распределение запросов по времени, ссылающиеся сайты, коды ответов HTTP и страны, откуда поступали запросы.

Важные моменты:

Access-лог можно скачать и изучать с помощью консольных команд или специализированного ПО, способного анализировать подобные логи и выводить различную статическую и аналитическую информацию, например Apache Log Viewer.

Что это такое и как его открыть

Загрузить Просмотр файлов Универсальный (File Magic) 

Установить необязательные продукты — File Magic (Solvusoft) | EULA | Privacy Policy | Terms | Uninstall


Как открыть файл LOG

Самый простой способ открыть расширение файла LOG — это попытка загрузить некоторые из самых популярных программ, которые используют расширение LOG. Наиболее известные программы, связанные с файлами LOG, включают Pro/ENGINEER, LabVIEW Binary Datalog и TrialDirector Load File.

Как вы уже знаете, если у вас есть Pro/ENGINEER, LabVIEW Binary Datalog или TrialDirector Load File, вы можете просто дважды щелкнуть по вашему LOG и открыть его. Но что, если ваше программное обеспечение не открывает файл?

Сначала попробуйте щелкнуть правой кнопкой мыши по файлу и выбрать «Открыть с …» и выбрать в списке выпадающий список Pro/ENGINEER, LabVIEW Binary Datalog или TrialDirector Load File. Если это не помогло, зайдите в настройки ассоциаций файлов Windows и установите Pro/ENGINEER, LabVIEW Binary Datalog или TrialDirector Load File, чтобы открыть файлы LOG по умолчанию.

Обратите внимание, что расширения файлов LOG могут не ограничиваться только Pro/ENGINEER, LabVIEW Binary Datalog или TrialDirector Load File. Вы всегда можете выполнить поиск Google, чтобы найти другое программное обеспечение, которое использует файлы LOG, и загрузить его, чтобы попытаться открыть файл.

Еще не повезло? Свяжитесь с разработчиком названия программного обеспечения, чтобы узнать, могут ли они помочь. Если ваше программное обеспечение не имеет идентифицированного разработчика в приведенной ниже таблице, быстрый веб-поиск названия программного обеспечения должен дать вам некоторые подсказки о том, с кем связаться.

Спроси себя: Всегда ли я хочу пройти этот процесс, когда получаю необычный файл? Должен ли я загружать новое программное обеспечение каждый раз, когда у меня нет программного обеспечения, связанного с файлом? Если нет, загрузите универсальный просмотрщик файлов (File Magic), чтобы открыть сотни разных типов файлов с помощью одной программы.

Есть лучшее решение. File Magic — универсальный программный просмотрщик, который позволяет открывать практически все типы файлов, не приобретая специальное программное обеспечение. Вместо того чтобы тратить все это время на попытку выяснить, как его открыть, вы можете получить доступ к любому * файлу с уверенностью и несколькими щелчками мыши. Загрузите File Magic прямо сейчас!

Программного обеспечения разработчик
Pro/ENGINEER PTC
LabVIEW Binary Datalog
National Instruments Corporation
TrialDirector Load File inData Corporation
SeeYou Flight Data Naviter
PDP-10 Batch Log File PC Software Company
HijackThis Log File Trend Micro Incorporated
ProWORX Nxt Text Log File Schneider Electric
MS HTMLHelp Log Microsoft Programmer
Log File
Unknown
Wise Installer Log Symantec Corporation

Рекомендуем Sorry, your browser doesn’t support embedded videos.

Загрузить Просмотр файлов Универсальный (File Magic) 

Установить необязательные продукты — File Magic (Solvusoft) | EULA | Privacy Policy | Terms | Uninstall

что это? и как его убрать (Решено)

intelgfxcoin.log: что это? и как его убрать (Решено)

English NederlandsGermanРусскийEspañolItalianoTürkFrançaisPolskaPortugueseعربي日本語한국어

intelgfxcoin.log рейтинг

Файл intelgfxcoin.log из unknown Company  является частью unknown Product. intelgfxcoin.log, расположенный в c: \Intel \Logs \ с размером файла 204.00 байт, версия файла Unknown version, подпись AFA51E05C2EC74CFC9DF1A5D33B15B01.
В вашей системе запущено много процессов, которые потребляют ресурсы процессора и памяти. Некоторые из этих процессов, кажется, являются вредоносными файлами, атакующими ваш компьютер.
Чтобы исправить критические ошибки intelgfxcoin.log,скачайте программу Asmwsoft PC Optimizer и установите ее на своем компьютере

Asmwsoft PC Optimizer — это пакет утилит для Microsoft Windows, призванный содействовать управлению, обслуживанию, оптимизации, настройке компьютерной системы и устранению в ней неполадок.
Как другие пользователи поступают с этим файлом?

Всего голосов ( 183 ), 116 говорят, что не будут удалять, а 67 говорят, что удалят его с компьютера.

intelgfxcoin.log Пользовательская оценка:

безопасен:

опасен:

Как вы поступите с файлом intelgfxcoin.log?

Некоторые сообщения об ошибках, которые вы можете получить в связи с intelgfxcoin.log файлом

  • (intelgfxcoin.log) столкнулся с проблемой и должен быть закрыт. Просим прощения за неудобство.

  • (intelgfxcoin.log) перестал работать.

  • intelgfxcoin.log. Эта программа не отвечает.

  • (intelgfxcoin.log) — Ошибка приложения: the instruction at 0xXXXXXX referenced memory error, the memory could not be read. Нажмитие OK, чтобы завершить программу.

  • (intelgfxcoin.log) не является ошибкой действительного windows-приложения.

  • (intelgfxcoin.log) отсутствует или не обнаружен.

Чтобы исправить критические ошибки intelgfxcoin.log,скачайте программу Asmwsoft PC Optimizer

  ☰ intelgfxcoin.log info

INTELGFXCOIN.LOG

Описание файла:intelgfxcoin.log Файл intelgfxcoin.log из unknown Company является частью unknown Product. intelgfxcoin.log, расположенный в c: \Intel \Logs \ с размером файла 204.00 байт, версия файла Unknown version, подпись AFA51E05C2EC74CFC9DF1A5D33B15B01.

Проверьте процессы, запущенные на вашем ПК, используя базу данных онлайн-безопасности. Можно использовать любой тип сканирования для проверки вашего ПК на вирусы, трояны, шпионские и другие вредоносные программы.


Комментарии:

Пока нет комментариев! Добавьте комментарии первым..

Список вариантов процесса intelgfxcoin.log:

Cookies help us deliver our services. By using our services, you agree to our use of cookies.

Your browser does not support JavaScript!

Log-файл: что это такое в телефоне Андроид?

На чтение 2 мин Просмотров 1.7к. Опубликовано

Андроид – это открытая операционная система, которая позволяет пользователю самостоятельно распоряжаться своими файлами, как ему удобно. С одной сторон – это открывает огромный простор для программирования, оптимизации и улучшения устройства. А с другой, неопытные пользователи могут теряться в обилии программ и файлов. Некоторые из них, по одному лишь названию, не дают никакого представления о том, зачем они нужны. Как раз к таким можно отнести Log-файлы.

Что это?

Это собирательное название всего, что находится в папках log. Найти их можно в обычном приложении «Файлы», так как они не скрыты от пользователя. Почти каждая программа на телефоне имеет такую папку и в некоторых есть наполнение, а в некоторых пусто. На самом деле, почти все эти папки заполнены, просто обычному пользователю их содержимое показывается лишь частично.

Нужны такие файлы лишь для получения информации самим пользователем о приложении. В log находятся вся информация о работе, ошибках, а также, там содержатся временная информация, которая иногда занимает солидное количество памяти.

Нужны ли они?

«Логи» интересны только опытным пользователям, которые умеют их читать и которые понимают, зачем это нужно. Для обычного же человека они не представляют ценности и даже вредны. Если опытные понимают, зачем всё это нужно, они могут с лёгкостью удалить бесполезный софт, чтобы тот не тратил память на телефоне. У обычного же пользователя все файлы будут копиться на смартфоне, так как после удаления приложения, временная информация так и остаётся, и накапливается.

Из-за этого, особенно на старых телефонах, бывает так, что приложений нет, но объём накопителя полностью заполнен. Это значит, что log полностью заняли устройство и их нужно удалять. Сделать это можно «вручную», через файлы с телефона или компьютера.

Но для полного удаления требуются root-права, которые нужны далеко не каждому. Если кратко, рут – это особый статус владельца, который позволяет ему получить доступ ко всему телефону и менять в нём, что угодно. Эта функция скрыта, чтобы не создавать проблем.

Для базовой очистки подойдут программы, которые оптимизируют смартфон. Прекрасно подойдут и встроенные. Но, в любом случае, в Play Market можно скачать CCleaner, который имеет бесплатную версию и очень прост в использовании. Но есть и другие, менее популярные приложения.

Логи сервера (Server Logs) — как их можно посмотреть и анализировать

В работе системного администратора, нередко возникает необходимость посмотреть логи сервера (Server Logs), с какими задачами работал сервер в конкретное время, какие действия совершали пользователи. Причины возникновения этой необходимости могут быть разные:

  • Сбой в работе сервера;
  • Выявление неблагонамеренных действий;
  • Анализ рабочих процессов.

Всю необходимую информацию можно получить в логи сервера (Server Logs), то есть файлах, в которые вносятся записи о различных процессах, действиях пользователей, и т.п. Но, для этого необходимо понимать, где хранятся эти данные, а главное, как с ними работать.

Что такое логи сервера?

Собственно говоря, само слово «логи сервера», является банальной транслитерацией, от словосочетания «server log», которое переводится как «журнал сервера».

Существуют следующие типы логов:

  • Ошибки – записи, фиксирующие различные сбои в работе сервера, или при обращении к конкретным функциям или задачам. С их помощью можно быстро ликвидировать разные баги и сбои;
  • Доступ – записи, которые фиксируют точные дату и время подключения конкретного пользователя, каким образом он попал на сайт, и т.д. Позволяют проводить аналитическую работу, а также находить уязвимые места, в тех случаях, когда ресурс пытались взломать;
  • Прочее – записи с данными о работе разных компонентов сервера, например, почты.

Разумеется, если вы не наблюдаете никаких проблем, или подозрительных моментов, связанных с работой сервера, то нет никакой необходимости в частом просмотре логов. Тем не менее, специалисты рекомендуют выборочно изучать их, хотя бы раз в год.

С другой стороны, если уже произошло какое-то ЧП, например, сайт резко начал выдавать большое количество ошибок, подвергся спам-атаке, или стремительно возросла нагрузка на сервер, то изучение логов, позволит быстро понять в чем проблема и устранить её.

Тем не менее, для большинства рядовых пользователей записи в log-файлах, представляют собой просто странный набор символов. А значит, нужно понять, как правильно их читать.

Как правильно читать логи сервера?

В данном примере, мы разберем два типа записей, касающихся логов доступа и ошибок, поскольку именно к ним чаще всего обращаются, при возникновении каких-то проблем.

Итак, запись лога доступа, из файла access.log:

mysite.biz 25.34.94.132 — — [21/Nov/2017:03:21:08 +0200] «GET /blog/2/ HTTP/1.0» 200 18432 «-» «Unknow Bot (http://www.unknow.com/bot; [email protected])»

Что она обозначает:

  • mysite.biz – домен сайта, которым вы интересуетесь;
  • 34.94.132 – IP-адрес, который использовал пользователь при заходе на сайт;
  • [21/Nov/2017:03:21:08 +0200] – дата, точное время и часовой пояс пользователя;
  • GET – запрос, который отправляется для получения данных. В том случае, если пользователь передает данные, запрос будет «POST»;
  • /blog/2/ — относительный адрес страницы, к которой был обращен запрос;
  • HTTP/1.0 – используемый протокол;
  • 200 – код ответа на запрос;
  • 18432 – количество данных, переданных по запросу, в байтах;
  • Unknow Bot (http://www.unknow.com/bot; [email protected]) – данные о роботе, или реальном человеке, который зашел на сайт. В том случае, если это человек, будет отображена ОС, тип устройства и т.д. В конкретном примере на сайт зашел робот-парсер, принадлежащий ресурсу unknow.com.

Таким образом, мы узнали, что с IP-адреса 25.34.94.132, двадцать первого ноября, 2017-го года, в три часа, двадцать одну минуту и восемь секунд, на наш сайт заходил бот, принадлежащий другому веб-ресурсу. Он отправил запрос на получение данных, и получил 18432 байт информации.

Теперь можно заблокировать доступ для ботов от этого сайта, либо от всех, кто пользуется этим IP, разумеется, если в этом есть необходимость.

Логи ошибок, можно посмотреть в файле с говорящим именем – error.log. Они выглядят следующим образом:

[Sat Oct 1 18:23:28.719615 2019] [:error] [pid 10706] [client 44.248.44.22:35877]

PHP Notice: Undefined variable: moduleclass_sfx in

/var/data/www/mysite.biz/modules/contacts/default.php on line 13

 

Что здесь написано?

  1. Дата, время и тип ошибки, а также IP-адрес, который использовал посетитель;
  2. Тип события, в данном случае – «PHP Notice» (уведомление), а также уточнение, что в данном случае, мы имеем дело с неизвестной переменной;
  3. Местоположение файла с уведомлением, а также строка, на которой оно находится.

Если говорить просто, то в данном случае мы имеем сообщение о том, что первого октября, в 18:23, 2019-го года, произошла ошибка, связанная с модулем контактов.

 

Разумеется, даже после расшифровки, полученные данные не так просто проанализировать. Именно поэтому, для удобной обработки данных из логов сервера, используется различное программное обеспечение. К таким программам относятся: Awstats, Webtrends, WebAlyzer, и многие другие.

Сегодня существует множество платных и бесплатных вариантов программ, для обработки и анализа лог-файлов.

Логи серверов на Windows

У логов серверов на Windows, изначально более удобный и структурированный вывод информации, в виде простой и понятной таблицы.

Существует несколько уровней событий:

  • Подробности;
  • Сведения;
  • Предупреждение;
  • Ошибка;
  • Критический.

Также есть возможность быстрой фильтрации и сортировки записей, в зависимости от того, какие данные вы хотите получить.

Логи SQL сервера

На сегодняшний день, базы данных SQL, являются наиболее распространенным способом работы с большими объемами информации. В первую очередь, логи sql сервера, стоит изучить, если вы не уверены в том, что какие-то процессы были успешно завершены. Этими процессами могут быть:

  • Резервное копирование;
  • Восстановление данных;
  • Массовые изменения;
  • Различные скрипты, и программы для обработки данных.

Для того, чтобы просмотреть записи в логах, можно использовать SQL Server Management Studio, либо другой, удобный вам редактор текстов. Записи распределены по журналам следующих типов:

  • Сбор данных;
  • Database Mail;
  • SQL Сервер;
  • События Windows;
  • Журнал заданий;
  • Коллекция аудита;
  • SQL Сервер, агент.

Для того, чтобы получить доступ к журналам, необходимо иметь права «securityadmin».

Как включить или выключить запись логов сервера?

Для того, чтобы осуществить эту операцию, нужно зайти в административную панель вашего хостера. Как правило, в основном меню есть раздел «Журнал», или «Логи», в котором можно включить или выключить запись данных о предоставленном доступе, ошибках, и т.п.

Где находятся логи сервера?

Расположение журналов, зависит в первую очередь от используемой вами операционной системы.

Логи серверов с CentOS, или Fedora, хранятся в дирректории «/var/log/».

Названия файлов:

  • Журнал ошибок – «error.log»;
  • Журнал nginx – «nginx»;
  • Журнал доступов – «log»;
  • Основной журнал – «syslog»;
  • Журнал загрузки системы – «dmesg».

Логи ошибок, связанных с работой MySQL, находятся в директории «/var/lib/mysql/», в файле «$hostname.err».

Для операционных систем Debian и Ubuntu, логи сервера располагаются в папке «/var/log/», в файлах:

  • Nginx — журнал nginx;
  • /mysql/error.log – журнал ошибок для баз данных MySQL;
  • Syslog – основной журнал;
  • Dmesg – загрузка системы, драйвера;
  • Apache2 – журнал веб-сервера Apache.

Как видите, у всех ОС, основанных на Linux, логи сервера, как правило имеют одинаковые названия, и директории.

С логами для Windows server, дело обстоит несколько иначе. Если нужно просмотреть журналы, необходимо войти в систему, нажать клавиши «Win» и «R», после чего откроется окно просмотра событий, где есть возможность подобрать интересующие нас логи.

Если вы хотите посмотреть логи PowerShell, то необходимо открыть программу и ввести команду: «Get-EventLog -Logname ‘System’».

Все данные будут выведены в виде удобной таблицы.

Пример работы с логами сервера

Представьте себе, что вы внезапно обнаружили существенное увеличение нагрузки на ваш сервер, связанное с внешними воздействиями. Сервисы аналитики начинают регистрировать рекорды посещаемости, и можно было бы радоваться, но видно, что эти «пользователи» не совершают действий, которых от них ждут, неважно что это – изучение контента, или покупки на сайте.

Можно потратить много времени на выяснения причины, а можно просто посмотреть логи доступа и проверить, с каких IP, и кто заходил на ваш сайт, в выбранные промежуток времени. Вполне вероятно, что вы обнаружите большое количество переходов с нескольких IP-адресов, которые делались автоматически, то есть ваш сайт попал под DDoS-атаку.

В этом случае, можно заблокировать доступ к сайту с выбранных IP, и в дальнейшем расширять этот список, при необходимости.

Вывод

На сегодняшний день, log-файлы сервера, являются крайне удобным инструментом, который позволяет отслеживать работу сайта, выявлять баги и ошибки, злонамеренных пользователей, противодействовать DDoS-атакам.

Для того, чтобы правильно работать с логами сервера, необходимо знать их расположение, иметь возможность изучить нужные файлы, а также понимать разные типы записей. В большинстве панелей управления, пользователю сразу предоставляется возможность включать и выключать запись логов. К тому же есть возможность скачивать или просматривать журналы.

Кроме того, сегодня можно найти ряд программного обеспечения, и они позволяют взаимодействовать с информацией из журналов через удобный графический интерфейс, с большой скоростью расшифровывать её и выводить в простом виде.

У систем, основанных на Linux, как правило примерно одинаковое расположение файлов с логами, что существенно упрощает работу с ними.

У Windows Server, есть свой собственный графический интерфейс для чтения логов, который весьма удобен, и позволяет быстро получить необходимую информацию.

Логирование в JavaScript | Юрий Матюхин

Логирование — незаменимый инструмент в отладке JS кода. Расставьте логи в критические места и при возникновении ошибки вы сможете посмотреть что произошло в консоли. По логам вы увидите последовательность действий и поймете где произошла ошибка. Но обычно происходит по другому.

Вася следит за логами

Разработчик Вася, использует console.log только когда код не работает. Он думает где это сломалось, и расставляет логи. Потом он перезагружает браузер, смотрит что сломалось не там и идет расставлять еще пачку console.log, а может даже и console.info.

В этом абстрактном Васе я узнаю себя пол года назад. Возможно, вы тоже. Этот подход работает, но можно лучше.

Почему так

Причин для такого поведения много:

  1. Этому не учат в школе/университете/на курсах. Там дают только базовые знания, да и преподаватели не всегда обладают нужной квалификацией.
  2. Если добавлять console.log на каждый чих, то открыв консоль вы ничего не поймете. Получится большая каша.
  3. Если не настроены sourcemap, ставить «точки остановки» долго и не все это умеют
  4. Мы так привыкли. Когда я изучал JavaScript, то в учебных примерах результат выводили через alert()
  5. В JavaScript раньше не хранили много логики. Вычислениями и отрисовкой html занимался сервер.

По данным http archive, средний размер JavaScript файла подключаемого на страницу увеличивается с каждым годом. Приложения разрастаются и становятся сложнее, особенно с приходом Single Page Application.

Как не засрать консоль

Чтобы ориентироваться в логах их важно различать. В консоли хрома в этом нам помогает:

  1. Фильтрация по тексту
  2. Типы логов: .log, .warn, .info, .error
  3. Цвет у сообщения

Для логирования я рекомендую использовать библиотеку debug. Я буду использовать её в примерах далее.

Пример из жизни

Напишем модуль, который будет загружать гугл карты:

{
  'use strict'
  debug = window.debug('service:googlemaps')

  class GoogleMaps {
    constructor() {
      debug('constructor', this)
      this.load()
    }

    load() {
      return new Promise((resolve, reject) => {
        debug('loading:start')
        $.getScript("//maps.googleapis.com/maps/api/js", (data, textStatus) => {
          debug('loading:end', textStatus)

          if (textStatus != 'success') reject(textStatus)
          else resolve()
        })
      })
    }
  }

  GoogleMaps()
}

Чтобы сообщение появились в консоли — укажите какие логи показать. Установив localStorage.debug = '*' мы увидим все сообщения.

Логи модуля GoogleMaps

Помимо того, что логи сервиса выделены красным и по ним легко отфильтровать, библиотека так-же показывает разницу во времени между вызовами. Поэтому мы видим что между вызовами конструктора и метода init прошло 2 миллисекунды, а загрузка гуглкарт прошла успешно и заняла 2 секунды.

Как подключить себе

  1. Установите библиотеку через npm, bower или скачайте с github

    $ npm install debug --save
    # или
    $ bower install debug --save
    
  2. Добавьте файл в систему сборки перед другими модулями или вставьте через тег script

    <script src="./path/to/debug.js">
    
  3. Для каждого модуля объявите переменную для дебага. Значение будет добавляться к каждому логу с определенным цветом.

    debug = window.debug('service:googlemaps')
    
  4. Залогируйте что-нибудь

  5. Включите отображение логов в консоли

После выполнения этих действий вы увидите логи в консоли и станете лучше контролировать происходящее в JavaScript. Если у вас раньше не было логирования в проекте, не стоит просить пару дней чтобы его настроить. Подключите библиотеку и когда будете рефакторить старый или писать новый модуль — добавьте логирование туда.

Дополнительный материал

О логировании и console.log рассказал Антон Шувалов выступая на конференции DUMB 2016 в секции FrontTalks.

Антон Шувалов — «Отладка кода в браузере»

Ссылки на записи выступлений с FrontTalks 2016 на хабре, а за прошлый год у меня в статье «Видео и презентации с конференции “FrontTalks” 2015».

Еше можно подписаться на email рассылку новых заметок. Не чаще раза в неделю, без спама.

Логи error_log и access_log в Nginx

Файлы логов — первое место, где нужно искать ошибки. Особенно если это касается веб-сервера. В Nginx всего два основных лога: error_log и access_log.

Лог ошибок error_log

Логирование ошибок Nginx происходит в определенный файл, stderr или syslog. Он собирает все ошибки, которые произошли во время работы веб-сервера. По умолчанию он включен глобально:

error_log logs/error.log error;
Записываются только ошибки в файл по указанному пути

Для сбора только определенных ошибок необходимо разместить директиву в секции http, server, stream или location. А так можно логировать только критические ошибки и сигналы тревоги:

error_log logs/error.log warn;
Записываются ошибки уровня warn, error crit, alert, emerg

Лог доступа access_log

Лог доступа Nginx по умолчанию размещен в директории logs/access.log. В него записываются данные о запросах пользователей, как только эти запросы обработаны. Для изменения директории расположения лога используется директива access_log:

access_log logs/access.[23] 0; default 1; } access_log /path/to/access.log combined if=$loggable;

Исключает запросы к HTTP со статусом 2ХХ (успешно) и 3ХХ (редирект)

Запись в syslog

Стандартная для UNIX-систем утилита syslog может собирать логи и различные сообщения разных процессов на одном сервере:

access_log syslog:server=[2001:db8::1]:1234,facility=local7,tag=nginx,severity=info;

Перенаправляет информацию в syslog

Директива server указывает адрес сервера (здесь IPv6) и порт. А facility — специфические параметры программы: auth, authpriv, daemon, cron, ftp, lpr, kern, mail, news, syslog,user, uucp, local0 … local7.

Включение режима debug

При необходимости можно включить Nginx debug-режим записи логов, который обеспечивает расширенную информацию и полезен при решении серьезных проблем:

error_log logs/error.log debug;

Можно включить только для нужной секции или отдельных клиентов соединений

Этот текст был написан несколько лет назад. С тех пор упомянутые здесь инструменты и софт могли получить обновления. Пожалуйста, проверяйте их актуальность.

Highload потрібні автори технічних текстів. Ви наша людина, якщо розумієтеся на розробці, знаєте мови програмування і вмієте просто писати про складне!
Відгукнутись на вакансію можна тут.

Что такое внедрение журнала?

Что такое внедрение журнала?

Внедрение журнала, также известное как подделка журнала, описывает уязвимость, возникающую в результате любого сценария, в котором ненадежные входные данные могут загрязнять или нарушать целостность файлов приложений или системных журналов.

Обычно это происходит из-за того, что не удается предотвратить появление в файлах журналов вредоносных данных, предназначенных для введения в заблуждение мониторов и систем SIEM (Security Information and Event Management).

Целостность файла журнала

Файлы журналов — это способ, с помощью которого приложения, службы и сама ОС (операционная система) записывают события и создают исторический архив произошедших действий. Каждое приложение обычно создает файл журнала, который (в идеале) позволяет восстановить события в случае возникновения проблем.

Помимо предоставления информации о последовательности событий, приведших к проблеме, файлы журналов теперь часто передаются в системы SIEM, которые ищут шаблоны проблемного или подозрительного поведения, а затем потенциально генерируют предупреждения для заблаговременного предупреждения администраторов и сотрудников службы безопасности.Целостность информации в журналах считается точной, а содержимому файла журнала обычно доверяют.

Это доверие неуместно, если ненадежные входные данные, предоставленные приложению, могут появиться без фильтрации в файлах журнала приложения. Это связано с тем, что содержимое может быть злонамеренно создано в файле (файлах) журнала, чтобы создать видимость возникновения проблемы, когда это не так, и/или может использоваться для сокрытия проблемы или атаки.

Внедрение журнала: Пример

Рассмотрим приложение, которое регистрирует неудачные попытки входа в систему и запускает предупреждение после некоторого фиксированного количества неудачных попыток с тем же идентификатором входа.Это может быть использовано для обнаружения атак грубой силы на приложение и заблаговременного оповещения администраторов. Далее предположим, что система SIEM настроена на создание предупреждения, если в журнале для одного и того же идентификатора входа в течение одной (1) минуты появляются 10 записей, таких как следующие:

.
 сен 11:2018:01:07:13: ApplicationName: не удалось войти в систему, идентификатор = admin 

Монитор будет сброшен, если успешный вход в систему произойдет до достижения порога оповещения.

Решение имеет смысл, если поддерживается целостность файла журнала.Однако злоумышленник, который может добавить произвольное содержимое в файл журнала, может попытаться войти в систему с значением идентификатора, предназначенным для подделки записи журнала :

.
 foo\r\nSep 11:2018:01:07:13: ApplicationName:Successful Login, Id=admin 

Если приложение не проверяет входящее значение идентификатора входа в систему и впоследствии регистрирует его, как показано выше, результирующий файл журнала будет содержать ДВЕ (2) записи, первая неуспешная, а вторая успешная:

 сен 11:2018:01:07:13: ApplicationName: не удалось войти в систему, идентификатор = foo
11 сентября: 2018: 01: 07: 13: ApplicationName: успешный вход в систему, идентификатор = admin 

Последняя строка представляет собой поддельную запись, которая сбрасывает монитор при неудачных попытках входа в систему для учетной записи «admin» и предотвращает создание предполагаемых предупреждений.

Для получения дополнительной информации классическое изложение темы можно найти здесь,

Чтобы узнать, как обнаружить уязвимости, связанные с внедрением журналов, см. статью «Как проверить наличие внедрения журналов».

Чтобы узнать, как избежать или устранить уязвимости, связанные с внедрением LDAP, ознакомьтесь со статьей «Как предотвратить внедрение журналов».

 Об Affinity IT Security

Мы надеемся, что эта статья окажется для вас полезной. Affinity IT Security поможет вам с тестированием безопасности и обучением разработчиков и тестировщиков.На самом деле мы обучаем разработчиков и ИТ-персонал взламывать приложения и сети.

Возможно, вас сюда привело сканирование сети или проверка веб-сайта на уязвимость. Если это так, вы, вероятно, изучаете, как найти, исправить или избежать конкретной уязвимости. Мы призываем вас проявить инициативу и убедиться, что ключевые лица в вашей организации не только понимают эту проблему, но и более широко осведомлены о безопасности приложений.

Свяжитесь с нами, чтобы узнать, как лучше защитить свое предприятие.

 

 

Несмотря на то, что были предприняты все усилия, чтобы предоставить наиболее полезную и качественную информацию, прискорбно, но неизбежно появление в этих статьях некоторых ошибок, упущений и типографских ошибок. Следовательно, Affinity IT Security не несет ответственности за какие-либо убытки или ущерб, возникшие прямо или косвенно в результате какой-либо ошибки, недопонимания, дефекта программного обеспечения, примера или неправильного использования любого содержимого, содержащегося в настоящем документе.

Обзор журналов облачного аудита

 | Облачное ведение журнала  | Облако Google

В этом документе представлен концептуальный обзор журналов облачного аудита.

службы Google Cloud записывают журналы аудита, в которых записываются административные действия. и доступ к вашим ресурсам Google Cloud. Журналы аудита помогут вам ответ "кто что сделал, где и когда?" в пределах ваших ресурсов Google Cloud с тем же уровнем прозрачности, что и в локальных средах. Включение журналы аудита помогают организациям безопасности, аудита и соответствия требованиям отслеживать Данные и системы Google Cloud на предмет возможных уязвимостей или внешних неправильное использование данных.

Примечание. Журналы аудита доступа к данным помогают службе поддержки устранять неполадки с вашим учетная запись.Поэтому мы рекомендуем оставить их включенными. Для большего Рекомендации по работе с облачными журналами аудита см. Рекомендации по журналам аудита облака.

Службы Google, создающие журналы аудита

Список сервисов Google Cloud, предоставляющих журналы аудита, см. Сервисы Google с журналами аудита. Все Облачные сервисы Google в конечном итоге будут предоставлять журналы аудита.

Обзор журналов аудита Google Workspace см. Журналы аудита для Google Workspace.

Типы журналов аудита

Cloud Audit Logs предоставляет следующие журналы аудита для каждого Облачный проект, папка и организация:

Журналы аудита действий администратора

Журналы аудита действий администратора содержат записи журнала для вызовов API или других действий. которые изменяют конфигурацию или метаданные ресурсов.Например, эти журналы записывать, когда пользователи создают экземпляры ВМ или изменяют разрешения на управление идентификацией и доступом.

Журналы аудита действий администратора записываются всегда; вы не можете настроить, исключить или отключить их. Даже если вы отключите Cloud Logging API, аудит действий администратора журналы все еще создаются.

Журналы аудита доступа к данным

Журналы аудита доступа к данным содержат вызовы API, которые считывают конфигурацию или метаданные. ресурсов, а также управляемые пользователем вызовы API, которые создают, изменяют или считывают предоставленные пользователем данные о ресурсах.

Общедоступные ресурсы с политиками управления идентификацией и доступом allAuthenticatedUsers или allUsers не создавать журналы аудита. Ресурсы к которым можно получить доступ без входа в Google Cloud, Аккаунт Google Workspace, Cloud Identity или Drive Enterprise не создавать журналы аудита. Это помогает защитить идентификационные данные и информацию конечных пользователей.

Журналы аудита доступа к данным — за исключением журналов аудита доступа к данным BigQuery — по умолчанию отключены, так как журналы аудита могут быть довольно большими.Если вы хотите Данные Доступ к журналам аудита, которые будут записаны для сервисов Google Cloud, отличных от BigQuery, вы должны явно включить их. Включение журналов может привести к тому, что с вашего облачного проекта будет взиматься плата за дополнительные журналы использование. Инструкции по включению и настройке журналов аудита доступа к данным см. Настройте журналы доступа к данным.

Журналы аудита системных событий

Журналы аудита системных событий содержат записи журнала для действий Google Cloud, которые изменить конфигурацию ресурсов. Журналы аудита системных событий создаются системы Google; они не управляются прямым действием пользователя.

Журналы аудита системных событий записываются всегда; вы не можете настроить, исключить или отключить их.

Журналы аудита отказа в политике

Журналы аудита «Отказано в политике» записываются, когда облачная служба Google отказывает в доступе. к учетной записи пользователя или службы из-за безопасности нарушение политики. Политики безопасности определяются VPC Service Controls, который предоставляет журналы аудита «Отклонение политики» в Cloud Logging.

Журналы аудита отказа в политике создаются по умолчанию, и ваш Облачный проект оплачивается за хранение логов.Вы не можете отключить политику Журналы аудита запрещены, но вы можете использовать фильтры исключения для предотвращения политики Журналы аудита запрещены для приема и хранения в Cloud Logging.

Структура записи журнала аудита

Каждая запись журнала аудита в Cloud Logging является объектом типа Журнал . Что отличает запись журнала аудита от другого журнала записи — это поле protoPayload ; это поле содержит AuditLog Объект, в котором хранятся данные журнала аудита.

Чтобы понять, как читать и интерпретировать записи журнала аудита, а также для примера запись журнала аудита, см. Понимание журналов аудита.

Имя журнала

Имена журналов облачного аудита включают идентификаторы ресурсов, Облачный проект или другой объект Google Cloud, которому принадлежит аудит журналы, а также содержит ли журнал активность администратора, доступ к данным, отказ в политике, или данные журнала аудита системных событий.

Ниже приведены имена журналов аудита, включая переменные для ресурса. идентификаторы:

   проекты/  PROJECT_ID  /logs/cloudaudit.googleapis.com%2Factivity
   проекты/  PROJECT_ID  /журналы/cloudaudit.googleapis.com%2Fdata_access
   проекты/  PROJECT_ID  /logs/cloudaudit.googleapis.com%2Fsystem_event
   проекты/  PROJECT_ID  /logs/cloudaudit.googleapis.com%2Fpolicy

   папки/  FOLDER_ID  /logs/cloudaudit.googleapis.com%2Factivity
   папки/  FOLDER_ID  /logs/cloudaudit.googleapis.com%2Fdata_access
   папки/  FOLDER_ID  /logs/cloudaudit.googleapis.com%2Fsystem_event
   папки/  FOLDER_ID  /logs/cloudaudit.googleapis.com%2Fpolicy

   billingAccounts/  BILLING_ACCOUNT_ID  /logs/cloudaudit.googleapis.com%2Factivity
   billingAccounts/  BILLING_ACCOUNT_ID  /logs/cloudaudit.googleapis.com%2Fdata_access
   billingAccounts/  BILLING_ACCOUNT_ID  /logs/cloudaudit.googleapis.com%2Fsystem_event
   billingAccounts/  BILLING_ACCOUNT_ID  /logs/cloudaudit.googleapis.com%2Fpolicy

   организации/  ORGANIZATION_ID  /logs/cloudaudit.googleapis.com%2Factivity
   организации/  ORGANIZATION_ID  /logs/cloudaudit.googleapis.com%2Fdata_access
   организации/  ORGANIZATION_ID  /logs/cloudaudit.googleapis.com%2Fsystem_event
   организации/  ORGANIZATION_ID  /logs/cloudaudit.googleapis.com%2Fpolicy
 

Идентификаторы вызывающих абонентов в журналах аудита

Журналы аудита записывают удостоверение, которое выполнило зарегистрированные операции на Облачный ресурс Google. Личность звонящего хранится в Поле AuthenticationInfo объектов AuditLog.

Из соображений конфиденциальности основной адрес электронной почты вызывающего абонента удален из журнал аудита, если операция доступна только для чтения и завершается с ошибкой ошибка "отказано в доступе".Единственным исключением является случай, когда вызывающий абонент является службой. учетная запись в организации Google Cloud, связанная с ресурсом; в в этом случае адрес электронной почты не редактируется.

В дополнение к условиям, перечисленным выше, для некоторых Продукты Google Cloud:

  • Устаревший API App Engine: удостоверения не собрал.

  • BigQuery: Идентификация вызывающего абонента и IP-адрес адреса, а также названия некоторых ресурсов удалены из журналов аудита, если не соблюдены определенные условия.Подробнее об этих условиях см. Обзор журналов аудита BigQuery.

  • Firestore: если веб-токен JSON (JWT) использовался для сторонней аутентификации, ThirdPartyPrincipal Поле включает заголовок токена и полезную нагрузку. Например, журналы аудита для запросы, аутентифицированные с помощью Firebase Authentication, включают в себя это токен аутентификации запроса.

  • Облачное хранилище: Когда облачное хранилище журналы использования включены, Cloud Storage записывает данные об использовании в Сегмент Cloud Storage, который создает журналы аудита доступа к данным для ведро.Сгенерированный журнал аудита доступа к данным имеет идентификатор вызывающего абонента. отредактировано.

Если вы просматриваете журналы аудита с помощью Google Cloud Console Страница активности, Пользователь (анонимный) отображается для любого журнала записи, где личность отредактирована или пуста.

Просмотр журналов аудита

Для запроса журналов аудита необходимо знать имя журнала аудита, которое включает идентификатор ресурса облачного проекта, папки, платежного аккаунта или организации, для которой вы хотите просмотреть информацию журнала аудита.В твоей запрос, вы можете дополнительно указать другие проиндексированные поля LogEntry , такие как как resource.type . Дополнительные сведения о запросах см. Создавайте запросы в обозревателе журналов.

Вы можете просматривать журналы аудита в Cloud Logging с помощью Cloud Console, Google Cloud CLI или Logging API.

Консоль

В облачной консоли можно использовать Logs Explorer чтобы получить записи журнала аудита для вашего облачного проекта, папки, или организация:

Примечание. Вы не можете просматривать журналы аудита для учетных записей Cloud Billing в Облачная консоль.Вы должны использовать API или интерфейс командной строки gcloud.
  1. В облачной консоли перейдите к Ведение журнала > Страница Logs Explorer .

    Перейти к обозревателю журналов

  2. Выберите существующий облачный проект, папку или организацию.

  3. На панели Query Builder выполните следующие действия:

    • В Тип ресурса выберите ресурс Google Cloud, чей журналы аудита, которые вы хотите просмотреть.

    • В Имя журнала выберите тип журнала аудита, который вы хотите просмотреть:

      • Для журналов аудита действий администратора выберите действие .
      • Для журналов аудита доступа к данным выберите data_access .
      • Для журналов аудита системных событий выберите system_event .
      • Для журналов аудита отклоненных политик выберите политику .

    Если вы не видите эти параметры, значит журналы аудита отсутствуют. тип, доступный в облачном проекте, папке или организация.

    Если у вас возникли проблемы при попытке просмотра журналов в Обозреватель журналов, см. поиск проблемы Информация.

    Дополнительные сведения о запросах с помощью обозревателя журналов см. Создавайте запросы в обозревателе журналов.

gcloud

Интерфейс командной строки Google Cloud предоставляет интерфейс командной строки для API ведения журналов. Укажите действительный идентификатор ресурса в каждом из журналов. имена. Например, если ваш запрос включает PROJECT_ID , то идентификатор проекта, который вы указываете, должен относиться к текущему выбранному Облачный проект.

Чтобы прочитать записи журнала аудита на уровне облачного проекта, запустите следующую команду:

gcloud logging читал «имя_журнала: проекты/ PROJECT_ID /logs/cloudaudit.googleapis.com" \
    --project=  PROJECT_ID 
 

Чтобы прочитать записи журнала аудита на уровне папки, выполните следующую команду:

ведение журнала gcloud читается как «имя_журнала: папки/  FOLDER_ID  /logs/cloudaudit.googleapis.com» \
    --folder=  FOLDER_ID 
 

Чтобы прочитать записи журнала аудита на уровне организации, выполните следующую команду. команда:

gcloud logging читается как «logName :organizations/  ORGANIZATION_ID  /logs/cloudaudit.googleapis.ком" \
    --organization=  ORGANIZATION_ID 
 

Чтобы прочитать записи журнала аудита на уровне учетной записи Cloud Billing, выполните следующую команду:

ведение журнала gcloud гласит: «logName: billingAccounts/  BILLING_ACCOUNT_ID  /logs/cloudaudit.googleapis.com» \
    --billing-account=  BILLING_ACCOUNT_ID 
 

Добавить флаг --freshness вашей команде читать журналы старше 1 дня.

Дополнительные сведения об использовании интерфейса командной строки gcloud см. чтение журнала gcloud .

API

При построении запросов укажите действительный идентификатор ресурса в каждом из имена журналов. Например, если ваш запрос включает PROJECT_ID , то идентификатор проекта, который вы указываете, должен относиться к текущему выбранному Облачный проект.

Например, чтобы использовать Logging API для просмотра вашего уровня проекта записей журнала аудита, выполните следующие действия:

  1. Перейти к Попробуйте этот раздел API в документации для записей.список метод.

  2. Поместите следующее в тело запроса часть Попробуйте это Форма API . Нажав на эту предварительно заполненную форму автоматически заполняет тело запроса, но вам необходимо предоставить действительный PROJECT_ID в каждом из имен журналов.

    {
      "названия ресурсов": [
        "проекты/  PROJECT_ID "
      ],
      "размер страницы": 5,
      "filter": "logName : проекты/  PROJECT_ID  /logs/cloudaudit.googleapis.com"
    }
     
  3. Щелкните Выполнить .

Использование страницы активности

Вы можете просматривать сокращенные записи журнала аудита в своем облачном проекте, папку или страницу Activity организации в Cloud Console. фактические записи журнала аудита могут содержать больше информации, чем указано в Активность Страница.

Чтобы просмотреть сокращенные записи журнала аудита в Cloud Console, выполните далее:

  1. Перейти на страницу Activity :

    Перейти на страницу действий

  2. В селекторе проектов выберите облачный проект, папку или организации, для которой вы хотите просмотреть записи журналов аудита.

  3. На панели Фильтр выберите записи, которые хотите просмотреть.

На странице «Действие», где указано удостоверение, выполняющее зарегистрированные действия. удалено из записи журнала аудита, отображается Пользователь (анонимный) . Для большего подробности см. в разделе Идентификаторы вызывающих абонентов в журналах аудита на этой странице.

Хранение и маршрутизация журналов аудита

Cloud Logging использует сегменты журналов как контейнеры, в которых хранятся и упорядочиваются данные журналов. Для каждого Облачный проект, папка и организация, Ведение журнала автоматически создает два сегмента журнала, _Required и _Default , и соответственно названные раковины.

Cloud Logging _Required сегментов принимают и хранят журналы аудита действий администратора и журналы аудита системных событий. Вы не можете настроить сегменты _Required или любые другие записывает в него данные.

Сегменты _Default по умолчанию принимают и сохраняют любой включенный доступ к данным. журналы аудита, а также журналы аудита отклоненных политик. Чтобы предотвратить аудит доступа к данным журналы не хранятся в корзинах _Default , их можно отключить. К предотвратить сохранение любых журналов аудита, запрещенных политикой, в _Default ведра, вы можете исключить их, изменив фильтры их приемников.

Вы также можете направить записи журнала аудита в пользовательские Сегменты облачного ведения журналов на уровне облачного проекта или поддерживаемые назначения за пределами ведения журнала с использованием приемников. Для инструкций журналы маршрутизации см. Настройка и управление приемниками.

При настройке фильтров приемников журналов необходимо указать журнал аудита. типы, которые вы хотите маршрутизировать; примеры фильтрации см. Запросы журнала безопасности.

Если вы хотите направить записи журнала аудита для организации Google Cloud, папку или платежный аккаунт, см. Настройте агрегированные приемники.

Хранение журнала аудита

Для получения подробной информации о том, как долго записи журнала хранятся в журнале, см. см. информацию об удержании в Квоты и ограничения: регистрирует периоды хранения журналов.

Контроль доступа

Разрешения и роли IAM

определяют вашу возможность доступа к аудиту регистрирует данные в Logging API, Обозреватель журналов и Облачный интерфейс командной строки Google.

Для получения подробной информации о разрешениях и ролях IAM, которые вы может понадобиться, см. Управление доступом с помощью IAM.

Квоты и лимиты

Подробные сведения об ограничениях на использование журналов, включая максимальные размеры журналов аудита, см. см. Квоты и лимиты.

Цены

Информацию о ценах на ведение журналов в облаке см. Цены на пакет операций Google Cloud: ведение журнала в облаке.

Что дальше

журналов использования и журналов хранения  | Облачное хранилище  | Облако Google

В этом документе обсуждается, как загружать и просматривать журналы использования и хранилище информацию о корзинах Cloud Storage и анализировать журналы с помощью Google BigQuery.

Введение

Cloud Storage предлагает журналы использования и журналы хранения в форме CSV файлы, которые вы можете скачать и просмотреть. Журналы использования содержат информацию обо всех запросов, сделанных в указанном сегменте, и создаются ежечасно. Хранение журналы предоставляют информацию о потреблении памяти этого сегмента для последний день и создаются ежедневно.

После настройки журналы использования и журналы хранения автоматически создаются как новые объекты в корзине, которую вы укажете.Журналы использования и журналы хранения по той же цене, что и другие объекты, хранящиеся в облачном хранилище.

Внимание! Своевременность и полнота доставки журналов использования не гарантируется.

Следует ли использовать журналы использования или журналы облачного аудита?

В большинстве случаев журналы облачного аудита являются рекомендуемым методом для создание журналов, отслеживающих операции API, выполняемые в облачном хранилище:

  • Журналы облачного аудита постоянно отслеживают доступ с доставкой событий в течение нескольких секунд после их возникновения.
  • Cloud Audit Logs создает журналы, с которыми проще работать.
  • Журналы облачного аудита
  • могут отслеживать многие из ваших облачных сервисов Google, а не только Облачное хранилище.
  • Журналы облачного аудита
  • могут дополнительно регистрировать подробную информацию о запросах и ответах.

В некоторых случаях вместо этого можно использовать журналы использования. Вы, скорее всего, хотите использовать журналы использования, если:

  • Вы хотите отслеживать доступ, который происходит, потому что ресурс имеет allUsers или allAuthenticatedUsers в его настройках управления доступом, таких как доступ к активы в сегменте, который вы настроили как статический веб-сайт.
  • Вы хотите отслеживать изменения, внесенные Управлением жизненным циклом объектов характерная черта.
  • Вы намерены использовать аутентифицированные загрузки браузера для доступа к объектам в ведре.
  • Вы хотите, чтобы ваши журналы включали информацию о задержке, запрос и размер ответа отдельных HTTP-запросов или полный URL-адрес и каждый параметр запроса.

Обратите внимание, что журналы использования создаются только ежечасно и могут быть задержаны, особенно при составлении отчетов о сегментах с высокой частотой запросов.

Следует ли использовать журналы хранения или мониторинг?

Как правило, вы не должны использовать журналы хранилища. Рекомендуемый инструмент для измерения потребление памяти Мониторинг, который обеспечивает визуализацию инструменты, а также дополнительные показатели, связанные с потреблением ресурсов хранения, логи нет. См. вкладку Консоль для определения размера корзины для пошаговые инструкции по использованию Мониторинга.

Настройка доставки журнала

Предупреждение. Если вы используете или включаете элементы управления службами VPC, и корзина, в которой хранятся данные журнала, должна находиться в той же безопасности. периметру, иначе регистрация не будет выполнена.

Следующие шаги описывают, как настроить доставку журналов для определенного сегмента. с помощью инструмента gsutil, API XML и API JSON. если ты у вас нет инструмента gsutil, вы можете загрузить и установить его как часть Пакет Google Cloud CLI или как отдельный продукт.

gsutil

  1. Создайте корзину для хранения журналов с помощью следующей команды:

     gsutil мб  gs://example-logs-bucket  
  2. Назначьте Cloud Storage ролей/хранилище.наследиеBucketWriter роль для ведра:

     gsutil iam ch group:[email protected]:legacyBucketWriter  gs://example-logs-bucket  

    Роль предоставляет облачное хранилище в виде псевдонима [email protected] , разрешение на создание и хранение ваши журналы как новые объекты.

    Объекты журнала имеют объект по умолчанию acl сегмента журнала, если для корзины не включен унифицированный доступ на уровне корзины.

  3. Включите ведение журнала для своего сегмента с помощью команды logging :

     Ведение журнала gsutil установлено на -b  gs://example-logs-bucket  [-o  log_object_prefix  ]  gs://example-bucket  

    При желании вы можете установить префикс объекта для ваших объектов журнала, используя log_object_prefix .Префикс объекта образует начало имя объекта журнала. Он может содержать не более 900 символов и должен быть допустимое имя объекта. По умолчанию префиксом объекта является имя сегмент, для которого включены журналы.

XML API

Примечание: ваши журналы, вы должны использовать gsutil или JSON, чтобы установить разрешение на доступ к нему.
  1. Создайте корзину для хранения журналов, используя следующий запрос:

    PUT /  пример-ведро-журналов  HTTP/1.1
    Хост: storage.googleapis.com
     
  2. Установите разрешения, чтобы разрешить Cloud Storage WRITE разрешение в корзину, чтобы создавать и хранить журналы как новые объекты. Вы должны добавить запись ACL для корзины, которая предоставляет [email protected] групповой доступ для записи. Быть уверенным включить все существующие ACL для корзины в дополнение к новому ACL, в запросе.

    PUT /  example-logs-bucket  ?acl HTTP/1.1
    Хост: хранилище.googleapis.com
    
    <СписокКонтроляДоступа>
      <Записи>
        <Вход>
          
            [email protected]
          
         <Разрешение>ЗАПИСАТЬ
        
        
      
    
     
  3. Включите ведение журнала для своего сегмента с помощью параметра запроса ведения журнала:

    PUT /  пример-сегмент ? Ведение журнала HTTP/1.1
    Хост: storage.googleapis.com
    
    <Ведение журнала>
          пример-журнала-бакет  
          log_object_prefix  
    
     

JSON API

  1. Создайте корзину для хранения журналов, используя следующий запрос:

    POST /storage/v1/b?project=  идентификатор проекта 
    Хост: storage.googleapis.com
    
    {
      "имя": "  пример-журнала-сегмент  "
    }
     
  2. Назначьте Cloud Storage ролей/хранилище.наследиеBucketWriter роль для ведра. Если есть дополнительные уровни ведра привязки IAM для корзины, обязательно включите их в запрос.

    POST /storage/v1/b/  example-logs-bucket  /iam
    Хост: storage.googleapis.com
    {
      "привязки": [
        {
          "роль": "роли/storage.legacyBucketWriter",
          "члены": [
            "[email protected]"
          ]
        }
      ]
    }
     

    Роль предоставляет облачное хранилище в виде псевдонима облачное хранилище-аналитика@google.com , разрешение на создание и хранение ваши журналы как новые объекты.

    Объекты журнала имеют объект по умолчанию acl сегмента журнала, если для корзины не включен унифицированный доступ на уровне корзины.

  3. Включите ведение журнала для своего сегмента, используя следующий запрос:

    ИСПРАВЛЕНИЕ /storage/v1/b/  пример-сегмент 
    Хост: storage.googleapis.com
    
    {
     "Ведение журнала": {
      "logBucket": "  пример-ведро-журналов  ",
      "logObjectPrefix": " log_object_prefix "
     }
    }
     

Проверить состояние регистрации

гсутил

Используя gsutil, вы можете проверить ведение журнала с помощью команды logging get :

 gsutil ведение журнала get  gs://example-bucket  

Вы также можете сохранить настройки журналирования в файл:

 Ведение журнала gsutil get gs://example-bucket >  your_logging_configuration_file  

Если ведение журнала включено, сервер возвращает конфигурацию ведения журнала в ответе:

{"logBucket": "example-logs-bucket", "logObjectPrefix": "log_object_prefix"}
 

Если ведение журнала не включено, возвращается следующее:

 gs://example-bucket/ не имеет конфигурации ведения журнала.

XML API

Используя XML API Cloud Storage, вы можете отправить GET Запрос корзины для регистрации корзины конфигурации, как показано в следующем примере.

GET /  пример-сегмент  ?Журналирование HTTP/1.1
Хост: storage.googleapis.com
 

Если ведение журнала включено, сервер отправляет конфигурацию в ответе. Ответ может выглядеть примерно так:

<Ведение журнала>
    <ЖурналБег>
        пример-журналы-ведро
    
    <префикс логобъекта>
        log_object_prefix
    

 

Если ведение журнала не включено, возвращается пустая конфигурация:

<Ведение журнала/>
 

JSON API

Используя JSON API облачного хранилища, вы можете отправить ПОЛУЧИТЬ запрос на конфигурации ведения журнала корзины, как показано в следующем примере.

GET /storage/v1/b/  пример-сегмент  ?fields=log
Хост: storage.googleapis.com
 

Если ведение журнала включено, сервер отправляет конфигурацию в ответе. Ответ может выглядеть примерно так:

{
 "Ведение журнала": {
  "logBucket": "пример-ведро-журналов",
  "logObjectPrefix": "log_object_prefix"
  }
}
 

Если ведение журнала не включено, возвращается пустая конфигурация:

{
}
 

Загрузка журналов

Журналы хранилища создаются один раз в день и содержат информацию об используемом хранилище за предыдущий день.Обычно они создаются до 10:00 по тихоокеанскому стандартному времени.

Журналы использования генерируются ежечасно, когда есть активность для отчета в ковш под наблюдением. Журналы использования обычно создаются через 15 минут после окончания часа.

Примечание:
  • Любая обработка журналов использования должна учитывать возможность что они могут быть доставлены позже, чем через 15 минут после окончания часа.
  • Обычно объекты почасового журнала использования содержат записи обо всех случаях доступа, произошло в этот час.Иногда объект почасового журнала использования содержит записи для более раннего часа, но никогда для более позднего часа.
  • Облачное хранилище может записывать несколько объектов журнала за один и тот же час.
  • Иногда одна и та же запись может появляться в журналах использования дважды. Пока мы делаем все возможное, чтобы удалить повторяющиеся записи, обработка вашего журнала должны быть в состоянии удалить их, если это важно для вашего анализа журнала. Ты сможешь используйте поле s_request_id для обнаружения дубликатов.

Доступ к вашим журналам контролируется ACL для объектов журнала.Объекты журнала иметь объект по умолчанию acl корзины журнала.

Самый простой способ загрузить журналы использования и журналы хранения — либо через Google Cloud Console или с помощью инструмента gsutil. Ваши журналы использования в формате CSV и имеют следующее соглашение об именах:

 gs://  BUCKET_NAME  /  OBJECT_PREFIX  _usage_  TIMESTAMP  _  ID  _v0 

Например, ниже приведен объект журнала использования для корзины с именем gs://example-bucket, созданный 18 июня 2013 г. в 14:00 UTC и сохраненный в ведро gs://example-logs-bucket:

 gs://example-logs-bucket/example-bucket_usage_2013_06_18_14_00_00_1702e6_v0 

Журналы хранилища именуются по следующему соглашению:

 gs://  BUCKET_NAME  /  OBJECT_PREFIX  _storage_  TIMESTAMP  _  ID  _v0 

Например, ниже приведен объект журнала хранилища для того же сегмента 18 июня 2013 г.:

 gs://example-logs-bucket/example-bucket_storage_2013_06_18_07_00_00_1702e6_v0 

Для загрузки журналов:

Console

  1. В Google Cloud Console перейдите на страницу Cloud Storage Browser .

    Перейти к браузеру

  2. Выберите сегмент журнала.

  3. Загрузите или просмотрите свои журналы, щелкнув соответствующий объект журнала.

gsutil

Выполните следующую команду:

 gsutil cp  LOGS_OBJECT   DESTINATION_URI  

Анализ журналов в BigQuery

Чтобы запросить журналы использования и хранилища Cloud Storage, вы можете использовать Google BigQuery, который позволяет выполнять быстрые SQL-подобные запросы только к добавлению столы.Инструмент командной строки BigQuery, bq , представляет собой инструмент на основе Python, который позволяет получить доступ к BigQuery из командной строки. Для получения информации о загрузку и использование bq см. на справочной странице инструмента командной строки bq.

Загрузить журналы в BigQuery

  1. Выберите проект по умолчанию.

    Подробнее о выборе проекта см. в разделе Работа с проектами.

  2. Создайте новый набор данных.

    $ bq mk хранилищеанализ
    Набор данных 'storageanalysis' успешно создан.
  3. Список наборов данных в проекте:

    $ бк лс
     
    идентификатор набора данных
      ------------------ 
    хранениеанализ
     
  4. Сохраните схемы использования и хранения на локальном компьютере для использования в команда загрузки.

    Схемы для использования можно найти в следующих местах: cloud_storage_usage_schema_v0 и облачное_хранилище_хранилище_схема_v0. Схемы также описаны в раздел Формат журналов использования и хранения.

  5. Загрузите журналы использования в набор данных.

    $ bq load --skip_leading_rows=1 storageanalysis.usage \
          gs://example-logs-bucket/example-bucket_usage_2014_01_15_14_00_00_1702e6_v0 \
          ./cloud_storage_usage_schema_v0.json
    $ bq load --skip_leading_rows=1 storageanalysis.storage \
          gs://example-logs-bucket/example-bucket_storage_2014_01_05_14_00_00_091c5f_v0 \
          ./cloud_storage_storage_schema_v0.json
     

    Эти команды делают следующее:

    • Загрузка журналов использования и хранения из корзины example-logs-bucket .
    • Создайте таблицы использования и хранения в наборе данных storageanalysis .
    • Считайте данные схемы (файл .json) из того же каталога, где выполняется команда bq.
    • Пропустить первую строку каждого файла журнала, так как она содержит описания столбцов.

    Потому что это был первый раз, когда вы запускали команду загрузки в примере здесь были созданы таблицы использование и хранение . Вы могли бы продолжить добавлять к этим таблицам последующие команды загрузки с разными имена файлов журнала использования или с использованием подстановочных знаков.Например, следующее команда добавляет данные из всех журналов, которые начинаются с «bucket_usuage_2014», в хранилище таблица :

    $ bq load --skip_leading_rows=1 storageanalysis.usage \
            gs://example-logs-bucket/bucket_usage_2014*  \
          ./cloud_storage_usage_schema.json
     

    При использовании подстановочных знаков может потребоваться переместить журналы, уже загруженные в BigQuery в другой каталог (например, gs://example-logs-bucket/processed ) чтобы не загружать данные из журнала более одного раза.

Функционал BigQuery также доступен через BigQuery Browser Tool. С помощью инструмента браузера вы можете загружать данные в процессе создания таблицы.

Для получения дополнительной информации о загрузке данных из облачного хранилища, включая программная загрузка данных, см. Загрузка данных из облачного хранилища.

Изменить схему журнала использования

В некоторых сценариях может быть полезно предварительно обработать журналы использования, прежде чем загрузка в BigQuery. Например, вы можете добавить дополнительную информацию в журналы использования, чтобы упростить анализ запросов в BigQuery.В этой секции, мы покажем, как вы можете добавить имя файла каждого журнала использования хранилища в журнал. Это требует изменения существующей схемы и каждого файла журнала.

  1. Изменить существующую схему, cloud_storage_storage_schema_v0, чтобы добавить имя файла, как показано ниже. Дайте новой схеме новое имя, например, cloud_storage_storage_schema_custom.json , отличить от оригинала.

    [ {"имя": "ведро", "тип": "строка", "режим": "ОБЯЗАТЕЛЬНО"},
    {"имя": "storage_byte_hours", "тип": "целое число", "режим": "ОБЯЗАТЕЛЬНО"},
      {"имя": "имя файла","тип": "строка","режим": "ОБЯЗАТЕЛЬНО"} 
    ]
     
  2. Предварительно обработать файлы журнала использования хранилища на основе новой схемы, прежде загружая их в BigQuery.

    Например, следующие команды можно использовать в Linux, macOS или Среда Windows (Cygwin):

    gsutil cp gs://example-logs-bucket/example-bucket_storage\* .
    для f в примере-bucket_storage\*; do sed -i -e "1s/$/,\"имя файла\"/" -e "2s/$/,\""$f"\"/" $f; сделано
     

    Команда gsutil копирует файлы в ваш рабочий каталог. вторая команда перебирает файлы журналов и добавляет «имя файла» к строка описания (первая строка) и фактическое имя файла в строке данных (второй ряд).Вот пример измененного файла журнала:

    "сегмент", "байт_часы_хранилища", "имя файла"
    "пример-ведро", "5532482018", "пример-ведро_storage_2014_01_05_08_00_00_021fd_v0"
     
  3. При загрузке журналов использования хранилища в BigQuery загрузите локально измененные журналы и использовать настроенную схему.

    для f в примере-bucket_storage\*; \
    do ./bq.py load --skip_leading_rows=1 storageanalysis.storage $f ./cloud_storage_storage_schema_custom.json; сделано
     

Журналы запросов в BigQuery

После того, как ваши журналы загружены в BigQuery, вы можете запросить журналы использования, чтобы вернуть информацию о ваших зарегистрированных корзинах.Следующий пример показывает вам как использовать инструмент bq в сценарии, где у вас есть журналы использования для корзины в течение нескольких дней, и вы загрузили журналы, как показано на Загрузка журналов использования в BigQuery. Вы также можете выполнять запросы ниже с помощью BigQuery Browser Tool.

  1. В инструменте bq войдите в интерактивный режим.

    $ bq оболочка
     
  2. Запустите запрос к таблице журнала хранилища.

    Например, следующий запрос показывает, как хранится изменения во времени.Предполагается, что вы изменили журналы использования хранилища как описано в разделе Изменение схемы журнала использования и что файлы журнала называются "лог хранилище *".

    имя_проекта>ВЫБЕРИТЕ ПОДСТРОКУ (имя файла, 13, 10) как день, storage_byte_hours/24 как размер FROM [storageanalysis.storage] ORDER BY file name LIMIT 100
     

    Пример вывода запроса:

    Ожидание bqjob_r36fbf5c164a966e8_0000014379bc199c_1 ... (0s) Текущий статус: ВЫПОЛНЕНО
    +------------+--------+
    | день | размер |
    +------------+--------+
    | 2014_01_05 | 2.3052008408333334E8 |
    | 2014_01_06 | 2.3012297245833334E8 |
    | 2014_01_07 | 3,3477797120833334E8 |
    | 2014_01_08 | 4.4183686058333334E8 |
    +-----------------------------------+
     

    Если вы не изменяли схему и используете схему по умолчанию, вы можете выполните следующий запрос:

    имя-проекта> ВЫБЕРИТЕ storage_byte_hours FROM [storageanalysis.storage] LIMIT 100
     
  3. Запустите запрос к таблице журнала использования.

    Например, следующий запрос показывает, как обобщить методы запроса. которые клиенты используют для доступа к ресурсам в зарегистрированном сегменте.

    имя-проекта> ВЫБЕРИТЕ cs_method, COUNT(\*) AS count FROM [storageanalysis.usage] GROUP BY cs_method
     

    Пример вывода запроса:

    Ожидание bqjob_r1a6b4596bd9c29fb_000001437d6f8a52_1 ... (0s) Текущий статус: ВЫПОЛНЕНО
    +-----------+-------+
    | cs_метод | считать |
    +-----------+-------+
    | ПОСТАВИТЬ | 8002 |
    | ПОЛУЧИТЬ | 12631 |
    | ПОСТ | 2737 |
    | ГОЛОВА | 2173 |
    | УДАЛИТЬ | 7290 |
    +-----------+-------+
     
  4. Выход из интерактивной оболочки инструмента bq.

    название проекта> выйти
     

Отключить ведение журнала

гсутил

С помощью gsutil отключите ведение журнала с помощью команды logging :

 Ведение журнала gsutil отключено  gs://example-bucket  

Чтобы убедиться, что ведение журнала было успешно отключено, выполните запрос ведения журнала get :

 gsutil ведение журнала get  gs://example-bucket  

Если ведение журнала отключено, возвращается следующее:

 gs://example-bucket/ не имеет конфигурации ведения журнала.

XML API

С помощью API Cloud Storage XML отключите ведение журнала, отправив PUT-запрос к логированию корзины конфигурации, как показано в следующем примере:

PUT /  пример-сегмент ? протоколирование HTTP/1.1
Хост: storage.googleapis.com

<Ведение журнала/>
 

JSON API

С помощью JSON API облачного хранилища отключите ведение журнала, отправив PATCH-запрос к журналу корзины конфигурации, как показано в следующем примере.

PATCH /  пример-сегмент ? Ведение журнала HTTP/1.1
Хост: storage.googleapis.com

{
 "регистрация": ноль
}
 

Формат журнала использования и хранения

Журналы использования и журналы хранения могут предоставить огромное количество информации. Информация. Вы можете использовать следующие таблицы, чтобы помочь вам идентифицировать все информацию, представленную в этих журналах.

Поля журнала использования:

Поле Тип Описание
время_микрос целое число Время выполнения запроса в микросекундах с эпохи Unix.
c_ip строка IP-адрес, с которого был сделан запрос. Префикс «с» указывает на то, что это информация о клиенте.
c_ip_type целое число Тип IP в поле c_ip:
  • Значение 1 указывает адрес IPV4.
  • Значение 2 указывает адрес IPV6.
c_ip_region строка Зарезервировано для использования в будущем.
cs_метод строка HTTP-метод этого запроса. Префикс «cs» указывает на то, что эта информация была отправлена ​​с клиента на сервер.
cs_uri строка URI запроса.
sc_status целое число Код состояния HTTP, отправленный сервером в ответ. Префикс «sc» указывает на то, что эта информация была отправлена ​​с сервера клиенту.
cs_bytes целое число Количество байтов, отправленных в запросе.
sc_bytes целое число Количество байтов, отправленных в ответе.
time_taken_micros целое число Время, которое потребовалось для обслуживания запроса в микросекундах, измеренное с момента, когда первый байт получен при отправке ответа. Обратите внимание, что для возобновляемые загрузки, конечная точка определяется ответом на окончательный запрос на загрузку, который был частью возобновляемой загрузки.
cs_host строка Хост в исходном запросе.
cs_referer строка Реферер HTTP для запроса.
cs_user_agent строка Пользовательский агент запроса. Значение GCS Lifecycle Management для запросов, сделанных управлением жизненным циклом.
s_request_id строка Идентификатор запроса.
cs_operation строка Операция облачного хранилища, например. GET_Object .
cs_bucket строка Ведро, указанное в запросе. Если это запрос сегментов списка, это может быть нулевым.
cs_object строка Объект, указанный в этом запросе. Это может быть нулем.

Поля журнала хранения:

Поле Тип Описание
ведро строка Имя корзины.
storage_byte_hours целое число Средний размер сегмента в байт-часах за 24-часовой период. Чтобы получить общий размер корзины, разделите байт-часы на 24.

Что такое управление журналами: руководство по ведению журналов для DevOps

Определение: что такое управление журналами

Управление журналами — это процесс обработки событий журнала, генерируемых всеми программными приложениями и инфраструктурой, в которой они выполняются. Он включает в себя сбор журналов, агрегирование, синтаксический анализ, хранение, анализ, поиск, архивирование и удаление с конечной целью использования данных для устранения неполадок и получения бизнес-аналитики, а также обеспечения соответствия и безопасности приложений и инфраструктуры.

Журналы обычно записываются в один или несколько файлов журналов. Управление журналами позволяет собирать данные в одном месте и рассматривать их как часть целого, а не отдельные сущности. Таким образом, вы можете анализировать собранные данные журналов, выявлять проблемы и закономерности, чтобы составить четкую и наглядную картину того, как все ваши системы работают в любой момент времени.

Ведение журнала стало неотъемлемой частью любой команды DevOps. Решения для управления журналами используются по-разному: от использования популярного стека ELK с открытым исходным кодом, который обычно развертывается в вашей собственной инфраструктуре, до использования полностью управляемых решений для управления журналами, таких как Sematext Cloud.

Основы управления журналами: что такое файл журнала?

Файл журнала — это текстовый файл, в который приложения, включая операционную систему, записывают события. Журналы показывают вам, что происходило за кулисами и когда это происходило, поэтому, если что-то пойдет не так с вашими системами, у вас будет подробный отчет о каждом действии до возникновения аномалии.

Таким образом, файлы журналов упрощают разработчикам, DevOps, системным администраторам или специалистам по безопасности получение аналитических сведений и выявление основной причины проблем с приложениями и инфраструктурой.

Хотите избежать проблем с управлением журналами на собственных серверах?
Отправляйте журналы в Sematext Logs и просматривайте все журналы и метрики под одной крышей, чтобы облегчить себе работу и быстро устранять неполадки.
Начните 14-дневную бесплатную пробную версию См. наши планы
Кредитная карта не требуется — начните работу за секунды

Журналы также полезны, когда системы работают нормально. Вы можете получить представление о том, как ваше приложение реагирует и работает, чтобы улучшить его.

Существует множество различных источников журналов, а также типов журналов.Вот некоторые из лучших источников журналов, которые мы видим сегодня, начиная с нижней части стека.

Network Gear

Когда мы взаимодействуем с мобильными приложениями, веб-приложениями, веб-сайтами и т. д., мы генерируем большой сетевой трафик. Сетевое оборудование — сетевые маршрутизаторы, сетевые коммутаторы и т. д. — может создавать журналы об этом трафике. В отличие от серверных журналов и журналов приложений, которые, как правило, используют более современные форматы и все более структурированные журналы, сетевое оборудование по-прежнему использует различные виды Syslog.

Журналы сервера и приложений

Традиционными источниками событий журнала являются серверы и приложения, работающие на этих серверах.Ядро выдает журнальные сообщения, например, какие драйверы оно загружает, был ли вызван убийца OOM и т.д. Кроме того, есть системные службы, такие как время входа пользователя в систему. Эта информация помогает диагностировать проблемы со стабильностью и безопасностью, а также узкие места в производительности на уровне системы. Отправляет ли ядро ​​файлы cookie SYN? Это может быть атака или сеть может быть перегружена.

Что касается приложений, у вас могут быть журналы веб-сервера Nginx, веб-приложение Java, работающее на Apache Tomcat, или приложение PHP, работающее на веб-сервере Apache.Они будут генерировать различные информационные события, ошибки или события журнала отладки.

Некоторые из этих журналов используют стандартные форматы, такие как Common Log Format, в то время как другие используют различные пользовательские форматы, в том числе различные структурированные форматы журналов, такие как ключ = значение или даже журналы JSON.

Если вы пишете собственное приложение, мы настоятельно рекомендуем структурированный формат ведения журнала. Гораздо проще анализировать конвейер.

Журналы контейнеров

В настоящее время все больше приложений развертывается в контейнерах.Таким образом, контейнеры и приложения, работающие внутри них, являются еще одним крупным источником журналов. В отличие от традиционных приложений и серверов и, конечно же, сетевого оборудования, контейнеры очень «неразборчивы». Фреймворки для оркестрации контейнеров, такие как Kubernetes, перемещают контейнеры с хоста на хост, адаптируясь к спросу и доступности ресурсов. Средняя продолжительность жизни контейнера короче, чем у светлячка или пчелы.

Вдобавок ко всему практика «SSH-входа», просмотра, просмотра и поиска журналов для устранения неполадок считалась плохой практикой в ​​облачном мире.Следовательно, различные проблемы мониторинга и управления журналами Docker требуют новых подходов и новых инструментов управления журналами Docker.

Дополнительная литература:

Мобильные устройства и журналы приложений

Мобильные приложения и устройства распространены повсеместно. Вы можете не рассматривать их как источники журналов, потому что вы не можете (легко) получить доступ к системным журналам или журналам приложений на устройстве iOS или Android. Ограниченное дисковое пространство и ненадежная сеть означают, что вы не можете локально регистрировать подробные сообщения, и вы не можете рассчитывать на то, что вы будете отправлять журналы в центральное место в режиме реального времени.

Несмотря на эти проблемы, важно знать, происходит ли сбой мобильного приложения и почему. Помимо этого, как приложение ведет себя и работает. Как правило, вы буферизуете до N сообщений локально и отправляете их в централизованную службу ведения журналов. Это то, что делают библиотеки Sematext Cloud для Android и iOS.

Датчики, Интернет вещей, Промышленный Интернет вещей

В потребительском пространстве у нас есть датчики в автомобилях, умные термостаты, подключенные к Интернету холодильники и другие устройства умного дома и, в более широком масштабе, умные города.

Промышленный Интернет вещей, или IIoT, соединяет машины и устройства в таких отраслях, как транспорт, производство электроэнергии, производство и здравоохранение.

Как правило, нас интересуют показатели, генерируемые этими устройствами. Например, мы собираем некоторые уровни загрязнения воздуха (PM2,5, PM10) и отправляем их в Sematext Cloud. Но важны и логи, выдаваемые этими устройствами: правильно ли запустился этот датчик? Нужна ли ему повторная калибровка? Сколько раз датчики выходили из строя за последние 6 месяцев? Основываясь на этой информации, какой производитель самый надежный? Это лишь некоторые примеры метаданных, которые можно извлечь из журналов IoT.

Почему важно управление журналами: основные преимущества и варианты использования

Управление журналами позволяет получить представление о работоспособности и соответствии ваших систем и приложений.

Без него вы бы спотыкались в темноте, надеясь точно определить источники проблем с производительностью, ошибок, неожиданного поведения и других подобных проблем. Вам придется вручную проверять несколько файлов журналов, пытаясь устранить производственные проблемы. Это мучительно медленно, подвержено ошибкам, дорого и не масштабируемо.

Управление журналами особенно важно для облачных приложений из-за их динамического, распределенного и эфемерного характера. В отличие от традиционных приложений, облачные приложения часто работают в контейнерах и выводят журналы в стандартный вывод вместо того, чтобы записывать их в файлы журналов. Это означает, что у вас нет «опции по умолчанию» для ручного сбора журналов. Как правило, вы собираете журналы и отправляете их в решение для централизованного управления журналами.

В двух словах, управление журналами позволяет операторам приложений и инфраструктуры (разработчикам, DevOps, системным администраторам и т.) для устранения неполадок и позволяет заинтересованным сторонам бизнеса (менеджерам по продуктам, маркетологам, BizOps и т. д.) извлекать ценную информацию из данных, встроенных в события журнала. Журналы также являются одним из ключевых источников данных для аналитики безопасности — обнаружения угроз, обнаружения вторжений, соответствия требованиям, сетевой безопасности и т. д., известных под общим названием SIEM (информация о безопасности и управление событиями).

Чтобы полностью понять важность управления журналами, мы собрали некоторые из основных преимуществ ниже:

Мониторинг и устранение неполадок

Наиболее распространенным и основным вариантом использования управления журналами является устранение неполадок программных приложений и инфраструктуры.События журнала идут рука об руку с мониторингом приложений и сервером. Разработчики, DevOps, системные администраторы и SecOps используют как метрики, так и журналы, чтобы получать предупреждения о производительности и проблемах с работоспособностью приложений и инфраструктуры, а также находить первопричины этих проблем. Наличие хороших инструментов управления журналами помогает сократить MTTR (среднее время восстановления), что, в свою очередь, помогает улучшить взаимодействие с пользователем. Длительные простои или даже приложения и инфраструктура, которые работают плохо, также могут привести к потере прибыли.Таким образом, программное обеспечение для управления журналами играет решающую роль в снижении MTTR.

Однако журналы могут быть полезны не только для устранения неполадок. Если ваши журналы структурированы — либо из источника, либо проанализированы в конвейере — вы можете извлечь интересные метаданные. Например, мы часто смотрим на журналы медленных запросов во время консультаций с Solr или Elasticsearch. Затем мы можем ответить на множество вопросов, например, какие типы запросов выполняются чаще, какие запросы медленные, какова разбивка по клиентам или у нас есть «шумные» клиенты? Все это помогает нам оптимизировать настройку, от архитектуры до запросов.Если все пойдет хорошо, мы получим более стабильную, быструю и экономичную систему. И мы облегчаем работу по поддержке собственного производства!

Менее «техническим» источником журналов может быть канал продаж. Если мы будем регистрировать действия клиентов на каждом этапе — вместе с метаданными клиента — мы сможем оптимизировать. Сколько из тех, кто создает учетную запись, в конечном итоге входит в систему? Могут ли они успешно использовать наш сервис, или нам следует улучшить нашу адаптацию? Существуют ли определенные категории клиентов (например, из определенного региона мира), у которых возникают проблемы? Мы можем получить эти сведения, если централизуем журналы.

Управление журналами и APM

Несмотря на то, что ведение журнала и мониторинг пересекаются, важно отметить, что они не являются разными словами для обозначения одного и того же процесса. Хотя оба они имеют решающее значение для понимания того, что пошло не так с вашей системой, у каждого из них разные цели. Ведение журнала связано с управлением данными внутри журналов и обеспечением их доступности для чтения и в любое время. Мониторинг или мониторинг производительности приложений (APM) берет эти данные и анализирует их, чтобы нарисовать картину поведения системы и помочь вам отследить причину.

Существуют отдельные инструменты, которые вы можете использовать для каждой функции, или вы можете выбрать комплексное решение, такое как Sematext Cloud, которое включает функции, необходимые для эффективного выполнения как регистрации, так и мониторинга.

Улучшенные операции

По мере того, как приложения и системы становятся все более и более сложными, увеличивается и размер и сложность ваших операций. SecOps, системным администраторам и DevOps будет сложнее контролировать все «вручную», что потребует больше времени и финансовых ресурсов.

С помощью ведения журнала вы можете определить тенденции во всей инфраструктуре вашей компании, что позволит вам адаптироваться на ранней стадии и найти решения, которые предотвращают «пожары» вместо необходимости «тушить их».

Лучшее использование ресурсов

Когда дело доходит до проблем с производительностью системы, перегрузка системы всегда подобна надвигающейся темной туче. Однако вы должны иметь в виду, что не всегда виновато ваше программное обеспечение, а скорее запросы, которые у вас есть на вашем сервере. Если их слишком много или они слишком сложны, у вашей системы могут возникнуть трудности с их обработкой.

В этом случае управление журналами помогает отслеживать использование ресурсов. Затем вы можете увидеть, когда ваша система близка к перегрузке, чтобы вы могли лучше распределять свои ресурсы.

Мониторинг производительности может сообщить вам о проблемах с производительностью, например о том, что запросы 90-го процентиля выполняются медленно. Они также могут выявить узкие места. Чтобы придерживаться примера, вы можете обнаружить, что ввод-вывод перегружен, когда запросы выполняются медленно. Тем не менее, вам понадобятся журналы запросов, чтобы получить более полезную информацию, такую ​​как содержание более дорогих запросов, сколько данных затрагивают эти запросы и сколько из них выполняются параллельно.В отличие от метрик, журналы позволяют фильтровать и визуализировать больше метаданных.

Взаимодействие с пользователем

Как и в предыдущем примере, одна из самых больших головных болей, о которой люди сообщают при работе с приложениями, — это длительное время ответа на запросы или отсутствие ответа вообще. Управление журналами позволяет отслеживать запросы на любом уровне (API, база данных и т. д.) и видеть, какие из них неэффективны. Это позволяет вам вмешиваться и понимать, почему возникают такие проблемы, тем самым сохраняя контроль над взаимодействием с пользователями.

Заинтересованы в решении, которое поможет вам обеспечить безупречное взаимодействие с пользователем?
Sematext Logs предлагает оповещения в режиме реального времени как по метрикам, так и по журналам, чтобы помочь обнаружить проблемы еще до того, как они затронут конечных пользователей.
Приступить к работе Ознакомьтесь с нашими планами
Бесплатно в течение 14 дней. Кредитная карта не требуется

Понимание поведения посетителей сайта

Управление журналами вместе с мониторингом реальных пользователей (RUM) может помочь отслеживать перемещение ваших пользователей по вашему сайту или платформе, чтобы вы могли получить представление об их поведении и улучшить их работу.Здесь управление журналами и мониторинг реальных пользователей (RUM) дополняют друг друга.

Инструменты RUM предоставляют доступ к точке зрения пользователя, такой как количество посетителей, которые были на вашем сайте, на каких страницах они провели больше всего времени, есть ли изменения в количестве посетителей и многое другое.

Из журналов у вас есть доступ к метаданным, более близким к вашей бизнес-логике: сколько пользователей в конечном итоге заплатили, как выглядели внутренние запросы и т. д. Сопоставляя эти два источника данных, вы можете определить возможности, например, когда запустить новый продукта, когда закрывать сайт на техническое обслуживание или предлагать скидки.

В Sematext мы предлагаем как RUM, так и управление журналами под одной крышей — Sematext Cloud. Вы можете создавать информационные панели с информацией из обоих.

Extra Security

Когда дело касается ИТ-безопасности, защиты не бывает слишком много. Анализ журналов лежит в основе любого решения SIEM: от сетевых, системных журналов и журналов аудита до журналов приложений. Аномалии здесь могут сигнализировать о нападении. Журналы помогают администраторам безопасности диагностировать аномалии в режиме реального времени, предоставляя прямой поток событий журнала.

Поэтому всякий раз, когда кто-то пытается взломать ваши стены — будь то изнутри или из-за внешней угрозы, вы будете лучше понимать, что на самом деле произошло. Вы также можете получить предупреждение до того, как произойдут аномалии, чтобы вы могли реагировать до того, как проблемы обострятся.

Политика аудита и ведения журналов безопасности

Лучший способ обеспечить соответствие требованиям безопасности и аудита — создать политику ведения журналов и мониторинга.

Политика управления журналами устанавливает стандарты безопасности для журналов аудита, включая системные журналы, журналы доступа к сети, журналы проверки подлинности и любые другие данные, которые связывают сетевые или системные события с действиями пользователя.В частности, в нем содержатся рекомендации относительно того, что записывать в журнал, где хранить журналы, как долго, как часто журналы следует просматривать, следует ли шифровать или архивировать журналы для целей аудита и т. д. Такие политики упрощают для групп сбор точных и значимых сведений, которые помогают обнаруживать и реагировать на подозрительный доступ к информационной системе или данным или их использование

Обеспечить соблюдение нормативных требований

Ввиду того, что виртуальные атаки становятся все более и более сложными для обнаруживать и решать, очень важно, чтобы ваша компания соответствовала требованиям политик безопасности, аудита, регулирования и криминалистики.

Одними из наиболее важных являются HIPPA (Закон о переносимости и подотчетности медицинского страхования), PCI DSS (Стандарт безопасности данных индустрии платежных карт) и GDPR (Общее положение о защите данных). Кроме того, ужесточение нормативных требований требует, чтобы вы собирали данные журналов, хранили их и защищали от угроз, а также чтобы они были доступны для аудита. В противном случае, если произойдет утечка данных, ваша компания может быть подвержена потере прибыли, а также крупным штрафам из-за различных правил, установленных несколькими организациями.

Управление журналами поможет предупредить нужных людей о любых подозрительных действиях, связанных с пользовательскими данными.

Мы написали статью о передовых методах ведения журналов, которым вы должны следовать, чтобы обеспечить соответствие GDPR, если вы хотите узнать больше.

Жизненный цикл управления журналами: как это работает?

Управление журналами включает 5 основных функций, соблюдение которых обеспечит бесперебойную работу журналов и мониторинга. Давайте посмотрим, что это за 5 элементов:

Сбор журналов

Как упоминалось выше, все ваши системы и приложения генерируют файлы журналов в любой момент времени, которые могут храниться в различных местах вашего программного стека, операционной системы, контейнеров, облачной инфраструктуры. и сетевые устройства.

Под сбором журнала мы подразумеваем извлечение данных из источника (например, файла журнала) или прием данных, отправленных из этого источника (через UNIX или сетевой сокет). Затем вы можете отправить его на следующий переход в конвейере.

Сборщик журналов (или отправитель) должен, по крайней мере, иметь возможность каким-то образом буферизовать данные на случай, если он не сможет связаться с пунктом назначения. Иногда хорошей идеей является также парсинг и обогащение рядом с исходным кодом. Но мы поговорим об этом подробнее в следующем разделе: агрегация журналов.

Связанные статьи по транспортировке журналов :

Объединение журналов в централизованное хранилище журналов

Следующим ключевым элементом управления журналами является объединение журналов.

Типичный конвейер объединения журналов имеет возможность:

  • собирать журналы из необходимых источников, как описано выше.
  • журналы буфера на случай проблем с сетью или пропускной способностью.
  • анализировать журналы, чтобы преобразовать их в формат, который можно индексировать. Например, Elasticsearch потребляет JSON, поэтому вам нужно опционально преобразовывать свои логи в JSON
  • , обогащать их различными метаданными.Например, зная IP-адрес источника, вы можете пометить отдел компании этого хоста или его географическое положение.

Вы можете или не хотите разделять эти роли. Вот несколько примеров архитектур:

  • делать все близко к исходнику . Это будет автоматически масштабироваться с количеством источников, но может стать проблемой, если у вас ограниченные ресурсы (например, сеть или мобильные устройства). Например, на каждом хосте, генерирующем журналы, можно установить облегченный поставщик журналов, такой как rsyslog или Logagent.
  • имеют выделенные серверы, которые выполняют буферизацию, синтаксический анализ и обогащение . Предпочтительно в таком порядке, чтобы данные можно было буферизовать, если обработка слишком затратна. Примером такого дизайна является централизованный Logstash, получающий данные от облегченного поставщика журналов, такого как Filebeat.
  • имеют выделенную буферизацию, обычно это кластер Kafka . (Легкий) отправитель журналов будет отправлять данные в Kafka. С другой стороны, у вас есть потребитель (например, Logstash или Logagent), отвечающий за синтаксический анализ, обогащение и отправку данных в конечное хранилище.

Это окончательное хранилище может быть развернуто внутри компании, как ваш собственный Elasticsearch или Solr. Или это может быть управляемый сервис, такой как Sematext Cloud. Управляемая служба может позаботиться о частях конвейера за вас. Например, вы можете отправлять системный журнал прямо со своих устройств в Sematext Cloud, где он буферизуется, анализируется и индексируется. Он также может автоматически создавать резервные копии в корзине AWS S3 в целях архивирования/соблюдения требований.

Подробнее об этом шаге процесса управления журналами мы расскажем в нашем специальном руководстве по объединению журналов.

Поиск и анализ журналов

Сохраненные и проиндексированные файлы журналов теперь доступны для поиска. Обычно с помощью структурированного языка, такого как синтаксис запросов Lucene, используемый в Sematext Cloud. Это облегчает вам погружение в анализ первопричин.

Анализ журнала может быть больше, чем просто поиск. Даже при устранении неполадок часто бывает полезно иметь возможность визуализировать разбивку данных: не увеличивается ли общий объем в какой-то момент? Как насчет объема трафика? Или количество ошибок на хост? Если ваши журналы структурированы на момент индексации, вы можете получить всю эту информацию и многое другое.

Если вам интересно узнать больше об этом конкретном этапе процесса управления журналами, обратитесь к нашему учебному пособию по анализу журналов.

Мониторинг журналов и оповещения

Управление журналами помогает держать вас в тонусе, постоянно предоставляя данные о работе ваших систем и приложений. Он также информирует вас о том, нормально ли работает ваша инфраструктура, есть ли аномалии в работе или нарушения безопасности.

Ключевой частью этого процесса является то, что он позволяет настроить правила и оповещения, чтобы нужные группы или люди были уведомлены в режиме реального времени о принятии мер до того, как затронуты пользователи.

Например, правило может состоять в том, чтобы предупреждать вашу службу безопасности всякий раз, когда определенное количество неудачных попыток входа в систему, или сотрудников отдела продаж, когда слишком много людей бросают свои тележки для покупок.

Связанные статьи:

Визуализация журналов и создание отчетов

Все члены рабочей группы, а также другие члены кросс-функциональной группы должны иметь доступ к одной и той же информации, чтобы все находились на одной странице. Отчеты и визуализация делают все, что происходит за кулисами, доступным для всех, включая людей за пределами ИТ-отдела.

При создании отчетов для заинтересованных сторон вы сможете отображать тенденции данных в виде линейных диаграмм временных рядов, группировать данные и рисовать удобные круговые диаграммы. Не говоря уже о том, что графики, визуальное представление тенденций и информационные панели оказывают гораздо большее влияние — например, когда вы видите огромный всплеск — на лиц, принимающих решения.

Четкое представление о том, как большие объемы данных работают с течением времени, облегчает выявление тенденций или аномалий в поведении. Затем вы можете просто перейти к строке журнала, которая является причиной всплеска.

Ищете решение, которое упрощает получение более полных сведений из журналов?
Sematext Logs предлагает богатые информационные панели и возможности отчетности, которые помогают быстрее обнаруживать аномалии, а также извлекать ключевые показатели эффективности бизнеса.
Попробуйте бесплатно в течение 14 дней См. наши планы
Кредитная карта не требуется

Проблемы управления журналами в современных ИТ-средах

При переходе приложений от монолитной к микросервисной архитектуре вы будете продолжать добавлять более сложные уровни поверх примитивной инфраструктуры .Это, в свою очередь, затрудняет просмотр вашего стека. В то время как облачные вычисления и практически «неограниченное» хранилище решили некоторые из традиционных проблем управления журналами, современные приложения создают дополнительный и другой набор проблем

  • Распределенные системы генерируют огромные объемы данных, которые дорого хранить и сложно запрашивать.
  • Сбор журналов, отправка, мониторинг и оповещение должны выполняться в режиме реального времени, чтобы команды могли немедленно приступить к устранению неполадок.
  • Облачная архитектура требует эффективного ведения журналов, оповещений, автоматизации, инструментов анализа, упреждающего мониторинга и отчетности, которые не поддерживаются традиционным управлением журналами.
  • Журналы бывают разных форматов, которые необходимо поддерживать.

К счастью, современные системы управления журналами с их 5 функциями — сбор журналов, агрегация, поиск и анализ, мониторинг и оповещение, визуализация и отчетность — могут помочь решить эти проблемы с журналированием.Однако эти функции должны быть построены на основе облачных принципов, таких как высокая доступность, масштабируемость, отказоустойчивость и автоматизация. Более того, многолетний опыт проб и ошибок выявил несколько советов и приемов, которые можно использовать для эффективного ведения журналов даже в таких сложных средах. Давайте посмотрим на это дальше.

Политика управления журналами

Политика управления журналами содержит рекомендации относительно того, какие типы действий необходимо регистрировать для отслеживания потенциального мошенничества, ненадлежащего использования и т. д.В частности, в нем указывается, что записывать в журнал, где хранить журналы и как долго, как часто журналы следует просматривать, должны ли журналы шифроваться или архивироваться для целей аудита и т. д. Внедрение политики ведения журнала в масштабе предприятия обеспечивает правильную работу, что упрощает, ускоряет и делает устранение неполадок более эффективным.

В то же время это помогает снизить затраты. Может быть сложно добиться нужного уровня видимости при минимальных затратах. Чем больше журналов вы соберете, тем больший бюджет вы должны выделить на нужды мониторинга.Таким образом, сбор журналов на основе политики ведения журналов позволяет вам получать полную и правильную информацию для ваших вариантов использования.

Обычно политики ведения журналов требуются для определенных стандартов сертификации, но даже если вы не подпадаете под регулирование или сертификацию, все равно важно знать, какие журналы отслеживать, поскольку это позволяет вам расследовать случаи мошенничества, а конфиденциальность ваших пользователей защищена. в игру.

Внедрение политики управления журналами представляет собой трехэтапный процесс: установите политику, доведите ее до сведения всей компании, а затем введите ее в действие.Однако вы должны иметь в виду, что вам нужны разные политики для требований аудита и требований безопасности.

Зачем использовать средства управления журналами

Как упоминалось ранее, вы можете самостоятельно пройти все этапы управления журналами. Однако, если вы не используете инструменты управления журналами, вам потребуется потратить много времени и энергии.

Решения для управления журналами могут управлять всем процессом управления журналами, предоставляя вам возможность персонализировать каждый шаг в зависимости от ваших потребностей.Кроме того, они позволяют визуализировать и обогащать журналы, делая их легко доступными как для устранения неполадок, так и для бизнес-аналитики. Не говоря уже о том, что решения для централизованного ведения журналов позволяют обнаруживать аномалии в реальном времени и предупреждать о них, чтобы вы могли точно определить проблемы еще до того, как они затронут конечного пользователя.

Как выбрать программное обеспечение для управления журналами: основные функции и требования

Существует множество поставщиков, предлагающих управление журналами как услугу для DevOps, как бесплатную, так и платную.

Что общего у этих инструментов? Есть несколько основных требований, на которые следует обращать внимание при поиске программного обеспечения для управления журналами:

  • Простота адаптации и интеграции с уже существующими системами
  • Поддержка SSL-шифрования данных при передаче и доступа на основе ролей
  • Соответствие актуальным нормативные требования
  • Интуитивно понятный пользовательский интерфейс
  • Быстрые и интуитивно понятные функции поиска и фильтрации
  • Поддержка расширенной аналитики, такой как машинное обучение и обнаружение аномалий, для решения проблем с большими данными
  • Масштабируемость и гибкость по мере роста объема данных без увеличения затрат
  • Оповещения и уведомления в режиме реального времени

Sematext как решение для централизованного ведения журналов

Sematext Cloud — это облачная платформа с полным стеком наблюдения, которая устраняет разрыв между мониторингом инфраструктуры, отслеживанием, управлением журналами, синтетическим мониторингом и мониторингом реальных пользователей. повышение эффективности и предоставление действенной информации Быстрее.Вы можете легко выявлять и устранять проблемы до того, как они повлияют на ваших пользователей, а также выявлять возможности для стимулирования роста бизнеса — мы рекомендуем вам более подробно изучить это здесь.

Если вы хотите увидеть, как это сочетается с аналогичными решениями, посмотрите наши обзоры:

Следующие шаги

Надеюсь, это руководство помогло вам понять, что такое управление журналами, как оно работает и как выбрать правильные инструменты. . Следующий шаг — выбрать правильный инструмент и начать регистрацию. А поскольку лучше всего с самого начала заложить основу, ознакомьтесь с некоторыми рекомендациями по ведению журналов, которым вы должны следовать, чтобы воспользоваться всеми преимуществами данных журнала.

Дальнейшее чтение:

%PDF-1.4 % 350 0 объект > эндообъект внешняя ссылка 350 141 0000000016 00000 н 0000004073 00000 н 0000004287 00000 н 0000004338 00000 н 0000004364 00000 н 0000004417 00000 н 0000004452 00000 н 0000004674 00000 н 0000004783 00000 н 0000004890 00000 н 0000005027 00000 н 0000005182 00000 н 0000005261 00000 н 0000005340 00000 н 0000005419 00000 н 0000005497 00000 н 0000005575 00000 н 0000005653 00000 н 0000005732 00000 н 0000005811 00000 н 0000005890 00000 н 0000005970 00000 н 0000006049 00000 н 0000006129 00000 н 0000006208 00000 н 0000006288 00000 н 0000006367 00000 н 0000006447 00000 н 0000006526 00000 н 0000006606 00000 н 0000006685 00000 н 0000006765 00000 н 0000006844 00000 н 0000006924 00000 н 0000007003 00000 н 0000007083 00000 н 0000007162 00000 н 0000007242 00000 н 0000007321 00000 н 0000007401 00000 н 0000007480 00000 н 0000007560 00000 н 0000007639 00000 н 0000007719 00000 н 0000007798 00000 н 0000007878 00000 н 0000007957 00000 н 0000008037 00000 н 0000008116 00000 н 0000008196 00000 н 0000008275 00000 н 0000008355 00000 н 0000008434 00000 н 0000008514 00000 н 0000008593 00000 н 0000008673 00000 н 0000008752 00000 н 0000008832 00000 н 0000008911 00000 н 0000008990 00000 н 0000009068 00000 н 0000009146 00000 н 0000009224 00000 н 0000009302 00000 н 0000009381 00000 н 0000009460 00000 н 0000009538 00000 н 0000009617 00000 н 0000009695 00000 н 0000009773 00000 н 0000009852 00000 н 0000009930 00000 н 0000010008 00000 н 0000010086 00000 н 0000010164 00000 н 0000010242 00000 н 0000010319 00000 н 0000010396 00000 н 0000010474 00000 н 0000010551 00000 н 0000010629 00000 н 0000010706 00000 н 0000010784 00000 н 0000010862 00000 н 0000010939 00000 н 0000011016 00000 н 0000011093 00000 н 0000011169 00000 н 0000011246 00000 н 0000011325 00000 н 0000011526 00000 н 0000012281 00000 н 0000012762 00000 н 0000013165 00000 н 0000013201 00000 н 0000013278 00000 н 0000013784 00000 н 0000014128 00000 н 0000014675 00000 н 0000017520 00000 н 0000017741 00000 н 0000017975 00000 н 0000020645 00000 н 0000030091 00000 н 0000039230 00000 н 0000044415 00000 н 0000045019 00000 н 0000055487 00000 н 0000068413 00000 н 0000070390 00000 н 0000070447 00000 н 0000070673 00000 н 0000070771 00000 н 0000070866 00000 н 0000070990 00000 н 0000071081 00000 н 0000071172 00000 н 0000071280 00000 н 0000071388 00000 н 0000071533 00000 н 0000071673 00000 н 0000071875 00000 н 0000072045 00000 н 0000072171 00000 н 0000072337 00000 н 0000072480 00000 н 0000072641 00000 н 0000072772 00000 н 0000072933 00000 н 0000073041 00000 н 0000073185 00000 н 0000073338 00000 н 0000073451 00000 н 0000073570 00000 н 0000073684 00000 н 0000073839 00000 н 0000073948 00000 н 0000074083 00000 н 0000074203 00000 н 0000074331 00000 н 0000003116 00000 н трейлер ]>> startxref 0 %%EOF 490 0 объект > поток xb```f`5e`g``} À

Журнал событий: использование журналов событий и конечных точек для обеспечения безопасности

Журнал событий — это файл, содержащий информацию об использовании и работе операционных систем, приложений или устройств.Специалисты по безопасности или автоматизированные системы безопасности, такие как SIEM, могут получить доступ к этим данным, чтобы управлять безопасностью, производительностью и устранять проблемы с ИТ.

На современном предприятии с большим и растущим числом конечных устройств, приложений и служб уже невозможно управлять безопасностью и ИТ-операциями только с помощью мониторинга сети. Журналы событий и, в частности, журналы конечных точек имеют решающее значение.


Введение в журналы событий и журналы безопасности

События, происходящие на устройствах конечных пользователей или в ИТ-системах, обычно записываются в файлы журналов.Операционные системы записывают события с помощью файлов журнала. Каждая операционная система использует свои собственные файлы журналов, а приложения и аппаратные устройства также генерируют журналы. Группы безопасности могут использовать журналы безопасности для отслеживания пользователей в корпоративной сети, выявления подозрительных действий и обнаружения уязвимостей.

Большинство организаций, занимающихся вопросами безопасности и ИТ, обнаруживают, что системы генерируют больше журнальной информации, чем могут обработать. Инструменты управления событиями и журналами помогают анализировать журналы, отслеживать важные события, записанные в журналах, и использовать их для выявления и расследования инцидентов безопасности.

Ключевые понятия управления журналами

Журнал

Необработанные данные, хранящиеся в компьютерной системе.

События

Что-то, что происходит где-то в сети или в компьютерной системе.

Инциденты

События, идентифицированные как возможные нарушения безопасности.


Использование журналов конечной точки для обеспечения безопасности

С ростом использования конечных устройств, многие из которых являются ноутбуками, телефонами или другими мобильными устройствами, журналы конечных точек становятся все более важными для обеспечения безопасности.Злоумышленники, получившие доступ к конечному устройству, могут использовать его для проникновения в вашу сеть. Поэтому очень важно собирать данные из журналов конечных точек и выявлять вредоносные или несанкционированные действия.

Использование журналов событий Windows для обеспечения безопасности

Операционная система Windows записывает в журнал активность программных или аппаратных компонентов. Администраторы могут получить доступ к этой информации для обнаружения и устранения проблем. Шесть категорий по умолчанию используются для классификации событий:

  • Журнал приложений – события, регистрируемые приложениями.Разработчики определяют события, регистрируемые их приложением. Приложение может регистрировать информацию из нескольких источников. Важно указать источник вместе с идентификатором события.
  • Системный журнал — события, регистрируемые операционной системой. Например, проблемы, с которыми сталкиваются драйверы в процессе запуска.
  • Журнал безопасности — события, связанные с безопасностью, включая попытки входа в систему или удаление файла. Администраторы определяют, какие события заносить в свой журнал безопасности, в соответствии со своей политикой аудита.
  • Журнал службы каталогов — записывает операции активного каталога, такие как проверка подлинности и изменение привилегий. Доступно только на контроллерах домена.
  • Журнал DNS-сервера — записывает активность DNS. Доступно только на DNS-серверах.
  • Журнал службы репликации файлов — записывает репликацию контроллера домена, доступен только на контроллерах домена.

Систему Windows под названием «Просмотр событий» можно использовать для просмотра журналов событий всех вышеуказанных категорий.Средство просмотра событий отображает информацию о событии, включая дату и время, имя пользователя, компьютер, источник и тип.

Типы событий журнала безопасности

Хотя все типы событий могут иметь значение при расследовании инцидента безопасности, журналы безопасности имеют особое значение. Windows создает запись в журнале безопасности при попытках входа в систему и регистрирует дополнительную информацию, если попытка входа успешна. Типы зарегистрированных событий:

  • События входа в учетную запись
  • Управление учетной записью
  • Доступ к службе каталогов
  • События входа в систему
  • Доступ к объекту
  • Изменение политики
  • Привилегированное использование
  • Отслеживание процессов
  • Системные события
Общие события журнала Windows, используемые в расследованиях безопасности

Вот несколько распространенных кодов событий в Windows 7/Vista/8/10 и Windows Server 2008/2012R2/2016/2019 (предыдущие версии Windows имеют другие коды), обычно используемые в расследованиях безопасности:

службы
Код события Что это означает
Event ID Что это означает
4624 Успешный полено
4625 Ошибка войти в систему
4634 журнал счета от
4648 Вход на попытку с явными учетными
4719 изменение политики аудита системы
4964 Специальная группа присваивается новый журнал на попытка
1102 журнал аудита очищается
4720 Новая учетная запись пользователя, созданная
4722 Учетная запись пользователя включена
4723 попытка смены пароля
4725 Учетная запись пользователя отключена
4728 909 79 добавили в привилегированном глобальную группу пользователей добавили
4732 Пользователь привилегированному локальной группы
4756 Пользователь был добавлен в привилегированном универсальной группе
4738 Изменение в учетной записи пользователя
4740 пользователя заблокирован счета
4767 Учетная запись пользователя разблокирована
4735 Изменения в привилегированную локальной группу
4737 Изменения в привилегированную глобальную группу
4755 Переход к универсальной группе
4772 Failed запрос билета Kerberos
4777 контроллер домена не удалось полномочий VALIDATE
4782 пароль учетной записи хэш доступ к которым
4616 система времени изменилась
4657 Изменения в значение реестра
4697 Service установка попытка
4946 Правила добавляется в исключение брандмауэра Windows
4947 Правила модифицированного в исключении брандмауэра Windows
4950 Брандмауэр Windows в разделе изменение параметров
4954 изменения в Windows, групповой политики брандмауэра
5025 Брандмауэр Windows перестал
5031 приложений блокируется брандмауэром Windows от приема трафик
5155 Платформа фильтрации Windows заблокировала службу от прослушивания порта
Использование журналов событий Linux для обеспечения безопасности

Операционная система Linux хранит временную шкалу событий, связанных с сервером, ядром и работающими приложениями.Основные категории журналов:

  • Журналы приложений
  • Журналы событий
  • Журналы служб
  • Системные журналы

Существует несколько способов просмотра журналов в Linux:

  • Доступ к каталогу cd/var/log . Определенные типы журналов хранятся во вложенных папках в папке журнала, например, var/log/syslog .
  • Используйте команду dmseg для просмотра всех системных журналов.
  • Используйте команду tail  , которая отображает последние строки, записанные в определенный файл журнала, где обычно обнаруживаются проблемы.Например, tail -f /var/log/syslog выводит следующую строку, записанную в файл, что позволяет отслеживать изменения в файле системного журнала по мере их возникновения.

Ниже перечислены часто используемые файлы журналов Linux:

  • /var/log/syslog или /var/log/messages — общие журналы активности системы. Используется для обнаружения проблем, которые могут возникнуть во время запуска, или для изоляции ошибок службы приложений. Системы на основе RedHat хранят информацию в папке сообщений, а системы на базе Debian — в папке системного журнала.
  • /var/log/auth.log или /var/log/secure — все журналы аутентификации и авторизации. Используется для расследования неудачных попыток входа в систему. Системы на основе RedHat хранят их в папке auth.log, а системы на основе Debian хранят их в защищенной папке.
  • /var/log/kern.log — журналы активности ядра, включая пользовательские ядра.
  • /var/log/faillog — неудачные попытки входа в систему.
  • /var/log/maillog или var/log/mail.log — журналы, относящиеся к почтовым серверам.Используется для отслеживания таких проблем, как электронные письма, помеченные как спам, и подозрительное использование postfix или smtpd.
На каких данных следует сосредоточиться при исследовании безопасности журналов событий Linux?

Выполните оценку рисков для систем Linux в вашей организации и определите, какой уровень ведения журналов им необходим, как следует просматривать журналы и какие события журналов должны генерировать предупреждения системы безопасности. В большинстве случаев вам потребуется регистрировать следующую информацию о системе Linux в целях безопасности:

.
  • Идентификаторы пользователей и терминалов
  • Попытки входа и выхода пользователей
  • Любые попытки доступа к системам, данным, приложениям, файлам или сетям, будь то на локальном компьютере или через локальную или глобальную сеть
  • Изменения в конфигурации Linux
  • Запуск исполняемых процессов на машине
  • Использование системных утилит
  • События, связанные с безопасностью, активация или деактивация инструментов безопасности
Использование iOS Logging для безопасности

iOS не регистрирует события, однако регистрирует отчеты о сбоях приложений.iOS 10.0 и более поздние версии предлагают API, который можно использовать для регистрации событий приложений. Вы можете использовать отчеты о сбоях и API ведения журналов, чтобы находить и исследовать ошибки, сгенерированные вашими приложениями как во время разработки, так и в процессе производства.

Устройства

iOS имеют собственные функции безопасности, реализованные как в аппаратном, так и в программном обеспечении. API ведения журналов предоставляет доступ к данным, сгенерированным этими функциями безопасности. В том числе:

  • Шифрование данных – защищает как личные, так и деловые данные от несанкционированного использования.
  • Безопасность приложений — проверяет безопасность приложений iOS.
  • Сетевая безопасность — предоставляет разработчикам протоколы для безопасной аутентификации и зашифрованной передачи данных.
  • Apple pay — устройства iOS можно использовать для безопасной оплаты. Идентифицирующая информация не собирается.
  • Интернет-услуги — iOS предоставляет различные безопасные услуги, такие как iMessage и iCloud Backup.
  • Управление паролями пользователей – методы аутентификации, такие как связка ключей автозаполнения пароля.Приложения не могут получить доступ к этой информации без разрешения пользователя.
  • Элементы управления устройствами — инструменты управления, позволяющие выполнять такие действия, как удаленная очистка украденных устройств.
  • Элементы управления конфиденциальностью — пользователи могут решать, какие приложения получают доступ к какой информации.
Использование ведения журнала Android для обеспечения безопасности

Android предлагает платформу, которая обеспечивает доступ ко всем журналам системы и приложений, включая журналы из драйвера ядра, классов C, C++ и Java.Платформа ведения журналов предоставляет приложения для просмотра и фильтрации сообщений журнала.

Типы журналов Android

  • Журнал приложений — приложение Android использует класс android.util.Log для создания сообщений журнала. Приложения могут устанавливать уровни журналов или «серьезность» сообщений и описательные теги, чтобы включить фильтрацию журналов и оповещения.
  • Журнал событий — сообщения создаются с использованием класса android.util.EventLog , который использует сообщения журнала в двоичном формате.Записи журнала состоят из двоичных кодов тегов, двоичных параметров и строки сообщения журнала. Коды сообщений хранятся в /system/etc/event-log-tags .
  • Системный журнал — классы в среде Android используют системный журнал для отделения своих сообщений от журналов приложений. Классы Android ведут журнал с помощью класса android.util.Slog .

Регистрация конфиденциальных данных

  • Обратите внимание на то, как ваша организация обрабатывает пользовательские данные.В Android журналы передаются приложениям с разрешением READ_LOGS, что означает, что вы можете непреднамеренно передавать пользовательские данные другим приложениям.
  • Сведите пользовательские данные к минимуму. Вы можете сделать это, отказавшись от хранения или передачи информации, позволяющей установить личность (PII). Внешние компоненты не должны обращаться к пользовательским данным, если у них нет на то причин.
  • Если приложениям требуется доступ к данным, предоставьте прямой доступ через клиент. Таким образом, данные не нужно передавать на другие серверы.

Дополнительные журналы, которые следует отслеживать

Помимо общих источников журналов, упомянутых выше, существует множество других корпоративных систем и инструментов безопасности, которые генерируют журналы. Все они могут иметь последствия для безопасности. Тем не менее, очень важно определить приоритеты журналов для мониторинга аналитиками, поскольку во многих организациях имеется ограниченный персонал службы безопасности.

Ниже приведен список наиболее распространенных журналов и источников информации, с которыми вы можете столкнуться в своей организации.Выберите наиболее важные источники, которые ваша служба безопасности будет регулярно контролировать.

Журналы контроля безопасности

  • IDS
  • Безопасность конечных точек (антивирус, защита от вредоносных программ)
  • Предотвращение потери данных
  • Концентраторы VPN
  • Веб-фильтры
  • Honeypots
  • Брандмауэры

Сетевые журналы

  • Маршрутизаторы
  • Коммутаторы
  • Контроллеры домена
  • Беспроводные точки доступа
  • Серверы приложений
  • Базы данных
  • Приложения интрасети

Информация об инфраструктуре

  • Конфигурация
  • Местоположение
  • Владельцы
  • Сетевые карты
  • Отчеты об уязвимостях
  • Инвентаризация программного обеспечения

Деловая информация s

  • Карты бизнес-процессов
  • Контактные лица
  • Информация для партнеров

Регистрация информации о безопасности и управлении событиями (SIEM)

Ведение журнала SIEM  – это процесс объединения и мониторинга журналов в целях безопасности.Системы SIEM используются группами безопасности для сбора данных о событиях из ИТ-систем и инструментов безопасности в организации и используют их для выявления подозрительного поведения, которое может означать инцидент с безопасностью.

Общие события журнала, связанные с безопасностью, отслеживаемые SIEM Включая:

  • Предупреждение от антивируса или защиты конечных точек о заражении вредоносным ПО
  • Предупреждение от системы электронной почты о спаме или вредоносном содержимом в электронной почте
  • Предупреждение брандмауэра о заблокированном сетевом трафике
  • Подключение к системе с неизвестного хоста или IP-адреса
  • Неудачные входы в систему
  • Изменение привилегий пользователя, особенно повышение привилегий
  • Использование новых или неизвестных портов или протоколов, которые не являются безопасными или нарушают политику безопасности
Обнаружение инцидентов безопасности с использованием правил корреляции

Традиционно SIEM генерировали оповещения из журналов с помощью правил корреляции.Правило корреляции определяет серию событий и определенные значения журналов или диапазоны значений, которые могут указывать на угрозу безопасности (например, три или более неудачных попыток входа в систему). Еще одним способом извлечения угроз безопасности из журналов является анализ уязвимостей, при котором автоматические сканеры могут сканировать сети на предмет уязвимостей программного обеспечения, на которые могут нацелиться злоумышленники, и некоторые из этих сканирований основаны на журналах.

Обнаружение инцидентов безопасности с помощью поведенческого анализа

Технология SIEM следующего поколения использует аналитику поведения пользователей и событий (UEBA) для установления базовых показателей поведения пользователей и других объектов в сети, таких как серверы, конечные точки или приложения.Механизм поведенческой аналитики может отслеживать поведение и определять, отклоняется ли оно от базового уровня или, другими словами, если что-то «выглядит иначе», даже если оно не может быть определено строгим правилом корреляции. Если отклонения достаточно велики и указывают на угрозу безопасности, система UEBA выдает предупреждение. Это может помочь обнаруживать внутренние угрозы, мошенничество и сложные постоянные угрозы (APT), а также другие сложные методы атак, которые могут легко избежать обнаружения на основе правил корреляции.Пример SIEM следующего поколения со встроенным UEBA см. в Exabeam Advanced Analytics.

Почему управление журналами имеет решающее значение для безопасности и надежности инфраструктуры?

Управление журналами — это важнейшая часть ваших стратегий в области информационных технологий и кибербезопасности, а также потенциально необходимая часть, если ваша организация подпадает под действие каких-либо нормативных требований. Узнайте больше о важности управления журналами и о том, какую пользу может принести ваша организация.

 

Регистрация событий кажется очевидным ИТ-требованием для любого сетевого администратора для обеспечения бесперебойной работы оборудования, но объединение журналов и управление ими необходимы для других преимуществ, включая аналитику, быстрое время отклика и работоспособность вашей инфраструктуры.События — это любые действия, выполняемые на сервере или в приложении, включая сбои аутентификации, ошибки, изменения переменных среды и скачки использования ресурсов. В корпоративной среде потенциально могут храниться тысячи событий только в одном файле, поэтому управление журналами имеет решающее значение для организации и анализа событий с целью выявления проблем, которые необходимо устранить до системного сбоя.

Что такое управление журналами?

Когда в вашей сети есть только один сервер, файл, содержащий сотни событий, не кажется чем-то неуправляемым, но подумайте о том, что происходит, когда у вас есть десятки серверов, включая вычислительные ресурсы в облаке, регистрирующие тысячи событий каждый день.Без управления журналами события на нескольких сетевых устройствах превращаются в неорганизованный беспорядок.

Первым шагом в управлении журналами является объединение событий в одном месте. Агрегация журналов берет все события и объединяет их в одном месте. Когда события происходят в одном месте, ими гораздо легче управлять. Агрегация журналов предлагается несколькими поставщиками программного обеспечения как услуги (SaaS), чтобы упростить внедрение решения, поэтому это решение часто подходит организациям, которые не знают, с чего начать управление журналами.

Надлежащее управление журналами также повышает надежность и кибербезопасность событий инфраструктуры. Поскольку события хранятся централизованно, администраторы также уменьшают поверхность атаки. Аналитики безопасности предлагают уменьшить поверхность атаки, ограничив количество потенциальных точек компрометации, доступных в сети. Сохраняя журналы в одном месте, администраторам достаточно защитить одно место, а не несколько точек хранения в сети.

Надежность также является важным фактором при внедрении надлежащего управления журналами.Благодаря тому, что журналы расположены в одном месте, любое приложение, используемое для сбора и анализа событий, можно настроить для извлечения их из одной точки хранения. Если события не сохраняются, администраторы могут быстро определить один источник, который не может отправить события в одно место.

Зачем разработчикам необходимо управление журналами?

Каждое приложение и компонент инфраструктуры должны регистрировать события. Журналы приносят разработчикам несколько преимуществ. Основная причина объединения журналов в приложении — отслеживание и мониторинг ошибок.Ошибки вызывают разочарование пользователей и могут привести к потере пользовательской базы организации. Большинство пользователей не будут жаловаться на ошибку, если вместо этого они могут просто работать с другим поставщиком, поэтому разработчикам очень важно знать, когда их программное обеспечение выдает ошибки и прерывает рабочие процессы пользователей.

Некоторые другие причины, по которым разработчики регистрируют события, включают:

  • Определение того, обрабатывается ли ошибка, чтобы пользователи не просто видели сообщение об ошибке без инструкций о том, что делать дальше.
  • Приоритизируйте проблемы, чтобы можно было обрабатывать критические сбои, прежде чем обращаться с безобидными предупреждениями.
  • Приложения, использующие события для анализа, можно использовать для мониторинга производительности и стабильности.
  • Снижение производительности можно отслеживать, чтобы определить, вызвано ли оно ресурсами сервера или кодированием приложения.

Почему управление журналами важно для системных администраторов?

По мере роста сети администраторам становится все труднее отслеживать новые ресурсы, добавляемые в среду, и управлять ресурсами, выведенными из эксплуатации и выведенными из эксплуатации.Администратор должен иметь возможность контролировать все устройства, установленные в сети, на предмет производительности, исчерпания ресурсов, потенциальных кибер-событий и времени безотказной работы. События, связанные с этими показателями, отправляются в файлы журналов, которые затем могут использоваться приложениями, используемыми для отображения аналитики администраторам.

Несколько других преимуществ управления журналами для администраторов включают:

  • Анализ потенциальных проблем с инфраструктурой, которые можно быстро устранить до простоя.
  • Обнаружение изменений в конфигурациях инфраструктуры, которые могут привести к простою или указывать на продолжающуюся кибератаку.
  • Определите, работают ли серверы с максимальной производительностью.
  • Определите все серверы, которым требуются дополнительные ресурсы для повышения скорости.
  • Найдите хранилище, которое может быть переполнено.

Как управление журналами помогает ИТ-безопасности?

Журналы обычно используются для мониторинга оборудования и приложений, но аналитики безопасности также в значительной степени полагаются на регистрируемые события для обнаружения текущих атак, расследования событий и реагирования на инциденты.В большинстве корпоративных сетей есть центр управления безопасностью (SOC), и люди, работающие в SOC, полагаются на управление журналами для проведения анализа кибербезопасности среды.

Несколько других преимуществ управления журналами для ИТ-безопасности включают:

  • Зарегистрированные события можно использовать для мониторинга сетевой среды в режиме 24/7 без необходимости проверки людьми.
  • Отправка предупреждений администраторам и сотрудникам службы кибербезопасности при обнаружении угрозы.
  • Обнаружьте неправильные настройки безопасности, прежде чем можно будет использовать уязвимость.
  • Проведение криминалистических экспертиз и расследований после киберсобытия для определения местоположения уязвимости.
  • Предоставьте администраторам аналитику, чтобы они могли определить состояние кибербезопасности системы.

Как администраторы читают зарегистрированные события?

Большинство сетевых устройств имеют простую настройку, поэтому журналы могут быть собраны в одном месте, а события сохранены на одном выделенном устройстве хранения. Хранилище может быть расположено локально или в облаке при условии, что все события собираются в одном месте.Где бы вы ни решили хранить события, важно, чтобы хранилище было надежно защищено. Некоторые администраторы предпочитают собирать журналы в облаке, и это также хорошо работает с инструментами аналитики.

Преимущество управления журналами в одном месте заключается в том, что большинство приложений, используемых для анализа, запроса и составления отчетов о событиях, извлекают их из настроенного устройства хранения. Организации часто используют платформу управления информацией и событиями безопасности (SIEM) для сбора и анализа данных.Чтение тысяч строк в файле журнала неэффективно и неуправляемо для администраторов, но SIEM будет анализировать данные и отображать результаты на панели инструментов. Эта информационная панель помогает администраторам принимать обоснованные решения по отчетам.

Наиболее важной причиной важности управления журналами является его способность организовывать данные таким образом, чтобы их можно было использовать в аналитических приложениях. Эти приложения помогают администраторам и разработчикам выявлять проблемы, чтобы их можно было быстрее устранить.

Добавить комментарий

Ваш адрес email не будет опубликован.