如何使用Osquery在Linux上监控文件完整性?

译文
系统 Linux
本教程介绍如何安装该应用程序、如何运行基本查询以及如何在Linux系统管理工作中使用FIM(文件完整性监控)。

【51CTO.com快译】使用Osquery应用程序方面的基本概念是对操作系统的许多方面(进程和用户等)执行的“表格抽象”。数据存储在表中,可以使用SQL语法、直接通过osqueryi外壳或通过osqueryd守护程序来查询。

本教程介绍如何安装该应用程序、如何运行基本查询以及如何在Linux系统管理工作中使用FIM(文件完整性监控)。

本教程将介绍:

  • 如何安装Osquery
  • 如何列出可用表
  • 如何从osqueryi外壳执行查询
  • 如何使用osqueryd守护程序监控文件完整性

软件需求和使用的约定

  • 对SQL概念有基本知识
  • 拥有执行管理任务的root权限

软件需求和Linux命令行约定 

 

安装

我们基本上有两种方法来安装Osquery:第一种是从官方网站下载适合我们系统的软件包;第二种(通常是优选方法)是将Osquery存储库添加到发行版软件源。下面简要介绍这两种方法。

图1

通过软件包安装

可以从Osquery官方网站(https://osquery.io/downloads/official)下载签名的deb和rpm软件包,或下载更通用的打包文件。我们先选择要安装的版本,然后下载软件包。

建议选择最新的可用版本(截至发稿时4.1.2)。下载软件包后,我们可以使用发行版软件包管理器来安装。比如想在Fedora系统上安装该软件(假设软件包在当前的工作目录中),我们将运行:

  1. $ sudo dnf install ./osquery-4.1.2-1.linux.x86_64.rpm 

使用存储库

我们还可以将rpm或deb存储库添加到发行版中。如果我们使用基于rpm的发行版,可以运行以下命令来完成任务: 

  1. $ curl -L https://pkg.osquery.io/rpm/GPG | sudo tee 
  2. /etc/pki/rpm-gpg/RPM-GPG-KEY-osquery  
  3. $ sudo yum-config-manager --add-repo https://pkg.osquery.io/rpm/osquery-s3-rpm.repo  
  4. $ sudo yum-config-manager --enable osquery-s3-rpm-repo  
  5. $ sudo yum install osquery  

借助上述Linux命令,我们可以将用来签名软件包的gpg公钥添加到系统中,然后添加存储库。最后,我们安装Osquery软件包。注意,在近期版本的Fedora和CentOS/RHEL中,yum只是dnf的符号链接,所以我们调用前者时,使用的却是后者。

如果你运行基于Debian的发行版,可以将deb存储库添加到软件源中,只要运行: 

  1. $ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys  
  2. 1484120AC4E9F8A1A577AEEE97A80C63C9D8B80B  
  3. $ sudo add-apt-repository 'deb [arch=amd64] https://pkg.osquery.io/deb deb main'  
  4. $ sudo apt-get update  
  5. $ sudo apt-get install osquery  

一旦软件包安装完毕,我们可以看一下软件的基本用法。

基本用法

Osquery让我们可以监控采用“表格抽象”的操作系统的不同方面,使用类似sqlite数据库上所用语法的SQL语法。针对表执行查询,表对操作系统的不同方面(比如进程和服务)进行抽象处理。

我们可以直接使用osqueryi交互式外壳来运行查询,也可以通过osqueryd守护程序来安排查询。下面这个例子显示了列出所有可用表的查询(还可以在此处https://osquery.io/schema/4.1.2#processes看到附有表描述的完整列表): 

  1. $ osqueryi  
  2. osquery> .tables  
  3. => acpi_tables  
  4. => apt_sources  
  5. => arp_cache 
  6. => atom_packages  
  7. => augeas  
  8. => authorized_keys  
  9. => block_devices  
  10. => carbon_black_info  
  11. => carves  
  12. => chrome_extensions  
  13. => cpu_time  
  14. => cpuid  
  15. => crontab  
  16. => curl  
  17. => curl_certificate  
  18. => deb_packages  
  19. => device_file  
  20. => device_hash  
  21. => device_partitions  
  22. => disk_encryption  
  23. => dns_resolvers  
  24. => docker_container_labels  
  25. => docker_container_mounts  
  26. => docker_container_networks  
  27. => docker_container_ports  
  28. => docker_container_processes  
  29. => docker_container_stats  
  30. => docker_containers  
  31. => docker_image_labels  
  32. => docker_images  
  33. => docker_info  
  34. => docker_network_labels  
  35. => docker_networks  
  36. => docker_version  
  37. => docker_volume_labels  
  38. => docker_volumes  
  39. => ec2_instance_metadata  
  40. => ec2_instance_tags  
  41. => elf_dynamic  
  42. => elf_info  
  43. => elf_sections  
  44. => elf_segments  
  45. => elf_symbols  
  46. => etc_hosts  
  47. => etc_protocols  
  48. => etc_services  
  49. => file  
  50. => file_events  
  51. => firefox_addons  
  52. => groups  
  53. => hardware_events  
  54. => hash  
  55. => intel_me_info  
  56. => interface_addresses  
  57. => interface_details  
  58. => interface_ipv6  
  59. => iptables  
  60. => kernel_info  
  61. => kernel_integrity  
  62. => kernel_modules  
  63. => known_hosts  
  64. => last  
  65. => listening_ports  
  66. => lldp_neighbors  
  67. => load_average  
  68. => logged_in_users  
  69. => magic  
  70. => md_devices  
  71. => md_drives  
  72. => md_personalities 
  73. => memory_array_mapped_addresses  
  74. => memory_arrays  
  75. => memory_device_mapped_addresses  
  76. => memory_devices  
  77. => memory_error_info  
  78. => memory_info  
  79. => memory_map  
  80. => mounts  
  81. => msr  
  82. => npm_packages  
  83. => oem_strings  
  84. => opera_extensions  
  85. => os_version  
  86. => osquery_events  
  87. => osquery_extensions  
  88. => osquery_flags  
  89. => osquery_info  
  90. => osquery_packs  
  91. => osquery_registry  
  92. => osquery_schedule  
  93. => pci_devices  
  94. => platform_info  
  95. => portage_keywords  
  96. => portage_packages  
  97. => portage_use  
  98. => process_envs  
  99. => process_events  
  100. => process_file_events  
  101. => process_memory_map  
  102. => process_namespaces  
  103. => process_open_files  
  104. => process_open_sockets  
  105. => processes  
  106. => prometheus_metrics  
  107. => python_packages  
  108. => routes  
  109. => rpm_package_files  
  110. => rpm_packages  
  111. => selinux_events  
  112. => shadow  
  113. => shared_memory  
  114. => shell_history  
  115. => smart_drive_info  
  116. => smbios_tables  
  117. => socket_events  
  118. => ssh_configs  
  119. => sudoers  
  120. => suid_bin  
  121. => syslog_events  
  122. => system_controls  
  123. => system_info  
  124. => time  
  125. => ulimit_info  
  126. => uptime  
  127. => usb_devices  
  128. => user_events  
  129. => user_groups  
  130. => user_ssh_keys  
  131. => users  
  132. => yara  
  133. => yara_events  
  134. => yum_sources  

运行osqueryi命令,我们进入交互式外壳;我们可以从该外壳执行查询或指令。这是查询的另一个例子,这回列出所有运行中进程的pid和name。对process表执行查询(为便于阅读,查询的输出已截短): 

  1. osquery> SELECT pid, name FROM processes;  
  2. +-------+------------------------------------+  
  3. | pid | name |  
  4. +-------+------------------------------------+  
  5. | 1 | systemd |  
  6. | 10 | rcu_sched |  
  7. | 10333 | kworker/u16:5-events_unbound |  
  8. | 10336 | kworker/2:0-events |  
  9. | 11 | migration/0 |  
  10. | 11002 | kworker/u16:1-kcryptd/253:0 |  
  11. | 11165 | kworker/1:1-events |  
  12. | 11200 | kworker/1:3-events |  
  13. | 11227 | bash |  
  14. | 11368 | osqueryi |  
  15. | 11381 | kworker/0:0-events |  
  16. | 11395 | Web Content |  
  17. | 11437 | kworker/0:2-events |  
  18. | 11461 | kworker/3:2-events_power_efficient |  
  19. | 11508 | kworker/2:2 |  
  20. | 11509 | kworker/0:1-events |  
  21. | 11510 | kworker/u16:2-kcryptd/253:0 |  
  22. | 11530 | bash |  
  23. [...] |  
  24. +-------+------------------------------------+  

甚至可以使用JOIN语句对连接表执行查询,就像我们在关系数据库中操作那样。在下面例子中,我们对processes表执行查询,通过uid列与users表进行连接: 

  1. osquery> SELECT processes.pid, processes.name, users.username FROM processes JOIN 
  2. users ON processes.uid = users.uid;  
  3. +-------+-------------------------------+------------------+  
  4. | pid | name | username |  
  5. +-------+-------------------------------+------------------+  
  6. | 1 | systemd | root |  
  7. | 10 | rcu_sched | root |  
  8. | 11 | migration/0 | root |  
  9. | 11227 | bash | egdoc |  
  10. | 11368 | osqueryi | egdoc |  
  11. | 13 | cpuhp/0 | root |  
  12. | 14 | cpuhp/1 | root |  
  13. | 143 | kintegrityd | root |  
  14. | 144 | kblockd | root |  
  15. | 145 | blkcg_punt_bio | root |  
  16. | 146 | tpm_dev_wq | root |  
  17. | 147 | ata_sff | root |  
  18. [...]  
  19. | 9130 | Web Content | egdoc |  
  20. | 9298 | Web Content | egdoc |  
  21. | 9463 | gvfsd-metadata | egdoc |  
  22. | 9497 | gvfsd-network | egdoc |  
  23. | 9518 | gvfsd-dnssd | egdoc |  
  24. +-------+-------------------------------+------------------+  

文件完整性监控(FIM)

前面我们使用交互式外壳osqueryi来使用Osquery。想使用FIM(文件完整性监控),我们改用osqueryd守护程序。通过配置文件,我们列出了想要监控的文件。file_events 表中记录了涉及指定文件和目录的事件,比如属性变化。守护程序在指定的时间间隔后对该表运行查询,并在日志中通知何时发现新记录。不妨看看配置示例。

配置结构

Osquery的主配置文件是/etc/osquery/osquery.conf。该文件默认情况下不存在,于是我们要创建它。配置以JSON格式来提供。假设我们想要监控/etc下的所有文件和目录;下面显示了我们如何配置该应用程序: 

  1.  
  2. "options": {  
  3. "disable_events""false"  
  4. },  
  5. "schedule": {  
  6. "file_events": {  
  7. "query""SELECT * FROM file_events;" 
  8. "interval": 300  
  9.  
  10. },  
  11. "file_paths": {  
  12. "etc": [  
  13. "/etc/%%"  
  14. ],  
  15. },  
  16.  

不妨分析上述配置。首先在options部分,我们将disable_events设为“false”,以便启用文件事件。

之后我们创建schedule部分:在该部分,我们可以描述和创建各种命名的调度查询。我们在本文中创建了一个查询,以便从file_events表选择所有列,这意味着每300秒(5分钟)执行一次。

安排查询后,我们创建了file_paths部分,在该部分指定要监控的文件。在该部分,每个键代表要监控一组文件的名称(Osquery术语中的类别)。这里“etc”键引用仅含有一个条目/etc/%%的列表。

%符号代表什么?指定文件路径时,我们可以使用标准通配符(*)或SQL通配符(%)。如果提供单通配符,它​将选择位于指定级别的所有文件和目录。如果提供双通配符,它​​将递归选择所有文件和文件夹。比如说,/etc/%表达式匹配/etc下面一级的所有文件和文件夹,而/etc/%%递归匹配/etc下的所有文件和文件夹。

如果需要,我们还可以使用配置文件中的exclude_paths部分,从提供的路径中排除特定文件。在该部分,我们只能引用file_paths部分中定义的类别(本例中是“etc”)。我们提供了要排除的文件列表: 

  1. "exclude_paths": {  
  2. "etc": [  
  3. "/etc/aliases"  
  4.  
  5.  

仅作为例子,我们从列表中排除了/etc/aliases文件。下面是最终配置的样子: 

  1.  
  2. "options": {  
  3. "disable_events""false"  
  4. },  
  5. "schedule": {  
  6. "file_events": {  
  7. "query""SELECT * FROM file_events;" 
  8. "interval": 20  
  9.  
  10. },  
  11. "file_paths": {  
  12. "etc": [  
  13. "/etc/%%"  
  14.  
  15. },  
  16. "exclude_paths": {  
  17. "etc": [  
  18. "/etc/aliases"  
  19.  
  20.  
  21.  

开启守护程序

配置已到位,我们可以开启osqueryd守护程序:

  1. $ sudo systemctl start osqueryd 

为了使守护程序在系统启动时自动开启,我们要运行:

  1. $ sudo systemctl enable osqueyd 

一旦守护程序运行,我们可以核实配置有效。仅举个例子,我们将修改/etc/fstab文件的许可权,将它们从644改为600:

  1. $ sudo chmod 600 /etc/fstab 

现在我们可以核实文件更改以记录下来,只需阅读/var/log/osquery/osqueryd.results.log文件。下面是该文件的最后一行: 

  1.  
  2. "name":"file_events" 
  3. "hostIdentifier":"fingolfin" 
  4. "calendarTime":"Mon Dec 30 19:57:31 2019 UTC" 
  5. "unixTime":1577735851,  
  6. "epoch":0,  
  7. "counter":0,  
  8. "logNumericsAsNumbers":false 
  9. "columns": {  
  10. "action":"ATTRIBUTES_MODIFIED" 
  11. "atime":"1577735683" 
  12. "category":"etc" 
  13. "ctime":"1577735841" 
  14. "gid":"0" 
  15. "hashed":"0" 
  16. "inode":"262147" 
  17. "md5":"" 
  18. "mode":"0600" 
  19. "mtime":"1577371335" 
  20. "sha1":"" 
  21. "sha256":"" 
  22. "size":"742" 
  23. "target_path":"/etc/fstab" 
  24. "time":"1577735841" 
  25. "transaction_id":"0" 
  26. "uid":"0"  
  27. },  
  28. "action":"added"  
  29.  

在上述日志中,我们可以清楚地看到在target_path "/etc/fstab"(第23行)上进行了ATTRIBUTES_MODIFIED操作(第10行),/etc/fstab是“etc”类别(第12行)的一部分。有必要注意这点:如果我们从osqueryi外壳查询file_events表,由于osqueryd守护程序和osqueryi无法联系,因此看不到任何行。

结论

本教程介绍了使用Osquery应用程序方面的基本概念,该应用程序使用我们可以使用SQL语法查询的表格数据对操作系统的各个概念进行抽象。我们看到如何安装该应用程序、如何使用osqueryi外壳执行基本查询以及最后如何使用osqueryd守护程序设置文件监控。与往常一样,想更深入地了解该应用程序,建议查看项目文档:https://osquery.readthedocs.io/en/stable/

原文标题:How to monitor file integrity on Linux using Osquery,作者:Egidio Docile

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

 

责任编辑:庞桂玉 来源: 51CTO
相关推荐

2013-12-05 13:11:33

2014-11-05 11:08:55

2018-06-22 23:14:19

完整性监测FIM信息安全

2018-02-05 22:41:35

2010-06-01 18:11:25

Rsync 使用

2010-04-14 09:28:44

Unix操作系统

2015-03-12 15:44:59

2023-05-23 11:14:59

2022-03-14 22:55:54

人工智能数据机器学习

2010-02-26 15:41:16

WCF分布事务

2023-03-17 16:32:51

测试软件开发

2010-12-14 14:36:57

Tripwire

2023-05-22 11:26:45

2022-03-22 12:56:53

垃圾数据数据完整性

2009-09-25 11:03:35

PCI DSS数据完整数据安全

2015-06-08 13:48:15

数据库数据完整性约束表现

2010-06-10 15:52:04

MySQL参照完整性

2021-11-02 11:55:07

macOS macOS Monte漏洞

2010-06-01 18:14:55

Rsync 使用

2020-09-14 09:39:22

信号
点赞
收藏

51CTO技术栈公众号