|
|
51CTO旗下网站
|
|
移动端

如何使用Osquery在Linux上监控文件完整性?

本教程介绍如何安装该应用程序、如何运行基本查询以及如何在Linux系统管理工作中使用FIM(文件完整性监控)。

作者:布加迪编译来源:51CTO|2020-01-13 09:00

【51CTO.com快译】使用Osquery应用程序方面的基本概念是对操作系统的许多方面(进程和用户等)执行的“表格抽象”。数据存储在表中,可以使用SQL语法、直接通过osqueryi外壳或通过osqueryd守护程序来查询。

本教程介绍如何安装该应用程序、如何运行基本查询以及如何在Linux系统管理工作中使用FIM(文件完整性监控)。

本教程将介绍:

  • 如何安装Osquery
  • 如何列出可用表
  • 如何从osqueryi外壳执行查询
  • 如何使用osqueryd守护程序监控文件完整性

软件需求和使用的约定

  • 对SQL概念有基本知识
  • 拥有执行管理任务的root权限

软件需求和Linux命令行约定

安装

我们基本上有两种方法来安装Osquery:第一种是从官方网站下载适合我们系统的软件包;第二种(通常是优选方法)是将Osquery存储库添加到发行版软件源。下面简要介绍这两种方法。

图1

通过软件包安装

可以从Osquery官方网站(https://osquery.io/downloads/official)下载签名的deb和rpm软件包,或下载更通用的打包文件。我们先选择要安装的版本,然后下载软件包。

建议选择最新的可用版本(截至发稿时4.1.2)。下载软件包后,我们可以使用发行版软件包管理器来安装。比如想在Fedora系统上安装该软件(假设软件包在当前的工作目录中),我们将运行:

  1. $ sudo dnf install ./osquery-4.1.2-1.linux.x86_64.rpm 

使用存储库

我们还可以将rpm或deb存储库添加到发行版中。如果我们使用基于rpm的发行版,可以运行以下命令来完成任务:

  1. $ curl -L https://pkg.osquery.io/rpm/GPG | sudo tee 
  2. /etc/pki/rpm-gpg/RPM-GPG-KEY-osquery  
  3. $ sudo yum-config-manager --add-repo https://pkg.osquery.io/rpm/osquery-s3-rpm.repo  
  4. $ sudo yum-config-manager --enable osquery-s3-rpm-repo  
  5. $ sudo yum install osquery  

借助上述Linux命令,我们可以将用来签名软件包的gpg公钥添加到系统中,然后添加存储库。最后,我们安装Osquery软件包。注意,在近期版本的Fedora和CentOS/RHEL中,yum只是dnf的符号链接,所以我们调用前者时,使用的却是后者。

如果你运行基于Debian的发行版,可以将deb存储库添加到软件源中,只要运行:

  1. $ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys  
  2. 1484120AC4E9F8A1A577AEEE97A80C63C9D8B80B  
  3. $ sudo add-apt-repository 'deb [arch=amd64] https://pkg.osquery.io/deb deb main'  
  4. $ sudo apt-get update  
  5. $ sudo apt-get install osquery  

一旦软件包安装完毕,我们可以看一下软件的基本用法。

基本用法

Osquery让我们可以监控采用“表格抽象”的操作系统的不同方面,使用类似sqlite数据库上所用语法的SQL语法。针对表执行查询,表对操作系统的不同方面(比如进程和服务)进行抽象处理。

我们可以直接使用osqueryi交互式外壳来运行查询,也可以通过osqueryd守护程序来安排查询。下面这个例子显示了列出所有可用表的查询(还可以在此处https://osquery.io/schema/4.1.2#processes看到附有表描述的完整列表):

  1. $ osqueryi  
  2. osquery> .tables  
  3. => acpi_tables  
  4. => apt_sources  
  5. => arp_cache 
  6. => atom_packages  
  7. => augeas  
  8. => authorized_keys  
  9. => block_devices  
  10. => carbon_black_info  
  11. => carves  
  12. => chrome_extensions  
  13. => cpu_time  
  14. => cpuid  
  15. => crontab  
  16. => curl  
  17. => curl_certificate  
  18. => deb_packages  
  19. => device_file  
  20. => device_hash  
  21. => device_partitions  
  22. => disk_encryption  
  23. => dns_resolvers  
  24. => docker_container_labels  
  25. => docker_container_mounts  
  26. => docker_container_networks  
  27. => docker_container_ports  
  28. => docker_container_processes  
  29. => docker_container_stats  
  30. => docker_containers  
  31. => docker_image_labels  
  32. => docker_images  
  33. => docker_info  
  34. => docker_network_labels  
  35. => docker_networks  
  36. => docker_version  
  37. => docker_volume_labels  
  38. => docker_volumes  
  39. => ec2_instance_metadata  
  40. => ec2_instance_tags  
  41. => elf_dynamic  
  42. => elf_info  
  43. => elf_sections  
  44. => elf_segments  
  45. => elf_symbols  
  46. => etc_hosts  
  47. => etc_protocols  
  48. => etc_services  
  49. => file  
  50. => file_events  
  51. => firefox_addons  
  52. => groups  
  53. => hardware_events  
  54. => hash  
  55. => intel_me_info  
  56. => interface_addresses  
  57. => interface_details  
  58. => interface_ipv6  
  59. => iptables  
  60. => kernel_info  
  61. => kernel_integrity  
  62. => kernel_modules  
  63. => known_hosts  
  64. => last  
  65. => listening_ports  
  66. => lldp_neighbors  
  67. => load_average  
  68. => logged_in_users  
  69. => magic  
  70. => md_devices  
  71. => md_drives  
  72. => md_personalities 
  73. => memory_array_mapped_addresses  
  74. => memory_arrays  
  75. => memory_device_mapped_addresses  
  76. => memory_devices  
  77. => memory_error_info  
  78. => memory_info  
  79. => memory_map  
  80. => mounts  
  81. => msr  
  82. => npm_packages  
  83. => oem_strings  
  84. => opera_extensions  
  85. => os_version  
  86. => osquery_events  
  87. => osquery_extensions  
  88. => osquery_flags  
  89. => osquery_info  
  90. => osquery_packs  
  91. => osquery_registry  
  92. => osquery_schedule  
  93. => pci_devices  
  94. => platform_info  
  95. => portage_keywords  
  96. => portage_packages  
  97. => portage_use  
  98. => process_envs  
  99. => process_events  
  100. => process_file_events  
  101. => process_memory_map  
  102. => process_namespaces  
  103. => process_open_files  
  104. => process_open_sockets  
  105. => processes  
  106. => prometheus_metrics  
  107. => python_packages  
  108. => routes  
  109. => rpm_package_files  
  110. => rpm_packages  
  111. => selinux_events  
  112. => shadow  
  113. => shared_memory  
  114. => shell_history  
  115. => smart_drive_info  
  116. => smbios_tables  
  117. => socket_events  
  118. => ssh_configs  
  119. => sudoers  
  120. => suid_bin  
  121. => syslog_events  
  122. => system_controls  
  123. => system_info  
  124. => time  
  125. => ulimit_info  
  126. => uptime  
  127. => usb_devices  
  128. => user_events  
  129. => user_groups  
  130. => user_ssh_keys  
  131. => users  
  132. => yara  
  133. => yara_events  
  134. => yum_sources  

运行osqueryi命令,我们进入交互式外壳;我们可以从该外壳执行查询或指令。这是查询的另一个例子,这回列出所有运行中进程的pid和name。对process表执行查询(为便于阅读,查询的输出已截短):

  1. osquery> SELECT pid, name FROM processes;  
  2. +-------+------------------------------------+  
  3. | pid | name |  
  4. +-------+------------------------------------+  
  5. | 1 | systemd |  
  6. | 10 | rcu_sched |  
  7. | 10333 | kworker/u16:5-events_unbound |  
  8. | 10336 | kworker/2:0-events |  
  9. | 11 | migration/0 |  
  10. | 11002 | kworker/u16:1-kcryptd/253:0 |  
  11. | 11165 | kworker/1:1-events |  
  12. | 11200 | kworker/1:3-events |  
  13. | 11227 | bash |  
  14. | 11368 | osqueryi |  
  15. | 11381 | kworker/0:0-events |  
  16. | 11395 | Web Content |  
  17. | 11437 | kworker/0:2-events |  
  18. | 11461 | kworker/3:2-events_power_efficient |  
  19. | 11508 | kworker/2:2 |  
  20. | 11509 | kworker/0:1-events |  
  21. | 11510 | kworker/u16:2-kcryptd/253:0 |  
  22. | 11530 | bash |  
  23. [...] |  
  24. +-------+------------------------------------+  

甚至可以使用JOIN语句对连接表执行查询,就像我们在关系数据库中操作那样。在下面例子中,我们对processes表执行查询,通过uid列与users表进行连接:

  1. osquery> SELECT processes.pid, processes.name, users.username FROM processes JOIN 
  2. users ON processes.uid = users.uid;  
  3. +-------+-------------------------------+------------------+  
  4. | pid | name | username |  
  5. +-------+-------------------------------+------------------+  
  6. | 1 | systemd | root |  
  7. | 10 | rcu_sched | root |  
  8. | 11 | migration/0 | root |  
  9. | 11227 | bash | egdoc |  
  10. | 11368 | osqueryi | egdoc |  
  11. | 13 | cpuhp/0 | root |  
  12. | 14 | cpuhp/1 | root |  
  13. | 143 | kintegrityd | root |  
  14. | 144 | kblockd | root |  
  15. | 145 | blkcg_punt_bio | root |  
  16. | 146 | tpm_dev_wq | root |  
  17. | 147 | ata_sff | root |  
  18. [...]  
  19. | 9130 | Web Content | egdoc |  
  20. | 9298 | Web Content | egdoc |  
  21. | 9463 | gvfsd-metadata | egdoc |  
  22. | 9497 | gvfsd-network | egdoc |  
  23. | 9518 | gvfsd-dnssd | egdoc |  
  24. +-------+-------------------------------+------------------+  

文件完整性监控(FIM)

前面我们使用交互式外壳osqueryi来使用Osquery。想使用FIM(文件完整性监控),我们改用osqueryd守护程序。通过配置文件,我们列出了想要监控的文件。file_events 表中记录了涉及指定文件和目录的事件,比如属性变化。守护程序在指定的时间间隔后对该表运行查询,并在日志中通知何时发现新记录。不妨看看配置示例。

配置结构

Osquery的主配置文件是/etc/osquery/osquery.conf。该文件默认情况下不存在,于是我们要创建它。配置以JSON格式来提供。假设我们想要监控/etc下的所有文件和目录;下面显示了我们如何配置该应用程序:

  1.  
  2. "options": {  
  3. "disable_events""false"  
  4. },  
  5. "schedule": {  
  6. "file_events": {  
  7. "query""SELECT * FROM file_events;" 
  8. "interval": 300  
  9.  
  10. },  
  11. "file_paths": {  
  12. "etc": [  
  13. "/etc/%%"  
  14. ],  
  15. },  
  16.  

不妨分析上述配置。首先在options部分,我们将disable_events设为“false”,以便启用文件事件。

之后我们创建schedule部分:在该部分,我们可以描述和创建各种命名的调度查询。我们在本文中创建了一个查询,以便从file_events表选择所有列,这意味着每300秒(5分钟)执行一次。

安排查询后,我们创建了file_paths部分,在该部分指定要监控的文件。在该部分,每个键代表要监控一组文件的名称(Osquery术语中的类别)。这里“etc”键引用仅含有一个条目/etc/%%的列表。

%符号代表什么?指定文件路径时,我们可以使用标准通配符(*)或SQL通配符(%)。如果提供单通配符,它​将选择位于指定级别的所有文件和目录。如果提供双通配符,它​​将递归选择所有文件和文件夹。比如说,/etc/%表达式匹配/etc下面一级的所有文件和文件夹,而/etc/%%递归匹配/etc下的所有文件和文件夹。

如果需要,我们还可以使用配置文件中的exclude_paths部分,从提供的路径中排除特定文件。在该部分,我们只能引用file_paths部分中定义的类别(本例中是“etc”)。我们提供了要排除的文件列表:

  1. "exclude_paths": {  
  2. "etc": [  
  3. "/etc/aliases"  
  4.  
  5.  

仅作为例子,我们从列表中排除了/etc/aliases文件。下面是最终配置的样子:

  1.  
  2. "options": {  
  3. "disable_events""false"  
  4. },  
  5. "schedule": {  
  6. "file_events": {  
  7. "query""SELECT * FROM file_events;" 
  8. "interval": 20  
  9.  
  10. },  
  11. "file_paths": {  
  12. "etc": [  
  13. "/etc/%%"  
  14.  
  15. },  
  16. "exclude_paths": {  
  17. "etc": [  
  18. "/etc/aliases"  
  19.  
  20.  
  21.  

开启守护程序

配置已到位,我们可以开启osqueryd守护程序:

  1. $ sudo systemctl start osqueryd 

为了使守护程序在系统启动时自动开启,我们要运行:

  1. $ sudo systemctl enable osqueyd 

一旦守护程序运行,我们可以核实配置有效。仅举个例子,我们将修改/etc/fstab文件的许可权,将它们从644改为600:

  1. $ sudo chmod 600 /etc/fstab 

现在我们可以核实文件更改以记录下来,只需阅读/var/log/osquery/osqueryd.results.log文件。下面是该文件的最后一行:

  1.  
  2. "name":"file_events" 
  3. "hostIdentifier":"fingolfin" 
  4. "calendarTime":"Mon Dec 30 19:57:31 2019 UTC" 
  5. "unixTime":1577735851,  
  6. "epoch":0,  
  7. "counter":0,  
  8. "logNumericsAsNumbers":false 
  9. "columns": {  
  10. "action":"ATTRIBUTES_MODIFIED" 
  11. "atime":"1577735683" 
  12. "category":"etc" 
  13. "ctime":"1577735841" 
  14. "gid":"0" 
  15. "hashed":"0" 
  16. "inode":"262147" 
  17. "md5":"" 
  18. "mode":"0600" 
  19. "mtime":"1577371335" 
  20. "sha1":"" 
  21. "sha256":"" 
  22. "size":"742" 
  23. "target_path":"/etc/fstab" 
  24. "time":"1577735841" 
  25. "transaction_id":"0" 
  26. "uid":"0"  
  27. },  
  28. "action":"added"  
  29.  

在上述日志中,我们可以清楚地看到在target_path "/etc/fstab"(第23行)上进行了ATTRIBUTES_MODIFIED操作(第10行),/etc/fstab是“etc”类别(第12行)的一部分。有必要注意这点:如果我们从osqueryi外壳查询file_events表,由于osqueryd守护程序和osqueryi无法联系,因此看不到任何行。

结论

本教程介绍了使用Osquery应用程序方面的基本概念,该应用程序使用我们可以使用SQL语法查询的表格数据对操作系统的各个概念进行抽象。我们看到如何安装该应用程序、如何使用osqueryi外壳执行基本查询以及最后如何使用osqueryd守护程序设置文件监控。与往常一样,想更深入地了解该应用程序,建议查看项目文档:https://osquery.readthedocs.io/en/stable/

原文标题:How to monitor file integrity on Linux using Osquery,作者:Egidio Docile

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

【编辑推荐】

  1. 轻松使用Linux Equinox桌面环境
  2. Linux useradd 命令介绍
  3. Linux inode的正确理解
  4. Linux运维跳槽必备的40道面试精华题
  5. 7个适合初学者的Linux发行版?这里的答案你可能不赞同吧?
【责任编辑:庞桂玉 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

Python应用场景实战手册

Python应用场景实战手册

Python应用场景实战手册
共3章 | KaliArch

15人订阅学习

一步到位玩儿透Ansible

一步到位玩儿透Ansible

Ansible
共17章 | 骏马金龙1

178人订阅学习

云架构师修炼手册

云架构师修炼手册

云架构师的必备技能
共3章 | Allen在路上

31人订阅学习

读 书 +更多

数据库系统工程师考试全程指导

为了满足广大考生的需要,我们组织了参与过多年资格考试命题或辅导的教师,以新的考试大纲为依据,编写了《数据库系统工程师考试全程指导》...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微