天津网站建设哪家好,网络组建拓扑图,广州手机网站建设公司排名,共享影院 wordpress国内的Azure最近上线了网络观察程序服务#xff0c;可以帮助用户监控和分析VNET虚拟网络。其中一个很重要的功能就是可以记录NSG的安全访问日志了。但是如果用户设置了NSG流日志#xff0c;并下载日志想要分析一下的话#xff0c;会发现日志其实并不是很友好#xff0c;NSG…国内的Azure最近上线了网络观察程序服务可以帮助用户监控和分析VNET虚拟网络。其中一个很重要的功能就是可以记录NSG的安全访问日志了。但是如果用户设置了NSG流日志并下载日志想要分析一下的话会发现日志其实并不是很友好NSG流日志是以json格式记录的可以看到的内容大致如下图所示日志会记录NSG规则名系统时间源地址目的地址源端口目的端口协议类型流量方向和处理规则。
不过所有的记录都连在一起如果要查找某个具体的安全访问记录非常困难。 不过我们可以使用多个多种开源工具将相关日志数据可视化。最近正好有客户希望可以使用比较流行的ELK套件来分析NSG安全记录。在参考了微软和 Elastic.co的官方文档以及同事的文章后终于实现了使用ELK套件获取并分析Azure.cn的NSG日志特此记录一下过程和注意事项。
简单介绍一下ELKELK是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合三者通常是配合共用而且又都先后归于 Elastic.co 公司名下故此简称ELK。它具有如下几个优点
处理方式灵活。Elasticsearch 是实时全文索引不需要预先编程才能使用配置简易上手。Elasticsearch 全部采用 JSON 接口Logstash 是 Ruby DSL 设计都是目前业界最通用的配置语法设计检索性能高效。虽然每次查询都是实时计算但是优秀的设计和实现基本可以达到全天数据查询的秒级响应集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的前端操作炫丽。Kibana 界面上只需要点击鼠标就可以完成搜索、聚合功能生成炫丽的仪表板。要部署ELK我们现在Azure上部署一台Centos 7.X的虚机并把这台虚机的NSG作为日志来源。
通过以下步骤开启NSG流日志 在Azure的服务里找到“网络观察程序”服务。 在网络观察程序里选中NSG流日志 在右侧用资源组过滤找到需要分析的NSG。 选中NSG开启NSG流日志指定日志存放的存储账号和日志保留时间。 完成了Azure NSG流日志的设置我们就可以开始安装部署ELK来获取数据并进行分析了。 1、通过SSH登录到刚才建立的Centos虚机。先安装Java运行环境 yum install java-1.8.0-openjdk 2、下载可信签名证书 rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 3、创建 Elasticsearch 的yum repo文件 vi /etc/yum.repos.d/elasticsearch.repo 输入以下内容 [elasticsearch-6.x]
nameElasticsearch repository for 6.x packages
baseurlhttps://artifacts.elastic.co/packages/6.x/yum
gpgcheck1
gpgkeyhttps://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled1
autorefresh1
typerpm-md 4、安装Elasticsearch包 yum install elasticsearch 5、修改配置参数允许外部访问 vi /etc/elasticsearch/ elasticsearch.yml 找到network.host参数设置为0.0.0.0
# Set the bind address to a specific IP (IPv4 or IPv6):
#
network.host: 0.0.0.0
#
# Set a custom port for HTTP:
#
http.port: 9200
# 6、启动Elasticsearch并设置系统启动 systemctl enable elasticsearch.service systemctl start elasticsearch.service 7、创建 Logstash的yum repo文件 vi /etc/yum.repos.d/logstash.repo 输入以下内容 [logstash-5.x]
nameElastic repository for 5.x packages
baseurlhttps://artifacts.elastic.co/packages/5.x/yum
gpgcheck1
gpgkeyhttps://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled1
autorefresh1
typerpm-md 8、安装Logstash包 yum install logstash 9、安装读取Azure Blob存储的插件 /usr/share/logstash/bin/logstash-plugin install logstash-input-azureblob 10、设置存储读取位置为Azure.cn默认是读取WW的Azure vi /usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-input-azureblob-0.9.12-java/lib/logstash/inputs/azureblob.rb 找到以下内容
config :endpoint, :validate :string, :default core.windows.net 将endpoint修改为中国Azure的endpointcore.chinacloudapi.cn
config :endpoint, :validate :string, :default core.chinacloudapi.cn 11、创建Logstash的配置文件 在Azure门户中中找到所使用存储账号的访问密钥 vi /etc/logstash/conf.d/logstash.conf
输入以下内容 input {
azureblob { storage_account_name 此处更改为NSG流日志所使用的存储账户 storage_access_key 此处更改为存储账户的访问密钥 container insights-logs-networksecuritygroupflowevent codec json # Refer https://docs.microsoft.com/en-us/azure/network-watcher/network-watcher-read-nsg-flow-logs # Typical numbers could be 21/9 or 12/2 depends on the nsg log file types file_head_bytes 12 file_tail_bytes 2 # Enable / tweak these settings when event is too big for codec to handle. # break_json_down_policy with_head_tail # break_json_batch_count 2 }
} filter { split { field [records] } split { field [records][properties][flows]} split { field [records][properties][flows][flows]} split { field [records][properties][flows][flows][flowTuples]} mutate{
split { [records][resourceId] /}
add_field {Subscription %{[records][resourceId][2]} ResourceGroup %{[records][resourceId][4]} NetworkSecurityGroup %{[records][resourceId][8]}}
convert {Subscription string}
convert {ResourceGroup string}
convert {NetworkSecurityGroup string}
split { [records][properties][flows][flows][flowTuples] ,}
add_field { unixtimestamp %{[records][properties][flows][flows][flowTuples][0]} srcIp %{[records][properties][flows][flows][flowTuples][1]} destIp %{[records][properties][flows][flows][flowTuples][2]} srcPort %{[records][properties][flows][flows][flowTuples][3]} destPort %{[records][properties][flows][flows][flowTuples][4]} protocol %{[records][properties][flows][flows][flowTuples][5]} trafficflow %{[records][properties][flows][flows][flowTuples][6]} traffic %{[records][properties][flows][flows][flowTuples][7]} }
convert {unixtimestamp integer}
convert {srcPort integer}
convert {destPort integer}
} date{ match [unixtimestamp , UNIX]
}
}
output {
stdout { codec rubydebug }
elasticsearch { hosts localhost index nsg-flow-logs
}
} 12、启动Logstash并设置系统启动 systemctl enable logstash.service systemctl start logstash.service 13、创建 Kibana的yum repo文件 vi /etc/yum.repos.d/kibana.repo 输入以下内容 [kibana-4.5]
nameKibana repository for 4.5.x packages
baseurlhttp://packages.elastic.co/kibana/4.5/centos
gpgcheck1
gpgkeyhttp://packages.elastic.co/GPG-KEY-elasticsearch
enabled1 14、安装Kibana包 yum install kibana 15、设置Kibana参数允许外部访问 vi /etc/kibana/kibana.yml 找到以下server.host参数修改为0.0.0.0 # Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.
# The default is localhost, which usually means remote machines will not be able to connect.
# To allow connections from remote users, set this parameter to a non-loopback address.
server.host: 0.0.0.0 16、启动Kibana并设置系统启动 systemctl enable kibana.service systemctl start kibana.service 17、检查ELK服务状态 systemctl status elasticsearch systemctl status logstash systemctl status kibana 18、设置虚机的NSG策略允许外部访问kibana门户 19、登录Kibana门户 http://hospip:5601 20、设置state:storeInSessionStorage参数 在“Management”选项卡下的 Advanced Setting里找到state:storeInSessionStorage参数并enable 21、在“Management”选项卡下通过“Index Patterns” 创建索引。 22、微软已经很贴心的为大家准备了示例的Dashboard可以直接导入以后大家还可以按照自己的需要设计
在此处下载仪表板文件在此处下载可视化效果文件。
在 Kibana 的“Management”选项卡下通过“Saved Objects”导入文件。 然后,可从“Dashboard”选项卡打开并加载示例Dashboard。 进入Dashboard就可以查看当前设置的一些示例报表 在Dashboard的右上角可以设置日志分析的时间段可以帮助用户迅速定位到需要分析的时间点 最后感谢康老师的支持。他的文档给了我很大帮助。
康老师的博客地址https://www.azure.cn/blog/2017/12/27/AZURE-NSG-FLOW-LOG-Analysis/
Azure官方配置文档说明https://docs.microsoft.com/zh-cn/azure/network-watcher/network-watcher-visualize-nsg-flow-logs-open-source-tools
如果需要搭建ELK集群服务可以参考此文档https://docs.azure.cn/zh-cn/articles/training/open-source-azure-virtual-machines-create-elk-cluster
ELK官方文档https://www.elastic.co/guide/index.html
Azure存储插件的说明https://github.com/Azure/azure-diagnostics-tools/tree/master/Logstash/logstash-input-azureblob 当然用户也可以使用PowerBI服务来分析NSG的流日志这样就可以不用自己安装和部署了。文档位置https://docs.microsoft.com/zh-cn/azure/network-watcher/network-watcher-visualize-nsg-flow-logs-power-bi
