{"id":1225,"date":"2015-09-24T21:13:03","date_gmt":"2015-09-24T19:13:03","guid":{"rendered":"http:\/\/blog.langlitz-it.de\/?p=1225"},"modified":"2017-08-10T12:55:18","modified_gmt":"2017-08-10T10:55:18","slug":"powershell-logfiles-sortieren-parsen-und-mehr","status":"publish","type":"post","link":"https:\/\/www.langlitz-it.de\/?p=1225","title":{"rendered":"PowerShell – Logfiles sortieren, parsen und mehr"},"content":{"rendered":"

Es gibt viele Parser, die Sie nutzen k\u00f6nnen, um Logfiles<\/em> auszuwerten. Allerdings bietet die PowerShell<\/em> schon von Haus aus alles, was Sie ben\u00f6tigen.<\/p>\n

Z\u00e4hlen, sortieren, …<\/h2>\n

Fangen wir mal mit dem Sortieren und “Z\u00e4hlen” von Logfiles an. Ich m\u00f6chte exemplarisch wissen, an welchen Tagen wie viele Logfiles<\/em> erstellt wurden. Im Beispiel befassen wir uns mit den SMTP Send\/Receive<\/em> Logs eines Exchange 2010 HubServers<\/em>. Das Ganze l\u00e4\u00dft sich nat\u00fcrlich auf alle Files anwenden.<\/p>\n

Wie jedes Objekt, bringt auch jede Datei Properties<\/em> mit, die sich\u00a0weiter verarbeiten lassen. Um sich diese ansehen zu k\u00f6nnen, w\u00e4hlt man eine Datei und gibt sich alle Properties<\/em> aus. Wir bleiben beim Beispiel der Exchange Logfiles<\/em> und sehen uns die Properties<\/em>\u00a0an:<\/p>\n

Get-ChildItem -recurse -Include *recv201508* |select *<\/em><\/p>\n

PSPath : Microsoft.PowerShell.Core\\FileSystem::C:\\Program Files\\Microsoft\\Exchange Server\\V14\\TransportRoles<\/em>
\n \\Logs\\ProtocolLog\\SmtpReceive\\RECV20150831-1.LOG<\/em>
\nPSParentPath : Microsoft.PowerShell.Core\\FileSystem::C:\\Program Files\\Microsoft\\Exchange Server\\V14\\TransportRoles<\/em>
\n \\Logs\\ProtocolLog\\SmtpReceive<\/em>
\nPSChildName : RECV20150831-1.LOG<\/em>
\nPSDrive : C<\/em>
\nPSProvider : Microsoft.PowerShell.Core\\FileSystem<\/em>
\nPSIsContainer : False<\/em>
\nVersionInfo : File: C:\\Program Files\\Microsoft\\Exchange Server\\V14\\TransportRoles\\Logs\\ProtocolLog\\Sm<\/em>
\n tpReceive\\RECV20150831-1.LOG<\/em>
\n InternalName:<\/em>
\n OriginalFilename:<\/em>
\n FileVersion:<\/em>
\n FileDescription:<\/em>
\n Product:<\/em>
\n ProductVersion:<\/em>
\n Debug: False<\/em>
\n Patched: False<\/em>
\n PreRelease: False<\/em>
\n PrivateBuild: False<\/em>
\n SpecialBuild: False<\/em>
\n Language:<\/em><\/p>\n

BaseName : RECV20150831-1<\/em>
\nMode : -a—<\/em>
\nName : RECV20150831-1.LOG<\/em>
\nLength : 9783413<\/em>
\nDirectoryName : C:\\Program Files\\Microsoft\\Exchange Server\\V14\\TransportRoles\\Logs\\ProtocolLog\\SmtpReceive<\/em>
\nDirectory : C:\\Program Files\\Microsoft\\Exchange Server\\V14\\TransportRoles\\Logs\\ProtocolLog\\SmtpReceive<\/em>
\nIsReadOnly : False<\/em>
\nExists : True<\/em>
\nFullName : C:\\Program Files\\Microsoft\\Exchange Server\\V14\\TransportRoles\\Logs\\ProtocolLog\\SmtpReceive\\RECV2015<\/em>
\n 0831-1.LOG<\/em>
\nExtension : .LOG<\/em>
\nCreationTime : 31.08.2015 02:00:01<\/em><\/strong>
\nCreationTimeUtc : 31.08.2015 00:00:01<\/em>
\nLastAccessTime : 31.08.2015 02:00:01<\/em>
\nLastAccessTimeUtc : 31.08.2015 00:00:01<\/em>
\nLastWriteTime : 01.09.2015 02:00:02<\/em>
\nLastWriteTimeUtc : 01.09.2015 00:00:02<\/em>
\nAttributes : Archive<\/em><\/p>\n

Als eine Fileinfo<\/em> steht die Creationtime<\/em> zur Verf\u00fcgung. Wenn Sie nun, die Logs der letzten 14 Tage sehen m\u00f6chten, k\u00f6nnen Sie dies mit der folgenden Abfrage realisieren:<\/p>\n

Get-ChildItem |? {$_.creationtime -gt (get-date).adddays(-14)}<\/em><\/p>\n

Jetzt zur eigentlichen Anforderung, die Logfiles an den einzelnen Tagen zu z\u00e4hlen. Das erreichen Sie, wenn sie folgenden Befehl absetzen. Dieser liest in einer Schleife die Logfiles der letzten 14 Tage ein und addiert sie jeweils f\u00fcr einen Tag.<\/p>\n

-13..0 |% {$e=$_ ; ($Items |? {$_.CreationTime -gt (Get-Date).AddDays(-14)} |? {$_.CreationTime.Date -eq (Get-Date).AddDays($e).Date}).count}<\/em><\/p>\n

Das Ganze funktioniert zwar, ist aber f\u00fcr eine gro\u00dfe Anzahl von Logfiles<\/em> absolut unpraktikabel. Abh\u00e4ngig von der Anzahl der Logfiles<\/em>, kann es \u00e4u\u00dferst lange dauern, bis alle eingelesen sind. Der Grund daf\u00fcr ist, dass die Schleife 14 mal durchl\u00e4uft und bei jedem Durchlauf alle Files einliest, um dann zu erfassen welche f\u00fcr den entsprechenden Tag addiert werden m\u00fcssen. Optimieren kann man dies noch dadurch, dass einmalig alle Files<\/em> in eine Variable<\/em> eingelesen werden und die Datumspr\u00fcfung dann \u00fcber die Variable<\/em> l\u00e4uft. Dazu werden zuerst alle Files<\/em> der letzten 14 Tage eingelesen:<\/p>\n

$Items =\u00a0Get-ChildItem -recurse |? {$_.CreationTime -gt (Get-Date).AddDays(-14)}<\/em><\/p>\n

Dann lassen wir die Schleife \u00fcber die Variable<\/em> laufen, was schon wesentlich schneller abl\u00e4uft:<\/p>\n

-13..0 |% {$e=$_ ; ($Items |? {$_.CreationTime -gt (Get-Date).AddDays(-14)} |? {$_.CreationTime.Date -eq (Get-Date).AddDays($e).Date}).count}<\/em><\/p>\n

Optimal ist diese L\u00f6sung aber immer noch nicht. Wenn wir bedenken, dass alle Files schon in einer Variablen stehen und alle Files das CreationTime<\/em> Property<\/em> mitbringen, kann die Variable<\/em> einfach nach diesem Property<\/em> mit Group-Object<\/em> gruppiert werden.<\/p>\n

$Items | % { $_.CreationTime.Date.ToShortDateString} | Group-Object |ft name,count -autosize<\/em><\/p>\n

Hierbei ist es wichtig, dass Sie das Property $_.CreationTime.Date<\/em> ausw\u00e4hlen, da sonst die Uhrzeit mit ber\u00fccksichtigt wird. $_.CreationTime.Date<\/em> liefert zwar auch eine Uhrzeit, aber diese ist immer leer, bzw. 00:00:00 und damit zum Gruppieren gleich.<\/p>\n

Parsen<\/h2>\n

Nun bleiben wir bei den SMTP Logs<\/em> des Exchange Servers<\/em> und versuchen eine eMail<\/em> zu finden.<\/p>\n

Wir wissen, dass irgendwann in den letzten 14 Tagen eine Mail an blog@langlitz-it.de<\/em> gesendet wurde. Also suchen wir in den Logfiles<\/em> nach diesem Empf\u00e4nger. Wir haben schon alle Files<\/em> der letzten 14 Tage in der Variablen<\/em> $Items<\/em> eingelesen und k\u00f6nnen somit diese Variable<\/em> weiter nutzen.<\/p>\n

$Items | Get-Content |? {$_ -like “*RCPT TO:<blog@langlitz-it.de>*”}<\/em><\/p>\n

Als Ergebnis erhalten wir die entsprechenden Eintr\u00e4ge in den Logs<\/em>.<\/p>\n

2015-09-11T13:54:20.602Z,ServerName\\ConnectorName,08D27BC0FD7915C3,36,AbsendeIP:25,Empf\u00e4ngerIP:Port,<,RCPT TO:<blog@langlitz-it.de>,<\/em><\/p>\n

Genau so gut k\u00f6nnen Sie nun auch die Anzahl der Mails der letzten 14 Tage suchen:<\/p>\n

($Items | Get-Content |? {$_ -like “*RCPT TO:<blog@langlitz-it.de>*”}).count<\/em><\/p>\n

Wenn Sie nur bestimmte Daten aus einem Logfile<\/em> w\u00fcnschen, k\u00f6nnen Sie die einzelnen Zeilen auch noch splitten<\/em>. Im Beispiel der SMTP Logs<\/em> k\u00f6nnten Sie sich z.B. nur den Zeitstempel, die Empf\u00e4nger IP und die Empf\u00e4nger Adresse anzeigen lassen:<\/p>\n

$Items |Get-Content |? {$_ -like “*RCPT TO:<blog@langlitz-it.de>*”} |% {$_.split(“,”)[0,5,7]}<\/em><\/p>\n

Mit dem Split<\/em> trennen Sie die Ergebniszeile, die durch ein “,”<\/em> separiert ist auf und liefern in einem Array<\/em> die Felder [0] (Zeitstempel), [5] (Empf\u00e4nger IP:Port)<\/em> und [7] (Empf\u00e4nger Mailadresse)<\/em> in einer Liste zur\u00fcck.<\/p>\n

2015-09-11T00:01:52.237Z<\/em>
\n Empf\u00e4ngerIP:Port<\/em>
\n RCPT TO:<blog@langlitz-it.de><\/em><\/p>\n

Bei dieser Vorgehensweise sind prinzipiell keine Grenzen gesetzt.<\/p>\n

 <\/p>\n","protected":false},"excerpt":{"rendered":"

Es gibt viele Parser, die Sie nutzen k\u00f6nnen, um Logfiles auszuwerten. Allerdings bietet die PowerShell schon von Haus aus alles, was Sie ben\u00f6tigen. Z\u00e4hlen, sortieren, … Fangen wir mal mit dem Sortieren und “Z\u00e4hlen” von Logfiles an. Ich m\u00f6chte exemplarisch … Continue reading →<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[534,530,537,538,539,230,531,527,528,532,533,553,535,536,543,529],"_links":{"self":[{"href":"https:\/\/www.langlitz-it.de\/index.php?rest_route=\/wp\/v2\/posts\/1225"}],"collection":[{"href":"https:\/\/www.langlitz-it.de\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.langlitz-it.de\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.langlitz-it.de\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.langlitz-it.de\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=1225"}],"version-history":[{"count":27,"href":"https:\/\/www.langlitz-it.de\/index.php?rest_route=\/wp\/v2\/posts\/1225\/revisions"}],"predecessor-version":[{"id":2014,"href":"https:\/\/www.langlitz-it.de\/index.php?rest_route=\/wp\/v2\/posts\/1225\/revisions\/2014"}],"wp:attachment":[{"href":"https:\/\/www.langlitz-it.de\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=1225"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.langlitz-it.de\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=1225"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.langlitz-it.de\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=1225"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}