Bestimmte Zeichen in text herausfiltern (Lizenzauswertung)

SauBAER · 1. Februar 2011

Hallo openSuse Forum,

seit längerem sitze ich an einem (für mich) sehr schweren Problem, für das ich einfach keine Lösung finde.

Folgender Fall:
Für ein bestimmtes Programm werden die verbrauchten Lizenzen in eine Textdatei geschrieben. In dieser Textdatei steht der Windows-User, der gerade im System eingeloggt ist und die "Server-ID". Denn das Programm läuft als Echt- und Testsystem auf jeweils unterschiedlichen Servern.

Damit ihr euch ungefähr ein Bild machen könnt, hier der ungefähre Aufbau der Datei:

Code

user="saubaer"
                      	serverid=12345678
                      	bla=blub
                      	schwup=diwup


user="baerfekt"
serverid=12345678
bla=grub
schwup=didup


user="saubaer"
serverid=87654321
bla=frup
schwup=diwup


user="norbaert"
serverid=12345678
bla=trupp
schwup=wupp


user="saubaer"
serverid=12345678
bla=lup
schwup=puwhcs


user="baergsteiger"
serverid=87654321
bla=blo
schwup=schwap

Alles anzeigen

Hier ist zu sehen, dass der User "saubaer" mehrfach im Echtsystem "12345678" und im Testsystem gleichzeitig sein kann. Um nun die Lizenzen zu zählen benutze ich zur Zeit grep, welches mir die Anzahl der "12345678" in eine andere Textdatei reinschreibt. Wegen gerade genannten Grund ist diese Auswertung jedoch leicht verfälscht. Denn obwohl "saubaer" 2x in der Textdatei reingeschrieben wurde, wird nur eine Lizenz auf dem Echtsystem gezählt. Gleiches Verfahren beim Testsystem.
->Richtigerweise müssten also gerade 1 Lizenz für Echt- und 1 Lizenz fürs Testsystem berechnet werden.

Was ich bräuchte wäre ein Skript (grep?), welches das bewerkstelligen kann.

Falls ihr weitere Fragen habt oder mehr Informationen benötigt bitte fragen. Eine Lösung wäre mir sehr hilfreich.

Auf dem Server ist suse 11.0 mit KDE 3

Vielen Dank

rme · 1. Februar 2011

Hallo,

Vielleicht hilft Dir hier eine geordnete Liste aller user. Am elegantesten lässt sich die Aufgabe wohl mit einem 'awk' oder 'perl' script lösen. Aber hier ist eine 'sed' Variante -- mach ein copy/paste zum testen:

Bash

#!/bin/bash
#
# use: ./<scriptname> inputfile outputfile
#
# make script executable with > chmod 755 <scriptname>
#


echo --------------------
echo $0


inputfile=$1
outputfile=$2
tempfile=/tmp/temporaryfile$$


sed '/^[\ \o011]*user=/{
N
N
N
s/[\ \o011]*\(user=.*\)\o012[\ \o011]*\(.*\)\o012[\ \o011]*\(.*\)\o012[\ \o011]*\(.*\)$/\1\o011\o011\2\o011\o011\3\o011\o011\4/
}
' $inputfile > $tempfile


sort -i -u $tempfile > $outputfile


rm $tempfile


echo 'input  =' $inputfile
echo 'output =' $outputfile
echo --------------------


# --- end of script ---

Alles anzeigen

Kannst das script Deinen Vorstellungen anpassen

Gruss,
Roland

Nachtrag: Mein test input:

Code

user="saubaer"
  serverid=12345678
    bla=blub
        schwup=diwup


user="baerfekt"
    serverid=12345678
  bla=grub
schwup=didup


     user="saubaer"
serverid=87654321
  bla=frup
schwup=diwup


user="norbaert"
         serverid=12345678
  bla=trupp
schwup=wupp


  user="saubaer"
         serverid=12345678
   bla=lup
schwup=puwhcs


user="baergsteiger"
serverid=87654321
bla=blo
schwup=schwap

Alles anzeigen

und der script output:

Code

> ./sort_user input.txt output.txt

Code

user="baerfekt"		serverid=12345678		bla=grub		schwup=didup
user="baergsteiger"		serverid=87654321		bla=blo		schwup=schwap
user="norbaert"		serverid=12345678		bla=trupp		schwup=wupp
user="saubaer"		serverid=12345678		bla=blub		schwup=diwup
user="saubaer"		serverid=12345678		bla=lup		schwup=puwhcs
user="saubaer"		serverid=87654321		bla=frup		schwup=diwup

rme · 2. Februar 2011

Hier ist noch ein etwas robusteres script (die Anzahl Zeilen pro Eintrag ist jetzt beliebig):

Bash

#!/bin/bash
#
# use:
# > ./sort_users  inputfile  outputfile
#
# make script executable with:
# > chmod 755 sort_users
#


echo --------------------
echo $0


inputfile=$1
outputfile=$2
tempfile=/tmp/temporaryfile$$


cat $inputfile |
while read line
do
  echo -n $line | grep "[\ \o011]*user=" > /dev/null
  ret=$?
  if [ $ret -eq 0 ]; then
    echo -e "\n" >> $tempfile
  fi
    echo -n $line >> $tempfile
    echo -n "   " >> $tempfile
done


sort -i -u $tempfile > $outputfile


rm $tempfile


echo 'input  =' $inputfile
echo 'output =' $outputfile
echo --------------------


# --- end of script ---

Alles anzeigen

Aufruf / Input / Output:

Code

> ./sort_users 001.txt 002.txt

oder

Code

> sh sort_users 001.txt 002.txt

Input: 001.txt

Code

user="saubaer"
  serverid=12345678
    bla=blub
        schwup=diwup


user="baerfekt"
    serverid=12345678
  bla=grub
schwup=didup


     user="saubaer"
serverid=87654321
  bla=frup
schwup=diwup


user="norbaert"
         serverid=12345678
  bla=trupp
schwup=wupp
  user="saubaer"
         serverid=12345678
   bla=lup
schwup=puwhcs
   extraline abc
       extraline xyz
user="baergsteiger"
  serverid=87654321
	bla=blo
schwup=schwap

Alles anzeigen

Output: 002.txt

Code

user="baerfekt"   serverid=12345678   bla=grub   schwup=didup
user="baergsteiger"   serverid=87654321   bla=blo   schwup=schwap
user="norbaert"   serverid=12345678   bla=trupp   schwup=wupp
user="saubaer"   serverid=12345678   bla=blub   schwup=diwup
user="saubaer"   serverid=12345678   bla=lup   schwup=puwhcs   extraline abc   extraline xyz
user="saubaer"   serverid=87654321   bla=frup   schwup=diwup

Gruss,
Roland

SauBAER · 2. Februar 2011

Guten Abend Roland,

vielen Dank schon mal für die Hilfestellung. leider kann ich es erst morgen auf der Arbeit ausprobieren.
Das oben war nur ein Muster, wie die Datei ungefähr aussieht. Hier hab ich jetzt den oirginalen Aufbau der Datei:

Code

Retrieving monitoring data from myserver.


	License-server host	: blub
	License-server port	: 1234
	Monitoring type		: Details


 
Result:


<?xml version="1.0"?>


<details


	date="Mon Jan 31 11:53:00 2011"


	host="myhost"


	port="1235"


	udpPort="1234"


	mode="master">


	<desktopLicense


		count="0"


	/>


	<concurrentLicense


		count="10">


		<product


			id="4321"


		/>


		<product


			id="4322"


			count="12">


			<user


				user="saubaer"


				desktop="10.10.10.1"


				server_id="1234567891"


				carrier=""


				instance=""


				type="heavy"


				process_id="1245"


				client_id="9876"


			/>


			<user


				user="baergsteiger"


				desktop="10.10.10.2"


				server_id="1234567898"


				carrier=""


				instance=""


				type="heavy"


				process_id="1245"


				client_id="7654"


			/>


			<user


				user="saubaer"


				desktop="10.10.10.1"


				server_id="1234567898"


				carrier=""


				instance=""


				type="heavy"


				process_id="7645"


				client_id="3456"


			/>


			<user


				user="lorbaer"


				desktop="10.10.10.3"


				server_id="1234567898"


				carrier=""


				instance=""


				type="heavy"


				process_id="1234"


				client_id="9876"


			/>


			<user


				user="saubaer"


				desktop="10.10.10.1"


				server_id="9876543212"


				carrier=""


				instance=""


				type="heavy"


				process_id="8765"


				client_id="1234"


			/>

Alles anzeigen

Der Aufbau dürfte dem Aufbau der Originaldatei sehr nahe kommen.

rme · 2. Februar 2011

Hallo,

Das zuletzt gelieferte Daten-Beispiel ist etwas komplexer. Ich habe daher das script angepasst:

Bash

#!/bin/bash
#
# Sort records in a text file. A record has the format:
#
# | Some header data
# |    more header data
# |
# |    <user
# |
# |        dataline 1
# |
# |        dataline 2
# |
# |           etc.
# |
# |        dataline n
# |
# |    />
# |
# |    <user
# |
# |        dataline 1
# |
# |        dataline 2
# |
# |           etc.
# |
# |        dataline n
# |
# |    />
# etc.
#
# use:
# ./<scriptname> inputfile outputfile
#
# make script executable with:
# > chmod 755 <scriptname>
#


# using 'grep' and 'sed'


echo --------------------
echo $0


inputfile=$1
outputfile=$2
tempfile=/tmp/temporaryfile$$


flag=0


cat $inputfile |
while read line
do
  if [ $flag -eq 1 ]; then
    echo -n $line | grep "[\ \o011]*/>" > /dev/null
    ret=$?
    if [ $ret -eq 0 ]; then
      echo -e "\n" >> $tempfile
      echo -e "\n" >> $tempfile
      flag=0
    else
      len=${#line}                    # skip empty lines
      if [ $len -ne 0 ]; then
        echo -n $line >> $tempfile    # output this line
        echo -n " | " >> $tempfile
      fi
    fi
  fi


  if [ $flag -eq 0 ]; then
    echo -n $line | grep "[\ \o011]*<user" > /dev/null
    ret=$?
    if [ $ret -eq 0 ]; then
      flag=1
    fi
  fi
done


sort -i -u $tempfile > $outputfile


sed -i 's/.*/&\o012/' $outputfile     # insert an empty line between records


rm $tempfile


echo 'input  =' $inputfile
echo 'output =' $outputfile
echo --------------------


# --- end of script ---

Alles anzeigen

Die Ausgabe mit zuletzt geliefertem Daten-Beispiel sollte sein:

Code

> ./sort_records 001.txt 002.txt

Code

user="baergsteiger" | desktop="10.10.10.2" | server_id="1234567898" | carrier="" | instance="" | type="heavy" | process_id="1245" | client_id="7654" |


user="lorbaer" | desktop="10.10.10.3" | server_id="1234567898" | carrier="" | instance="" | type="heavy" | process_id="1234" | client_id="9876" |


user="saubaer" | desktop="10.10.10.1" | server_id="1234567891" | carrier="" | instance="" | type="heavy" | process_id="1245" | client_id="9876" |


user="saubaer" | desktop="10.10.10.1" | server_id="1234567898" | carrier="" | instance="" | type="heavy" | process_id="7645" | client_id="3456" |


user="saubaer" | desktop="10.10.10.1" | server_id="9876543212" | carrier="" | instance="" | type="heavy" | process_id="8765" | client_id="1234" |

Alles anzeigen

Falls Du keine leeren Zeilen zwischen den Records möchtest, bitte im script die Zeile:

Code

sed -i 's/.*/&\o012/' $outputfile     # insert an empty line between records

auskommentieren.

Gruss,
Roland

SauBAER · 3. Februar 2011

Wow vielen Dank Roland. Habs heute getestet und funktioniert wunderbar.

Jetzt hab ich ja die ganzen Codeblöcke in einer Zeile. Einige Dinge stören mich jedoch noch beim Auswerten.

An sich bräuchte ich nur die Kombination von "user" und "server_id" in einer Zeile. Falls diese Kombination z.B.

Code

user="saubaer" | server_id="1234567898"

2x oder mehr in der Textfile exisiertiert subtrahiere ich von der Summe der Gesamtlizenzen - 1. Oder wenn es mehrere Male drin is, dann lösche alle "Duplikate im Output" bis auf eins. Dann kann ich im Nachhinein mit meinem schon erstellen Skript die Anzahl der "Server_ID=1234567898" zählen und in eine Textdatei schreiben.

Wie stelle ich sowas an?

Größten Dank

rme · 3. Februar 2011

Hallo,

Also, für nächstes Mal ... wenn Du gleich zu Beginn genauer gesagt hättest was Du erreichen möchtest wäre einiges an Aufwand/Zeit eingespart worden

Bash

#!/bin/bash
#
# Sort records in a text file. A record has the format:
#
# | Some header data
# |    more header data
# |
# |    <user
# |
# |        user="saubaer"
# |
# |        dataline 3
# |
# |        server_id="1234567891"
# |
# |        dataline 5
# |           etc.
# |        dataline n
# |
# |    />
# |
#
# Nur user="saubaer" und server_id="1234567891" sind von Interesse.
#
#
# use:
# ./<scriptname> inputfile outputfile
#
# make script executable with:
# > chmod 755 <scriptname>
#


# using 'grep' and 'sed'


echo --------------------
echo $0


inputfile=$1
outputfile=$2
tempfile=/tmp/temporaryfile$$


flag=0


cat $inputfile |
while read line
do
  if [ $flag -eq 1 ]; then


    echo -n $line | grep "[\ \o011]*/>" > /dev/null
    ret=$?
    if [ $ret -eq 0 ]; then
      flag=0
    else


      echo -n $line | grep "[\ \o011]*user=" > /dev/null
      ret=$?
      if [ $ret -eq 0 ]; then
        echo -n $line " | " >> $tempfile
      else


        echo -n $line | grep "[\ \o011]*server_id=" > /dev/null
        ret=$?
        if [ $ret -eq 0 ]; then
          echo -e -n $line "\n" >> $tempfile
        fi
      fi
    fi


  else      # flag=0


    echo -n $line | grep "[\ \o011]*<user" > /dev/null
    ret=$?
    if [ $ret -eq 0 ]; then
      flag=1
    fi


  fi
done


sort -i -u $tempfile > $outputfile


rm $tempfile


# uncomment next line (remove # ) if an empty line ist to be inserted between records
#sed -i 's/.*/&\o012/' $outputfile


# comment next line (insert #) if  user="abc"  | server_id="123"  format is preferred
sed -i 's/user=\"\([^\"]*\)\".*server_id=\"\([^\"]*\)\"/\1 | \2/' $outputfile


echo 'input  =' $inputfile
echo 'output =' $outputfile
echo --------------------


# --- end of script ---

Alles anzeigen

Code

> ./sort_records input.txt output.txt

Code

baergsteiger | 1234567898 
lorbaer | 1234567898
saubaer | 1234567891
saubaer | 1234567898
saubaer | 9876543212

Falls Du folgender Output möchtest, bitte entsprechende Zeile im script entfernen (d.h. # voranstellen).

Code

user="baergsteiger"  | server_id="1234567898"
user="lorbaer"  | server_id="1234567898"
user="saubaer"  | server_id="1234567891"
user="saubaer"  | server_id="1234567898"
user="saubaer"  | server_id="9876543212"

Gruss,
Roland

SauBAER · 4. Februar 2011

Wow. Du bist mein heutiger Tagesheld

Das Skript funktioniert wunderbar. Jetzt hab ich auch ne übersichtliche Übersicht aller User.

Denke den Rest kann ich dann mit meinem vorhandenen Skript erledigen. Werde das am Montag gleich mal testen.

Wo hast du denn so das scripten gelernt?

Hast du das alles selbst gemacht oder hattest du schon ne Vorlage?

Bestimmte Zeichen in text herausfiltern (Lizenzauswertung)

First Adobe, Now Autodesk? SolidCraft Wants to Replace Fusion

Tumbleweed-Update bricht ab

GNOME OS Preview: Ein Schritt in Richtung Alltagsbetrieb

Ubuntu 26.10 „Stonking Stingray“ ist erschienen

KDE Plasma 6.8 verabschiedet sich von X11

pit1958ffm

Wanderratte

k.113

aitexturegenerator

Giorgio68

Teilen