We have officially released a Perl port of PHPIDS, a tool for detection of Cross-Site-Scripting (XSS), Cross-Site-Request-Forgery (CSRF), SQL-Injections (SQLI), Local-File-Inclusions (LFI) etc. in website requests.
The tool is released as CGI::IDS Perl module ‘PerlIDS’ on CPAN.org under the OpenSource ‘Lesser GNU Public License’ (LGPL).

The intrusion detection is based on a set of converters that convert the request according to common techniques that are used to hide attacks. These converted strings are checked for attacks by running a filter set of currently 68 regular expressions and a generic attack detector to find obfuscated attacks. For easily keeping the filter set up-to-date, PerlIDS is compatible to the original XML filter set of PHPIDS, which is frequently updated.
Each matching regular expression has it’s own impact value that increases the tested string’s total attack impact.

Using these total impacts, a threshold can be defined by the calling application to log the suspicious requests to database and send out warnings via e-mail or even SMS on high impacts that indicate critical attack activity. These impacts can be summed per IP address, session or user to identify attackers who are testing the website with small impact attacks over a time.

During our development we have made some speed-improvements to PerlIDS and PHPIDS for the use on really large websites. With our experience of running it on websites with much user traffic, we could help to improve the converters and filter mechanism to reduce the rate of false alarms.

For heavily reducing the server load we introduced a whitelist mechanism to tell PerlIDS which request parameters don’t have to be checked with the expensive regular expressions if they match the whitelist rules.

We’d love to receive your feedback on the module!

epublica is very proud to work for Germany’s most important web founder and still play such an important role of hosting and developing the core of such a big platform as XING. Especially managing the millions of database queries was recently described by us in an article in the Linux Technical Review.

Im heute erschienenen Linux Technical Review 09 zum Thema “Datenbanken” haben wir von epublica einen Beitrag geschrieben. Titel: “Horizontale Skalierung mit MySQL – Wie eines der am schnellsten wachsenden Web-Portale seine Datenbank ständig steigenden Anforderungen anpasst.” Darin zeigen wir, wie wir bei unserem Kunden XING die MySQL-Datenbank-Architektur skalieren.

Dem Endanwender von XING wird üblicherweise nicht bewusst, dass aktuell mehr als als 200 Server hinter den Kulissen ihren Dienst schieben. Nur so kann man mit der enormen Last umgehen, die die Plattform mittlerweile verursacht. Ein paar Zahlen: Im Schnitt liegen wir derzeit bei etwa 200 HTTP-Requests/sec (d.h. Seitenabrufe, AJAX-Requests und Anfragen gegen interne APIs), 3.000 Datenbank-Queries/sec und 14.000 Memcache-Requests/sec. Zu Spitzenlastzeiten können sich diese Zahlen locker verdrei- bis -vervierfachen.

Dass der Betrieb einer solchen Server-Farm eine immense Adminstrations-Aufgabe ist, leuchtet sofort ein. Doch ist auch auf Applikations-Seite einiges zu tun, um Parallelisierung zu ermöglichen. Und genau das ist Thema unseres Artikels. Wir beschreiben, wie wir nach und die Architektur um mehrere Skalierungsdimensionen erweitert haben und welche Konsequenzen für die Applikation daraus jeweils entstanden sind.

Wer sich mit sowas auskennt und/oder das spannend findet, sei an dieser Stelle auch diskret hier drauf verwiesen

In den letzten Wochen haben wir auf wer-weiss-was.de drei Protagonisten für TV-Spots gesucht und gefunden. Hier sind die Ergebnisse, die ab nächster Woche auch im Fernsehen gezeigt werden:

epublica ist am Wochenende umgezogen – vom 5. in den 6. Stock, die Postadresse bleibt unverändert.

Noch ist nicht alles fertig, die Bürofläche wird in den nächsten Monaten noch um 1/3 erweitert. Aber es ist sehr schick (und auch sehr schön ruhig) geworden!

Das alte Großraumbüro hatte seinen Charme. Wir haben jahrelang wortwörtlich “auf Zuruf” gearbeitet, was in einem kleinen Gruppe auch prima funktioniert. Aber in einem größeren Team ist man irgendwann genervt vom so entstehenden Grundrauschen und Gebrabbel im Büro. (Stellwände als Lärmschutz haben wir probiert, aber die waren ein Reinfall: Man sieht seine Kollegen nicht mehr, aber man hört sie noch fast genau so gut.)

Ein Umbau wurde also nötig. So bot sich die Gelegenheit, gleich vom 5. in den 6. Stock umzuziehen und wir konnten während der Umbauarbeiten relativ ungestört im alten Büro weiterarbeiten.

So also sah’s vor dem Umzug aus:

…und machen das, äh, irgendwo.”

Wir sind innerhalb des Gebäudes vom 5. in den 6. Stock umgezogen (Fotos vom neuen Büro folgen noch) und gestern wollte Hansenet die Telefondose aufschalten.

Dafür sollte der Techniker eigentlich zu uns ins Büro kommen. Kam er aber nicht. Laut Hansenet war er gestern hier im Haus und hat eine Telefondose geschaltet.

Die Dose suchen wir gerade noch.

Ein wenig betrübt hab ich eine neue Funktion von Skype entdeckt:

Es bietet scheinbar eine gute Anzeige, wie es mit der Einstellung zum Stromsparen bei den lieben Kontakte abends um 22 Uhr so aussieht. Ja haben die alle ihre Rechner einfach laufen lassen oder ist das schon wieder der Skype Cache, der alle noch online aus der Mittagspause anzeigt?

(Es war übrigens nur ein epublica Mitarbeiter darunter.)

In Zeiten, wo alle von Energiesparen reden, könnte man doch auch seinen Rechner abschalten, wenn man nicht mehr online ist.

Wer hat ähnliche Anzeigen bei sich beobachtet und kann einen Einblick geben, wie energiesparend heutzutage Computer benutzt werden?

(Nur Spaß, Peter … )

Say you want to rename a database in MySQL.

What you usually can’t do is “mysqladmin rename”, because that’s only available as of MySQL 5.1.7. If you have only MyISAM tables, you can just rename the folders that store the databases while the server is down. But that doesn’t work when you have at least one InnoDB table, because renaming folders wrecks the tablespace.

The key to the solution is that MySQL actually allows you to rename a table from one database into another. The rest comes easy:

We’re renaming databases a, b, c to new_a, new_b, new_c:

for i in a b c ; do mysqladmin create new_$i ; mysql -B $i -e "show tables" | tail +2 | perl -pe "s/^(.*)$/rename table $i.\1 to new_$i.\1;\n/" ; done | mysql

Wir gratulieren dem Team von XING zu ihrem großartigen Sieg beim NETSOCCER Beach Clash 2007 in diesem Jahr, bei denen ihnen schwere Gegner wie Google und AOL, sowie der Vorjahressieger gegenüber standen.

Gemeinsam mit der ProSiebenSat.1-Gruppe haben wir eine Vereinbarung getroffen, die wer-weiss-was GmbH zu gründen, die sich vollständig um unsere Plattform wer-weiss-was kümmern wird. Wir gewinnen damit einen starken Partner, mit dem zusammen wir die Site weiter betreiben und entwickeln werden.

Diese Partnerschaft wird es uns ermöglichen, wer-weiss-was intensiver weiterzuentwickeln und der Plattform mit einem starken Medienpartner zu noch mehr Popularität zu verhelfen.

ProSiebenSat.1 baut im Gegenzug ihre Online-Aktivitäten weiter aus – neben diversen Sendermarken im Internet gehören bspw. Sites wie wetter.com, Lokalisten.de und billiger.de dazu.

Darüber hinaus wird ProSiebenSat.1 mit wer-weiss-was den Bereich Wissen stärken. Der Fokus der Plattform wird sich entsprechend nicht verändern – der gemeinsame und kostenlose Austausch von Wissen bleibt der bestimmende Faktor.

Zukünftig wird sich auch weiterhin epublica um den Betrieb der Plattform kümmern. Wir werden mit denselben Personen wie bisher für den Support, die Entwicklung und die Administration sorgen, das Team wird aber auch Zuwachs erhalten.

Wir sind auf die kommende Zeit sehr gespannt!

“Wir benutzen ein primzahlenbasiertes Verschlüsselungsverfahren”. “Ach ja? Welches denn?”. “ROT13″.

Dank Vorratsdatenspeicherung müssen wir für unsere Auftraggeber neue Server, größere Festplatten und aufwändigere Backupsysteme einrichten. Die Kosten dafür tragen indirekt deren Nutzer. Glücklich sind weder unsere Auftraggeber, noch deren Nutzer, noch wir.

Für unsere Auftraggeber ist das zwar auch schon teuer, aber viel schlimmer sind große ISPs und Diensteanbieter wie z.B. GMX dran, wo die Umsetzung der Gesetzesvorgaben ein Großprojekt nach sich zieht. Der eco Verband beschwert sich nicht ohne Grund.

Und wofür das alles?

“Nach einer Studie des Bundeskriminalamts vom November 2005 konnten in den letzten Jahren 381 Straftaten wegen fehlender Telekommunikationsdaten nicht aufgeklärt werden, vor allem in den Bereichen Internetbetrug, Austausch von Kinderpornografie und Diebstahl. Die 381 Fälle beziehen sich auf einen Zeitraum von mehreren Jahren, konnten teilweise auch auf anderem Wege aufgeklärt werden und hätten selbst mit einer sechsmonatigen Vorratsdatenspeicherung teilweise nicht aufgeklärt werden können.

Vor allem machen diese 381 Fälle nur 0,01% der 2,8 Mio. Straftaten aus, die laut Kriminalstatistik Jahr für Jahr nicht aufgeklärt werden können.

[..]

Schon jetzt ist die Aufklärungsquote im Bereich mittels Telekommunikation begangener Straftaten den einschlägigen Statistiken zufolge nicht niedriger, sondern höher als im Durchschnitt (55%). In den Bereichen Internetbetrug und Softwarepiraterie liegt die Aufklärungsquote etwa bei über 80%. Eine Vorratsdatenspeicherung würde die durchschnittliche Aufklärungsquote von bisher 55% im besten Fall auf 55,006% erhöhen.“

Liebe Maria,

ich habe mich sehr über deinen Brief gefreut. Allerdings hat mich dein Ungestüm, mir den Brief gleich dreimal von drei verschiedenen Absendern mit drei verschiedenen Antwortadressen zu senden, etwas überrascht. Wie soll ich auf dich eingehen, wenn ich befürchten muss, dass ich es hier mit einer gespaltenen Persönlichkeit zu tun habe? Bitte liebe Maria sei nächstes Mal etwas weniger leidenschaftlich mit deinen Aktionen.

Erster Brief:

Date: Sun, 24 Jun 2007 16:51:29 +0600
From: Deine Maria <Reid@northwestern.edu>
To: "norbert.schuler" <norbert.schuler@epublica>
Subject: Hallo mein Freund!

Hallo!!! Ich bitte dich, sich uber meinen Brief nicht zu verwundern.
...
Ich bin obligatorisch werde antworten. Ich werde dir das
Foto schicken und ich werde uber mich mehr erzahlen.

Meinen personlich e-mail: mariam2005r@yahoo.com

Kuss
Deine Maria

Zweiter Brief (ein paar Stunden später aus einem anderen Teil der Welt):

Date: Sun, 24 Jun 2007 21:41:23 +0800
From: Deine Maria <Ruth@nipron.com>
To: "norbert" <norbert@epublica>
Subject: Hallo mein Freund!

Hallo!!! Ich bitte dich, sich uber meinen Brief nicht zu verwundern.
...
Ich bin obligatorisch werde antworten. Ich werde dir das
Foto schicken und ich werde uber mich mehr erzahlen.

Meinen personlich e-mail: maria30m@yahoo.com

Kuss
Deine Maria

Der dritte Brief wurde von der Post leider vier Jahre lang zurückgehalten:

Date: Thu, 27 Mar 2003 00:05:09 +0100
From: Deine Maria <Odessa@lansheng.net>
To: "norbert" <norbert@wer-weiss-was>
Subject: Hallo mein Freund!

Hallo!!! Ich bitte dich, sich uber meinen Brief nicht zu verwundern.
...
Ich bin obligatorisch werde antworten. Ich werde dir das
Foto schicken und ich werde uber mich mehr erzahlen.

Meinen personlich e-mail: mmmariammm01@yahoo.com

Kuss
Deine Maria

Seufz, ob irgendjemand wirklich glaubt, so etwas bewirken zu können?