abgeBLOGt: Collabor Linkmap!

Montag, 8. Dezember 2003

Collabor Linkmap!

Ich habe einen Webcrawler in Java geschrieben, der alle Collabor-Seiten nach Links durchsucht, und auf diese Weise eine Grafik generiert, anhand derer man sehen kann, welche Blogs mit welchen verknüpft sind, und wo sich Schwerpunkte im Netz bilden.

Arbeitsweise
	er verfolgt keine externen links
	er verfolgt relative und absolute links, Dadurch wird wirklich jede Seite, die ein Normaler Benutzer auch ansurfen könnte, vom Crawler untersucht.
	eine URL wird nicht mehrmals geparst
	Blogs die keine relevanten Referenzen haben, werden nicht mit in die Grafik aufgenommen.
	Email-Adressen werden gespeichert, Zusatzinfos können ohne weiteres mit erfragt werden (z.B: auf welchen Blogs ist ein Ticker installiert? :)

ein dieser Grafik sind folgende Blogs bewusst weggelassen...
	Antville Startseite
	Belege
	alle Tutoren-Blogs (Sbg, Linz, Helpdesk, ...)
	Namenskonvention
	Course (der Blog von Herrn Mittendorfer)
	Alert

... weil, es die Grafik ungemein versauen würde, da diese Blogs Megaschwerpunkte des Netzes darstellen, die mit fast jeder Seite verlinkt sind. (die Antville Startseite z.B ist mit jedem Blog mehrfach verlinkt, da fast alle Blogs, wiederum Referenzen auf "Collabor home" haben).
Ausserdem finde ich es spannender zu sehen, wie die Userkommunikation untereinander stattfindet. Immer wieder finden sich Inseln (linke untere Ecke), in dem jetzt schon unübersichtlichen Netz.
Die Farben stellen Gewichte dar, die sich aus Eingehenden und Ausgehenden Referenzen zusammensetzen. (i = in, o = out).
Eingehende Referenzen, sind Links, die auf das Blog von anderen Blogs aus zeigen, Aussgehende Referenzen sind Links, die man auf seinem Blog zu anderen setzt.

Jörg hat den Link zur Linkmap auf die Collabor Startseite gepackt.

... comment

Hans.Mittendorfer.Uni-Linz, Montag, 8. Dezember 2003, 23:47

ein äußerst interessantes Werkzeug

Frage: wie wird die Indizierung getriggert ?

H. Mittendorfer

... link

stephan_ziep_berlin, Dienstag, 9. Dezember 2003, 13:54

trigger...

Der Trigger bin ich. Ich muss den Crawler starten, und ca. eine Stunde warten, bis er alles "gefressen" hat. Das tue ich meist von Zuhause aus. Die Map ist also immer nur eine Momentaufnahme des Systems.

Ich würde den Crawler und die Linkmap, als zweiten Beleg einreichen wollen, wenn das nicht zu spät ist? Die Belegfrist ist ja immerhin schon verstrichen. Dazu hat sich schon ein Kommilitone (Klaus Rieger) bei mir gemeldet, der den Crawler "aufbohren" will. Wir würden also eine Allianz bilden wollen.
Sei Vorhaben ist, Algorithmen aus der Graphentheorie in den Crawler zu implemmentieren. Das heisst beispielsweise, zusätzlich zu den indizierten Seiten, die Antville Logfiles automatisch auszuwerten, und den Kanten (Verbindungen zwischen den Knoten (Blogs)) Gewichtungen beizumessen. Man kann dann Aussagen zu der Schachtelungstiefe der Blogs treffen (Wieviel Klicks entfernt), der Wichtigkeit der Links (welche "Hauptverkehrsstrassen" werden benutzt) usw.

... link

Hans.Mittendorfer.Uni-Linz, Samstag, 13. Dezember 2003, 23:10

crawler und linkmap zählen

zu Ihren bewertbaren Arbeiten - ohne Zwiefel. Rüge und Mahnung war nur an die gedacht, die bis jetzt noch wenig oder gar keine Flagge zeigten.

Ihre Arbeiten gehören zu den besten, das wissen Sie doch ohnehin.

Sie sollten zur Coarbeit einen Link setzen, das wäre ganz im Sinne unserer Sache - oder? Und ob der Ticker - Spam wirklich eine so gute Idee war, weiß ich nicht. Aber ich hab Verständnis für angewandtes Marketing.

H. Mittendorfer

PS. kennen Sie denTouchgraph Browser ?

... link

stephan_ziep_berlin, Sonntag, 14. Dezember 2003, 11:37

Der Touchgraph-Browser war mir neu. Sieht wirklich interessant aus. Danke für den Tip.
Zum Thema Spam-Ticker: Die Möglichkeiten die sich mir anboten, waren einfach zu verlockend :) Ausserdem kann der Admin Sie ja wieder löschen, wenn es stresst. Aber ich habe einen guten Rücklauf auf den SpamTicker. 60 Leute haben über den Ticker schon zu meiner Seite gefunden. Das ist doch was :)

... link

Hans.Mittendorfer.Uni-Linz, Montag, 22. Dezember 2003, 18:26

Sie sollten sich als ..

.. internet_marketing_specialist bewerben! sagt ich doch schon mal - oder?

h. mittendorfer

... link

stephan_ziep_berlin, Montag, 22. Dezember 2003, 20:12

:) danke für die blumen...

...

... link

Hans.Mittendorfer.Uni-Linz, Samstag, 3. Januar 2004, 16:54

oder: wie ein Informatiker ..

.. zum Manager wird ;-)

H. Mittendorfer