Open source and commercial Large Language Models comparison: the performance capability and limitation of open source Large Language Models for geoparsing tasks

Chang, Juiwen; Wu, Cheng-Chia; Noennig, Jörg, Rainer

doi:10.48711/20250401-007

Article / Chapter 2025 CC BY 4.0

published

Open source and commercial Large Language Models comparison : the performance capability and limitation of open source Large Language Models for geoparsing tasks

Chang, Juiwen ; Wu, Cheng-Chia ; Noennig, Jörg Rainer

English
German

Geoparsing is a process that combines Name Entity Recognition (NER) and Geocoding to process free text and identify geolocalized terms in them, which are then converted into spatial coordinates using Geocoder API. On such premise, here presented research project is part of a cooperation with the Real Estate Management Corporation of the city of Hamburg (LIG) and pursues the overarching goal of developing a geoparsing workflow for processing the open source database of the Hamburg Parliament. Specifically, the aim is to link and visualize neighbourhood land parcels that are part of public discussion - for which a large number of PDF files are to be processed and visualized on a WebGIS system. For this aim, we are now investigating the functional capabilities and limitations of Large Language Models (LLM). In order to accurately estimate how many place terms are recognized, we have developed a validation workflow (including a process to spatially join multiple geocoded point coordinates) that automatically compares and calculates the percentage of place terms recognized by each model. With the rapid development of LLM, it has become easy to extract corresponding location lists - but the quality of results has remained an open question. This research paper therefore focuses on the performance of open-source LLMs, of which we have tested Meta Llama3.1-70b-instruct and Mistral-large-2 in order to compare them with Claude-sonnet-3.5-new and OpenAI o1-preview. For the geocoding process the geocoders Nominatim and Mapbox Geocoder API are used. For addresses with house numbers, we use the official address sources published by the State Corporation For Geoinformation and Surveying (LGV). The results show that a hybrid approach of combined LLM can extract up to 74,98% of unique locations from the text, including the full address with house numbers while Claude, on the other hand, only achieves 53%. We also found that open source LLMs are limited in extracting the names of institutions (e.g. high schools) without giving concrete address information from the texts. Such edge cases will be further illustrated in the discussion session.

Geoparsing ist ein Prozess, der Name Entity Recognition (NER) und Geocoding kombiniert, um Freitext zu verarbeiten und in ihnen geolokalisierte Begriffe zu identifizieren, die dann mit Geocoder API in in räumliche Koordinaten umgewandelt werden. Das Forschungsprojekt erfolgt im Rahmen einer Kooperation mit dem Landesbetrieb Immobilienmanagement und Grundvermögen Hamburg (LIG) und verfolgt das übergeordnete Ziel, einen Geoparsing-Workflow zur Verarbeitung der Open-Source-Datenbank des Hamburger Parlaments („Bürgerschaft“) zu entwickeln (Dally et al., 2024). Konkret sollen Immobiliengrundstücke erfasst werden, die in der öffentlichen Diskussion stehen – für die eine große Vielzahl von PDF-Dateien verarbeitet und in einem WebGIS-System visualisiert werden sollen. Um die Routineaufgaben des LIG zu erfüllen, ist ein leistungsfähiger Geoparsing-Workflow notwendig, dessen 1) Ortserkennung auch Hausnummern enthalten sollte, und 2) eine genaue Kodierung der räumlichen Kartenkoordinaten sicherstellt.
In einer früheren Projektphase wurde das flair/ner-german-large Modell zur Standortbestimmung verwendet (Mellow & Chang, 2023) und der Fokus der Untersuchung auf eine lokale Zeitung ("Elbewochenblatt") gelegt. Allerdings wurde festgestellt, dass das Flair-Modell nicht in der Lage ist, vollständige Adressen einschließlich Hausnummern zu ermitteln. Daher eruieren wir jetzt die funktionalen Möglichkeiten aktuellerer LLM-Modelle. Um präziser einschätzen zu können, wie viele Ortsbegriffe erkannt werden, haben wir einen Validierungsworkflow entwickelt (einschließlich eines Prozesses zur räumlichen Verknüpfung mehrerer geokodierter Punktkoordinaten), der automatisch den Prozentsatz der von jedem Modell erkannten Ortsbegriffe vergleicht und berechnet.
Mit der schnellen Entwicklung von Large Language Models (LLM) ist es einfach geworden, entsprechende Ortslisten zu extrahieren – die Ergebnisqualität aber blieb bisher eine offene Frage. Dieser akademische Beitrag konzentriert sich daher auf die Qualität dieser Open-Source-LLMs, von denen wir haben Meta Llama3.1-70b-instruct und Mistral-large-2 getestet haben, um sie mit Claude-sonnet-3.5-new und OpenAI o1-preview zu vergleichen.
Für die Geokodierung verwenden wir OpenSource Geocoder: Nominatim und Mapbox Geocoder API. Für die Adressen mit Hausnummern ziehen wir zusätzlich die die vom Landesbetrieb Geoinformation und Vermessung (LGV) offiziell veröffentlichten Adressen der Stadt Hamburg heran.
Das Ergebnis der Untersuchung zeigt, dass ein hybrider Open-Source-Ansatz bis zu 90% eindeutige Standorte aus dem Text gewinnen kann, einschließlich der vollständigen Adresse mit Hausnummern. Claude erreicht hingegen nur 53%, o1-preview 60%. Wir haben auch festgestellt, dass LLM bei der Extraktion der Namen von Institutionen (z.B. Schulen) ohne Adressangabe in den Texten eingeschränkt ist.