Im Rahmen der Masterthesis wird das Finetuning mehrerer LLMs auf unternehmenseigenem Quellcode untersucht. Ziel ist es, die minimale Modellgröße (gemessen an der Anzahl der Parameter) zu bestimmen, bei der noch eine ausreichende Performance gewährleistet ist. Gleichzeitig soll analysiert werden, inwieweit die Anzahl der Parameter Einfluss auf die Qualität der Unterstützung hat. Im Fokus steht dabei der sogenannte Fill-in-the-Middle (FIM) Use Case – ein Trainingsansatz, bei dem das Modell lernt, fehlende Codeabschnitte zwischen einem gegebenen Anfangs- und Endsegment zu generieren.
Uns ist wichtig, dass du das Arbeiten bei Vector vor Ort kennenlernst. Um das Studium und die Arbeit unter einen Hut zu bekommen, bieten wir nach individueller Abstimmung, und abhängig von der jeweiligen Tätigkeit, auch mobiles Arbeiten an. Bitte beachte, dass reine Remote-Arbeit nicht möglich ist. Nächstmöglicher Start WiSe25/26.
Deine Aufgaben
- Aufsetzen eines Frameworks zum Finetuning von LLMs auf Quellcode
- Erstellung von Trainings- und Testdaten basierend auf dem Quellcode
- Erarbeitung und Umsetzung eines Konzepts zur Evaluation des entstehenden Modells
- Ermittlung der Pareto-Front bezüglich LLM Parameterzahl und Performance
Dein Profil
- Studium der Fachrichtung Informatik, Elektro- und Informationstechnik oder vergleichbarer Studiengang
- Gute Programmierkenntnisse in Python
- Programmierkenntnisse in C/C++
- Erfahrungen/Kenntnisse in LLMs, GenAI und dessen Verwendung
- Idealerweise Kenntnisse in LLM Finetuning
- Gute Deutsch- und Englischkenntnisse
Dein Vector
- Warum Vector einer der besten Arbeitgeber Deutschlands ist? Weil wir einiges dafür tun, damit sich Arbeit nicht wie Arbeit anfühlt.
- Dazu zählen zum einen individuell auf dich zugeschnittene Weiterbildungen, flexible Arbeitszeitmodelle inkl. vertrauensvoller Regelung zum mobilen Arbeiten (bis zu 66 % der Zeit).
- Zum anderen unterstützen wir dich mit Kinderkrippe, firmeneigenem Fitnessstudio, Parkplatz mit kostenloser E-Tankstelle oder vergünstigtem Deutschland-Ticket und noch vielem mehr.
- Darüber hinaus trägt unser hervorragendes Betriebsrestaurant dazu bei, dein Wohlfühl-Level hoch zu halten.
