Manager AI Innovation Engineer
BBVA is hiring a Manager AI Innovation Engineer in Madrid, Spain. Level rates it ; you can apply on BBVA.
Level's read on this job
- On Level's scale, this role is Little AI ●○○○: aI is not part of the work.
- The posting mentions Claude, Copilot and LangGraph among its tools and skills.
- BBVA has 594 other open roles on Level.
- Posted in the last few days.
AI in this role
¿Te entusiasma hacer crecer tu carrera?
BBVA es una compañía global con más de 160 años de historia que opera en más de 25 países donde damos servicio a más de 80 millones de clientes. Somos más de 121.000 profesionales trabajando en equipos multidisciplinares con perfiles tan diversos como financieros, expertos legales, científicos de datos, desarrolladores, ingenieros y diseñadores.
Conoce más sobre el área:
AI Innovation, dentro de AI Transformation, tiene la responsabilidad de conocer y explorar tanto nuevas tecnologías como nuevos modelos y soluciones de Inteligencia Artificial que puedan tener impacto y adopción por parte de BBVA.
Desde la creación de los Robots y la definición de The Frame como framework y habilitador clave para la escalabilidad de la IA, se requiere un esfuerzo grande tanto de investigación, como innovación como de supervisión estratégica y de “advisory” dentro de la organización.
Dentro de AI Innovation, el AI Lab, explora, evalúa y desarrolla soluciones avanzadas basadas en modelos fundacionales, Large Language Models (LLMs) y sistemas agénticos para casos de uso estratégicos del banco. El equipo trabaja en todo el ciclo de vida: desde la evaluación experimental de modelos hasta la construcción de prototipos y su integración en entornos productivos.
Sobre el puesto
Misión del puesto
Buscamos una persona para el puesto de Manager AI Innovation Engineer, con un perfil de más de 8 años de experiencia en Machine Learning, GenAI y en el desarrollo de proyectos y soluciones que combinen datos y modelos analíticos y de ML. Se combinará experimentación analítica avanzada con el desarrollo de soluciones basadas en LLMs y arquitecturas agénticas, desde la definición del caso de uso hasta su puesta en producción.
Responsabilidades principales
Evaluación y experimentación con GenAI
- Seleccionar y evaluar comparativamente modelos fundacionales para distintos casos de uso, incluidas aplicaciones de lenguaje, voz y soluciones multimodales.
- Diseñar y ejecutar planes de evaluación, definiendo métricas técnicas y de negocio y comparando modelos en distintos escenarios.
- Construir de forma iterativa datasets de entrenamiento, validación y evaluación.
- Adaptar modelos generativos y discriminativos mediante fine-tuning u otras técnicas equivalentes.
- Definir metodologías de experimentación controlada, como pruebas A/B, y validar KPIs analíticos asociados a soluciones basadas en LLM.
Desarrollo de soluciones basadas en LLMs y sistemas agénticos
- Diseñar y desarrollar soluciones analíticas basadas en LLMs, incluidas arquitecturas que combinen varios modelos.
- Diseñar y desarrollar sistemas agénticos en los que los modelos interactúen con herramientas, APIs, fuentes de conocimiento externas y modelos de ML.
- Desarrollar flujos de razonamiento y orquestación de modelos, con planificación de tareas, uso de herramientas y composición de varios pasos de inferencia.
- Construir bases de conocimiento y datasets de dominio para alimentar modelos generativos.
- Crear sistemas donde los LLMs funcionen como interfaces inteligentes para interactuar con sistemas y datos corporativos.
- Desarrollar pipelines de inferencia y servicios backend; integrar modelos con sistemas y operativas del banco, incluidas APIs y sistemas corporativos.
- Participar en ciclos iterativos de experimentación, desde el prototipo hasta la solución productiva.
Investigación aplicada y transferencia de conocimiento
- Explorar de forma continua avances en LLMs, modelos fundacionales, técnicas avanzadas de NLP y arquitecturas agénticas.
- Evaluar tecnologías y frameworks relevantes para soluciones de IA generativa.
- Comunicar conceptos técnicos a audiencias internas con distintos niveles de especialización.
Requisitos técnicos
Machine Learning Engineering
- Experiencia en el ciclo de vida completo de proyectos de ML y NLP: exploración de datos (EDA), construcción de datasets, selección y entrenamiento de modelos, evaluación y monitorización.
- Experiencia desarrollando soluciones analíticas productivas, pipelines de ML y servicios de inferencia.
- Experiencia en MLOps: automatización de pipelines, integración y despliegue continuo, observabilidad y monitorización de modelos.
Infraestructura, cloud y herramientas
- Experiencia trabajando en entornos cloud, especialmente AWS y GCP, y desplegando e integrando soluciones de ML en cloud.
- Conocimiento de infraestructura como código (IaC), por ejemplo CloudFormation.
- Experiencia con Git y prácticas CI/CD para integración y despliegue de software.
- Programación en Python; se valorará experiencia con TypeScript o Node.js.
- Experiencia con frameworks de orquestación de LLMs y agentes, como LangGraph, Agents SDK, AWS Strands u otros equivalentes.
- Experiencia utilizando agentes de programación como Codex, Claude Code, Cursor, GitHub Copilot o herramientas similares.
Riesgos de los modelos generativos
- Comprensión de riesgos asociados a los modelos generativos, incluidos la alucinación de hechos, los sesgos, la impredecibilidad y las omisiones en la generación.
Experiencia valorable
- Experiencia con otros entornos cloud, como GCP / Vertex AI.
- Experiencia en entornos on-premise.
- Experiencia en el sector bancario, en plantilla o en consultoría.
Competencias personales
- Espíritu de equipo y capacidad para trabajar de forma colaborativa.
- Capacidad para explicar conceptos técnicos a perfiles no técnicos.
- Mentalidad analítica y orientación a la experimentación.
- Flexibilidad y adaptación a entornos tecnológicos en evolución.
Habilidades:
Aprendizaje automático (ML), Idioma inglés, Programación orientada a objetos (POO), TensorflowHow we rate this
Manager AI Innovation Engineer at BBVA rates 4 out of 100 for how much of the daily work is AI. That makes it Little AI (AI Level 1 of 4). The level is about AI in the job, not seniority.
Little AI. AI is not part of the work.
- ●●●● Builds AI80 to 100
- ●●●○ Works on AI60 to 79
- ●●○○ Uses AI40 to 59
- ●○○○ Little AI0 to 39
Levels come from how often the tools, models and workflows of the role are named in the posting itself. Read the description and count the AI tools, models and workflows it names.
Prepare for this job
Built from this posting and from similar jobs on Level.
Skills and AI tools this role asks for
Questions you could be asked
- Walk me through fine-tuning a model: what data did you use, and how did you check the result?
- How do you monitor a model once it's live, and how do you know it needs retraining?
- What NLP problem have you worked on, and how did you measure whether it actually worked?
- What's a project where you used Claude hands-on?
- Walk me through how you've used Copilot in your day-to-day work.
Adapt your resume
- List these exact terms on your resume: Fine-tuning, ML Ops, NLP, Claude, and Copilot. An applicant tracking system matches the wording, not the idea.
- Attach one line of real, concrete experience to at least one of them. A tool named with nothing behind it rarely survives a human read.
Get your CV reviewed before you apply
Send your CV and the role you want next. Your review arrives by email within 3 days.
Get new software engineering jobs by email
One email a week, each job rated for how much AI is in the work. No recruiter spam, unsubscribe in one click.
Free.
Similar roles
Software Engineering roles that involve little AI, at other companies.
What kind of AI work fits you?
Answer 12 practical questions in about three minutes. Get a simple profile, the work it points to, and live roles to explore next.
Find my next step