Título del puesto: Ingeniero Senior / Líder de IA Agental – LLM Evaluación y Observabilidad
Ubicación: Dallas, TX (Híbrido)
Duración: A largo plazo
Experiencia: 8+ años
Entrevista: Ronda con clientes, presencial

Importante: Este es un puesto de ingeniería práctica. Se prefieren candidatos con experiencia práctica en la construcción y evaluación de aplicaciones de IA frente a aquellos cuya experiencia se limita a estrategia de IA, documentación de arquitectura, automatización convencional de QA o uso de asistentes de programación con IA.

Buscamos un Ingeniero de IA Senior/Lead con experiencia en la construcción, orquestación, monitorización y evaluación de aplicaciones de IA Generativa y IA Agential de grado de producción. El candidato ideal es un experto en Amazon Bedrock, AgentCore, LangGraph, LangChain, RAG, observabilidad LLM y marcos de evaluación. El puesto se centra en crear aplicaciones de IA fiables, escalables y listas para producción, con énfasis en la orquestación de agentes, pruebas de IA, evaluación de LLM y monitorización continua de la calidad.

El candidato colaborará con los equipos de Ingeniería, QA y plataforma para establecer las mejores prácticas para construir, probar, monitorizar y mejorar aplicaciones impulsadas por IA. El enfoque de las pruebas está en la evaluación de GenAI, la evaluación de pipelines RAG, la validación del comportamiento de agentes, el benchmarking de calidad de LLM y los marcos de evaluación automatizados, no en la automatización convencional de pruebas de UI.

Responsabilidades clave  

1. IA Agente e Ingeniería GenAI
- Diseñar, desarrollar y desplegar aplicaciones de IA agente y generativa de grado de producción.
- Construir y orquestar agentes de IA usando LangGraph, LangChain, Amazon Bedrock y AgentCore.
- Implementar flujos de trabajo multiagente, llamadas a herramientas, gestión de estados, memoria y orquestación.
- Crear aplicaciones escalables impulsadas por LLM y componentes de IA reutilizables.
- Desplegar flujos de trabajo agentes con Amazon Bedrock AgentCore, gestionando la gestión en tiempo de ejecución, integración de herramientas y orquestación de ejecución.

2. Desarrollo de aplicaciones RAG & LLM 
- Diseñar e implementar soluciones de Generación Aumentada por Recuperación (RAG).
- Desarrollar pipelines para la ingestión, fragmentación, incrustación, recuperación, reclasificación y gestión del contexto de documentos.
- Optimizar la precisión de la recuperación, la calidad de respuesta, la latencia y el coste.
- Aplicar técnicas de arraigo, reducción de alucinaciones y relevancia contextual.

3. Evaluación de LLM y pruebas de IA
- Construir marcos de evaluación automatizados con RAGAS, DeepEval y herramientas similares.
- Evaluar las canalizaciones RAG utilizando métricas como Fidelidad, Relevancia de Respuestas, Precisión del Contexto, Recuperación de Contexto y Corrección de Respuestas.
- Implementar técnicas de LLM como juez para evaluar respuestas generadas, calidad de recuperación, comportamiento del agente y ejecución del flujo de trabajo.
- Establecer conjuntos de datos de evaluación, referencias y canales de pruebas de regresión para la evaluación continua de la calidad.

   3a. Evaluación y observabilidad del agente
- Implementar el trazado de extremo a extremo de flujos de trabajo multiagente, incluyendo invocación de herramientas, traspasos de agentes, rutas de ejecución y gestión de fallos.
- Establecer prácticas de observabilidad para detectar alucinaciones, fallos de razonamiento, errores en la llamada de herramientas e inconsistencias en la ejecución.

4. Observabilidad y monitorización de la IA
- Implementar trazado, monitorización y observabilidad con OpenTelemetry, LangSmith y Langfuse.
- Rastrear solicitudes de LLM, flujos de ejecución de agentes, llamadas a herramientas, latencia, consumo de tokens, errores y rendimiento.
- Desarrollar mecanismos de depuración para flujos de trabajo agenticos complejos de varios pasos.
- Crear prácticas de monitorización para detectar degradación del rendimiento y problemas operativos.

5. Plataforma de IA de AWS e Ingeniería de Producción
- Desplegar aplicaciones de IA usando Amazon Bedrock y Bedrock AgentCore.
- Integrar modelos de fundación, marcos de agentes, APIs y fuentes de datos empresariales.
- Aplicar prácticas de preparación para la producción que abarquen escalabilidad, fiabilidad, seguridad y rendimiento.
- Soporte para la integración CI/CD y la evaluación automatizada de aplicaciones de IA.
- Optimizar la selección del modelo, los costes de inferencia, la latencia y la utilización de recursos.
 
6. Liderazgo Técnico y Colaboración
- Proporcionar orientación técnica a los equipos de ingeniería y control de calidad.
- Establecer marcos reutilizables, patrones de implementación y mejores prácticas.
- Colaborar con los equipos de arquitectura, DevOps, QA e ingeniería.
- Participar en discusiones de diseño, revisiones de código, desarrollo de pruebas de concepto e implementación.
- Mentorizar a ingenieros y ayudar a los equipos a adoptar prácticas efectivas de desarrollo y pruebas de IA.

Habilidades técnicas requeridas 

IA agente y orquestación
- LangGraph
- LangChain
- Roca madre amazónica
- Agente de roca madre del Amazonas
- Agentes de IA, orquestación multiagente, llamada de herramientas, gestión de flujos de trabajo

IA generativa y RAG
- Grandes Modelos de Lenguaje (LLMs)
- Generación Aumentada por Recuperación (RAG)
- Incrustaciones y búsqueda vectorial
- Ingeniería de prompts y gestión del contexto
- Desarrollo de aplicaciones LLM

Evaluación y Pruebas de LLM
- DeepEval
- Técnicas de LLM como juez
- Métricas de evaluación y comparativos
- Evaluación automatizada y pruebas de regresión
- Evaluación de alucinaciones, fidelidad, relevancia y calidad de respuesta
- Experiencia práctica con RAGAS, DeepEval o marcos equivalentes
- Sólido entendimiento de las métricas de evaluación RAG (Fidelidad, Relevancia de la Respuesta, Precisión del Contexto, Memoria del Contexto, Corrección de la Respuesta)
- Experiencia en la construcción de canales de evaluación automatizados para aplicaciones basadas en RAG

Observabilidad y monitorización de la IA
- OpenTelemetry
- LangSmith
- Langfuse
- Trazado de LLM, depuración y monitorización del rendimiento

Ingeniería de Producción 
- Despliegue y operación de aplicaciones GenAI de grado producción
- Integración de API e ingeniería backend
- CI/CD e integración de pruebas automatizadas
- Escalabilidad, fiabilidad, seguridad y optimización del rendimiento
- Sólida experiencia práctica en programación en Python.
- Experiencia en el desarrollo de APIs REST e integración de frameworks LLM con aplicaciones empresariales.
- Familiaridad con programación asíncrona, integraciones de API y desarrollo backend.

Cualificaciones Preferidas 
- 8+ años de experiencia en ingeniería de software o TI.
- Experiencia práctica demostrada en la creación y despliegue de aplicaciones GenAI y IA agente.
- Experiencia reciente en ingeniería LLM, orquestación de agentes y evaluación de IA.
- Experiencia con implementaciones de IA a escala empresarial.
- Familiaridad con los servicios en la nube de AWS y las prácticas de seguridad en IA empresarial.
- Experiencia en el establecimiento de estándares de calidad y metodologías de evaluación de IA.
- Sólidas habilidades para resolver problemas, comunicación y colaboración técnica.

Cómo se ve el éxito  
- Desarrollo y despliegue de aplicaciones de IA agente de grado de producción.
- Orquestación y ejecución fiable de agentes y flujos de trabajo de IA.
- Evaluación efectiva de LLM y marcos automatizados de pruebas de IA.
- Mejorada de la precisión, fiabilidad, observabilidad y rendimiento de las aplicaciones de IA.
- Prácticas de ingeniería reutilizables para construir y mantener soluciones empresariales de GenAI.