Engenheiro de Avaliação de IA

Esta posição é divulgada em nome de uma empresa parceira, que gerencia todas as candidaturas e próximas etapas. Nosso parceiro está procurando um Engenheiro de Avaliação de IA baseado no Brasil. Como um Engenheiro de Avaliação de IA fundador, você projetará e construirá a infraestrutura de avaliação, teste e observabilidade que garante que os agentes de IA de nível de produção funcionem de forma confiável, segura e eficiente. Você desenvolverá sistemas de teste automatizados para raciocínio complexo, conversas multi-turn e interações de agentes envolvendo APIs, bancos de dados e execução de código. Trabalhando com engenharia de IA, teste de software e infraestrutura, você criará pipelines de avaliação escaláveis que vão além do QA tradicional e do teste manual de prompts. Você estabelecerá testes de regressão robustos, métodos de avaliação estatística e cenários adversariais para identificar fraquezas antes da implantação. Esta é uma oportunidade de assumir a propriedade de uma arquitetura de avaliação do zero, enquanto trabalha com tecnologias modernas de IA em um ambiente totalmente remoto e distribuído globalmente. Seu trabalho contribuirá diretamente para a confiabilidade, segurança e melhoria contínua de sistemas avançados de IA. Responsabilidades: Projetar, construir e manter pipelines de teste CI/CD automatizados para validar o comportamento do agente de IA antes da implantação e ao longo do ciclo de vida de desenvolvimento. Desenvolver e manter conjuntos de dados "golden" contendo prompts de regressão, casos extremos e cenários sintéticos para medir a precisão, segurança, desempenho e latência do agente. Implementar verificações de avaliação rápidas, econômicas e determinísticas antes de introduzir abordagens de LLM-as-a-judge, incluindo validação de JSON schema, expressões regulares, verificações de status de API e similaridade de embedding. Criar conjuntos de testes abrangentes para conversas de agentes multi-turn, avaliando retenção de contexto, consistência de estado, comportamento de raciocínio e salvaguardas contra loops infinitos de chamada de ferramenta. Projetar e implementar cenários de teste adversariais para avaliar a resiliência contra prompt injection, entradas malformadas, respostas inesperadas de ferramentas e outras potenciais vulnerabilidades de segurança. Construir frameworks de avaliação estatística para medir o comportamento não determinístico da IA usando taxas de sucesso em várias execuções, intervalos de confiança e outras métricas quantitativas de confiabilidade. Integrar fluxos de trabalho de avaliação no GitHub Actions ou sistemas CI comparáveis usando execução de nível SDK e práticas de teste automatizadas. Implementar soluções de observabilidade e tracing usando ferramentas como OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave, ou plataformas equivalentes para monitorar a execução do agente e diagnosticar falhas. Otimizar a eficiência e o custo da avaliação por meio de caching, mocking e outras técnicas que reduzem chamadas desnecessárias de API de LLM. Validar saídas estruturadas, incluindo JSON schemas, especificações OpenAPI e payloads de função-chamada, para garantir que os agentes interajam de forma confiável com sistemas externos. Avaliar e melhorar o desempenho do agente sob carga, considerando tempos de resposta variáveis e comportamento de endpoint não determinístico. Projetar e possuir de forma independente a arquitetura de avaliação, estabelecendo melhores práticas, padrões de teste e processos escaláveis para garantia de qualidade contínua. Requisitos: Forte proficiência em Python ou TypeScript, particularmente para teste de API, execução headless, programação assíncrona e sistemas de teste automatizados. Experiência prática na construção de pipelines de avaliação de LLM, frameworks de teste de IA ou sistemas de teste estatísticos capazes de medir o desempenho em execuções repetidas. Experiência na integração de testes automatizados em ambientes CI/CD, particularmente GitHub Actions ou plataformas similares, com execução de nível SDK. Forte expertise na validação de dados e saídas estruturadas, incluindo JSON schema, especificações OpenAPI e payloads de função-chamada. Familiaridade com ferramentas de observabilidade e tracing como OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave, ou soluções de logging personalizadas. Capacidade de projetar, implementar e manter de forma independente uma arquitetura de avaliação do zero, com forte senso de propriedade e julgamento técnico. Excelente inglês escrito e falado, com a capacidade de comunicar descobertas técnicas de forma clara em uma equipe distribuída. Disponibilidade para se sobrepor com o horário comercial dos EUA (US Central Time) por pelo menos três horas por dia. Experiência com sandboxes de execução de código ou frameworks de agentes de IA como LangChain, LlamaIndex, AutoGen ou CrewAI. Forte compreensão de modelos de embedding, bancos de dados vetoriais e suas aplicações em avaliação de IA e teste baseado em similaridade. Experiência com testes de carga de endpoints não determinísticos e avaliação do comportamento do sistema sob diversas cargas de trabalho. Uma abordagem proativa e analítica para resolução de problemas, com a capacidade de trabalhar de forma independente, adaptar-se a tecnologias em evolução e melhorar continuamente as metodologias de teste. Benefícios: Trabalho totalmente remoto: Trabalhe de qualquer lugar com uma conexão de internet confiável, com a flexibilidade de escolher seu fuso horário e horário de trabalho preferidos. Horário flexível: Organize seu dia de trabalho em torno de sua produtividade, mantendo o tempo de sobreposição exigido com o US Central Time. Desenvolvimento profissional: Acesso a treinamento pago e outras oportunidades para expandir sua expertise técnica e apoiar o crescimento de sua carreira. Tecnologia moderna: Trabalhe com ferramentas, frameworks e práticas de engenharia de IA contemporâneas em um ambiente que valoriza a inovação e a melh