Con sus impresionantes 70.000 millones de parámetros, este modelo sobresale al compararse con GPT-3.5 y acercarse al rendimiento de GPT-4.5 en los benchmarks de programación.

Este nuevo hito en la evolución de modelos de inteligencia artificial generativa destaca por su licencia Open Source, que permite su uso de manera gratuita, un factor clave que lo diferencia. Code Llama 70B se postula como una herramienta prometedora para desarrolladores, ofreciendo la capacidad de generar código mediante simples prompts de texto. Meta destaca su potencial como herramienta educativa y de productividad para facilitar a los programadores la creación de software robusto y bien documentado.

El modelo, una versión especializada de Llama 2, fue entrenado específicamente con repositorios de código, permitiendo la generación de código y lenguaje natural relacionado con el código. Compatible con diversos lenguajes, como Python, C++, Java, PHP, Typescript (Javascript), C# y Bash, Code Llama 70B está disponible en diferentes tamaños, desde 7B hasta 70B, siendo este último entrenado con un billón de parámetros.

La capacidad del modelo para manejar un contexto gigante de hasta 100.000 tokens, junto con su especialización en diferentes lenguajes y en la continuación del entrenamiento con modelos como “Code Llama – Python” y “Code Llama – Instruct”, lo hace versátil y potente.

Las pruebas de rendimiento en programación revelan que Code Llama 70B supera a GPT-3.5 en evaluaciones como HumanEval y Mostly Basic Python Programming, acercándose al rendimiento de GPT-4. Este modelo ya está disponible para su uso gratuito en plataformas como Hugging Face y a través de su repositorio en GitHub, ofreciendo una alternativa atractiva a herramientas de pago similares. La era de la programación asistida por inteligencia artificial continúa avanzando con Code Llama 70B, simplificando y mejorando el proceso de desarrollo de software.