Llama 3.1 8B Instruct

meta-llama/llama-3.1-8b-instruct

Вход, ₽ / 1M токенов: 10.00
Ответ, ₽ / 1M токенов: 30.00
Контекст: 131 072
Провайдеров онлайн: 0

Провайдеры

Модель работает на видеокартах провайдеров сети. Запрос уходит самому дешёвому из тех, кто онлайн (GPU-ноды раньше прокси); цены — за 1M токенов, уже с наценкой платформы.

Провайдеров у этой модели пока нет. Показана справочная цена; запросы получат ошибку 503, пока кто-нибудь не подключит ноду. Подключить свою видеокарту.

Base URL тот же: https://gateway.mediaburo.tech/v1. За последние 24 часа: мало запросов для оценки.

# pip install openai
from openai import OpenAI

client = OpenAI(
    api_key="ВАШ_КЛЮЧ",
    base_url="https://gateway.mediaburo.tech/v1",
)

resp = client.chat.completions.create(
    model="meta-llama/llama-3.1-8b-instruct",
    messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)

// npm install openai
import OpenAI from "openai";

const client = new OpenAI({
  apiKey: "ВАШ_КЛЮЧ",
  baseURL: "https://gateway.mediaburo.tech/v1",
});

const resp = await client.chat.completions.create({
  model: "meta-llama/llama-3.1-8b-instruct",
  messages: [{ role: "user", content: "Привет!" }],
});
console.log(resp.choices[0].message.content);

curl https://gateway.mediaburo.tech/v1/chat/completions \
  -H "Authorization: Bearer ВАШ_КЛЮЧ" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "Привет!"}]
  }'

Возможности

Принимает

Текст

Поддерживает

Вызов функцийJSON-ответТемператураtop_pmax_tokensstopseed

Открытая модель, веса: meta-llama/Llama-3.1-8B-Instruct. Выпущена 23.07.2024.

Описание

Meta's Llama 3.1 8B instruction-tuned model: 128K context, tool calling, eight languages. Llama 3.1 Community License.

Описание от разработчика модели, на английском.