Create accountLogin

Recent searches

No recent searches

Search options

Only available when logged in.
mstdn.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
A general-purpose Mastodon server with a 500 character limit. All languages are welcome.

Administered by:

Server stats:

15K
active users

mstdn.social: AboutStatusProfiles directoryPrivacy policy

Mastodon: AboutGet the appKeyboard shortcutsView source codev4.3.4

#benchmarking

0 posts0 participants0 posts today
Public *
B166IR

youtu.be/J4qwuCXyAcU

In this video, Ollama vs. LM Studio (GGUF), showing that their performance is quite similar, with LM Studio’s tok/sec output used for consistent benchmarking.

What’s even more impressive? The Mac Studio M3 Ultra pulls under 200W during inference with the Q4 671B R1 model. That’s quite amazing for such performance!

youtu.be- YouTubeEnjoy the videos and music you love, upload original content, and share it all with friends, family, and the world on YouTube.
#LLMs#AI#MachineLearning
Public
Habr

[Перевод] Оценка больших языковых моделей в 2025 году: пять методов

Большие языковые модели (LLM) в последнее время стремительно развиваются и несут в себе потенциал для кардинального преобразования ИИ. Точная оценка моделей LLM крайне важна, поскольку: • Компании должны выбирать генеративные AI-модели для внедрения в работу. Базовых моделей LLM сейчас множество, и для каждой есть различные их модификации. • После выбора модели будет проходить fine-tuning. И если производительность модели не измерена с достаточной точностью, пользователи не смогут оценить эффективность своих усилий. Таким образом, необходимо определить: • Оптимальные методы оценки моделей • Подходящий тип данных для обучения и тестирования моделей Поскольку оценка систем LLM является многомерной задачей, важно разработать комплексную методологию измерения их производительности. В этой статье рассматриваются основные проблемы существующих методов оценки и предлагаются решения для их устранения.

habr.com/ru/articles/887290/

ХабрОценка больших языковых моделей в 2025 году: пять методовБольшие языковые модели (LLM) в последнее время стремительно развиваются и несут в себе потенциал для кардинального преобразования ИИ. Точная оценка моделей LLM крайне важна, поскольку: Компании...
#llm#ai#benchmarking
Public
Habr

[Перевод] Бенчмаркинг AI-агентов: оценка производительности в реальных задачах

AI-агенты уже решают реальные задачи — от обслуживания клиентов до сложной аналитики данных. Но как убедиться, что они действительно эффективны? Ответ заключается в комплексной оценке AI-агентов. Чтобы AI-система была надежной и последовательной, важно понимать типы AI-агентов и уметь их правильно оценивать. Для этого используются продвинутые методики и проверенные фреймворки оценки AI-агентов. В этой статье мы рассмотрим ключевые метрики, лучшие практики и основные вызовы, с которыми сталкиваются компании при оценке AI-агентов в корпоративных средах.

habr.com/ru/articles/886198/

ХабрБенчмаркинг AI-агентов: оценка производительности в реальных задачахAI-агенты уже решают реальные задачи — от обслуживания клиентов до сложной аналитики данных. Но как убедиться, что они действительно эффективны? Ответ заключается в комплексной оценке AI-агентов....
#ai_agent#benchmarking#ии_агенты
Public
James Y🎃ung

Surely someone's looked into this: if I wanted to store millions or billions of files on a filesystem, I wouldn't store them in one single subdirectory / folder. I'd split them up into nested folders, so each folder held, say, 100 or 1000 or n files or folders. What's the optimum n for filesystems, for performance or space?
I've idly pondered how to experimentally gather some crude statistics, but it feels like I'm just forgetting to search some obvious keywords.
#BillionFileFS #linux #filesystems #optimization #benchmarking

Public
Leiden Madtrics

📢 New blogpost!

Benchmarking - an appropriate method for evaluating research units? Thed van Leeuwen and Frank van Vree explore possibilities and caveats, particularly in the context of the Dutch Strategy Evaluation Protocol (SEP).

You can read the bi-lingual post here:
𝘌𝘕𝘎 👉 leidenmadtrics.nl/articles/ben
𝘕𝘓 👉 leidenmadtrics.nl/articles/ben

**#benchmarking** **#ResearchEvaluation**

www.leidenmadtrics.nlBenchmarking in research evaluations: we can do without itThe Strategy Evaluation Protocol (SEP) 2021-2027 proposes benchmarking as a method for evaluating research units. But what exactly does this entail and what are the risks? Our authors dive deeper into this topic and show what is possible and what to be careful about.
ExploreLive feeds
About