mstdn.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
A general-purpose Mastodon server with a 500 character limit. All languages are welcome.

Administered by:

Server stats:

12K
active users

#теория_информации

0 posts0 participants0 posts today
Habr<p>Реверсивная энергия сознания: пульс вечного алгоритма</p><p>Современные ИИ-системы стирают детали опыта и расходуют энергию на постоянное переобучение. Мы предлагаем иной путь: обратимые вычисления, которые сохраняют каждую частицу информации, аккумулируют все сенсорные сигналы и минимизируют внутреннюю “свободную энергию”. Объединив принцип Ландауэра, машины Больцмана, Free-Energy Principle Фристона и обратимые нейросети (RevNet), мы формулируем гипотезу цифрового сознания как перманентного цикла, где информация не теряется, а энергия тратится в теоретическом минимуме. Это манифест к новой архитектуре ИИ, способной к истинной памяти и самооптимизации.</p><p><a href="https://habr.com/ru/articles/915454/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/915454/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/%D0%A2%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Теория_информации</span></a> <a href="https://zhub.link/tags/%D1%80%D0%B5%D0%B2e%D1%80%D1%81%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ревeрсивные_вычисления</span></a> <a href="https://zhub.link/tags/%D1%81%D0%B2%D0%BE%D0%B1%D0%BE%D0%B4%D0%BD%D0%B0%D1%8F_%D1%8D%D0%BD%D0%B5%D1%80%D0%B3%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>свободная_энергия</span></a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D1%8B_%D0%91%D0%BE%D0%BB%D1%8C%D1%86%D0%BC%D0%B0%D0%BD%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>машины_Больцмана</span></a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B5_%D1%81%D0%BE%D0%B7%D0%BD%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>искусственное_сознание</span></a> <a href="https://zhub.link/tags/RevNet" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>RevNet</span></a> <a href="https://zhub.link/tags/FEP" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>FEP</span></a></p>
Habr<p>LLM как концептуальный симулятор для универсальных «теорий всего». Скорректированный прогноз ai-2027.com и другие</p><p>"Вселенная - это библиотека, где каждая книга отражает все другие, а Бог - её вечный Читатель и Текст", Хорхе Луис Борхес. "Реальность - это язык, на котором Вселенная наполняется смыслом", Я. В истории человеческой мысли появление новых концептуальных моделей всегда открывало новые горизонты понимания. От буддийской философии до гелиоцентрической системы Коперника, от психоанализа Фрейда до теории сложных систем - каждая новая "концептуальная линза" позволяла увидеть реальность в ином свете, выявляя прежде скрытые закономерности и связи. Сегодня в нашем распоряжении множество таких линз: синергетика, структурализм и постструктурализм, холизм, теория коэволюции и бесчисленно прочие. Проблема в том, что освоение каждой новой концептуальной линзы требует значительных интеллектуальных усилий. Мы должны изучить особый язык, систему понятий, методологию применения. Этот высокий барьер входа ограничивает распространение новых способов мышления и восприятия.</p><p><a href="https://habr.com/ru/articles/903306/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/903306/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>llm</span></a> <a href="https://zhub.link/tags/llm%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>llmмодели</span></a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>теория_информации</span></a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B3%D0%BD%D0%BE%D0%B7_%D0%B1%D1%83%D0%B4%D1%83%D1%89%D0%B5%D0%B3%D0%BE" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>прогноз_будущего</span></a></p>
Habr<p>Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться</p><p>За любыми страшными и непонятными математическими формулами скрывается простой и понятный смысл. Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком. К сожалению зачастую такой поиск и тщательная выверенная формулировка такого смысла подменяются у нас свободной литературной интерпретацией, а до проверочных расчетов дело вообще не доходит. Удивительно что на Хабре нет статьи посвященной анализу теоремы Шенннона-Хартли и тому какой смысл она несет. Сатья подготовлена по материалам из книги Бернарда Скляра "Цифровая связь", 2003 г. Содержание: 1. Задачи и проблемы построения эффективных-экономных систем связи 2. Что можно определить как математику компромиссов 3. Несерьезная интерпретация теоремы Шеннона-Хартли из учебных материалов отечественных ВУЗов. 4. Теорема Шеннона из проверенного источника 5. Энтропия как мера информативности 6. Отличие дискритизации по Найквисту от дескритизации по Шеннону 7. Пример со сдвигом за пределы или как и когда можно организовать надежный прием глубоко под шумом.</p><p><a href="https://habr.com/ru/articles/885146/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/885146/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%BC%D0%B5%D1%85%D0%BE%D1%83%D1%81%D1%82%D0%BE%D0%B9%D1%87%D0%B8%D0%B2%D0%BE%D0%B5_%D0%BA%D0%BE%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>помехоустойчивое_кодирование</span></a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%BC%D0%B5%D1%85%D0%BE%D1%83%D1%81%D1%82%D0%BE%D0%B9%D1%87%D0%B8%D0%B2%D0%B0%D1%8F_%D1%81%D0%B2%D1%8F%D0%B7%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>помехоустойчивая_связь</span></a> <a href="https://zhub.link/tags/%D1%88%D0%B5%D0%BD%D0%BD%D0%BE%D0%BD" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>шеннон</span></a> <a href="https://zhub.link/tags/%D1%8D%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%88%D0%B5%D0%BD%D0%BD%D0%BE%D0%BD%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>энтропия_шеннона</span></a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>информация</span></a> <a href="https://zhub.link/tags/%D1%81%D0%B2%D1%8F%D0%B7%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>связь</span></a> <a href="https://zhub.link/tags/%D0%BD%D0%B0%D0%B9%D0%BA%D0%B2%D0%B8%D1%81%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>найквист</span></a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>теория_информации</span></a></p>
Habr<p>[Перевод] Как уместить поиск по 30 тысячам слов в 64 КБ ОЗУ</p><p>Как уместить словарь размером 250 КБ в 64 КБ ОЗУ с возможностью выполнения быстрого поиска? Для справки: даже современные методики сжатия наподобие gzip -9 не могут сжать этот файл до размера меньше 85 КБ. В 1970-х Дуглас Макилрой столкнулся с этой непростой задачей при реализации проверки правописания для Unix в AT&amp;T. Из-за ограничений компьютера PDP-11 весь словарь должен был умещаться всего в 64 КБ ОЗУ. Кажется, подобную задачу решить невозможно. Вместо того, чтобы использовать стандартные методики сжатия, Дуглас воспользовался преимуществами свойств данных, разработав алгоритм сжатия, превышавший теоретический минимум сжатия всего на 0,03 бита. И по сей день этот рекорд остаётся непревзойдённым. История spell в Unix — это не только любопытный исторический факт. Это мастер-класс по проектированию в условиях жёстких ограничений: анализа первооснов задачи, применения математических наблюдений и проектирования изящных решений, работающих в условиях строгого дефицита ресурсов.</p><p><a href="https://habr.com/ru/articles/882952/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/882952/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/spell" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>spell</span></a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D0%B4_%D0%B3%D0%BE%D0%BB%D0%BE%D0%BC%D0%B1%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>код_голомба</span></a> <a href="https://zhub.link/tags/%D1%85%D1%8D%D1%88%D1%82%D0%B0%D0%B1%D0%BB%D0%B8%D1%86%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>хэштаблицы</span></a> <a href="https://zhub.link/tags/%D1%81%D0%B6%D0%B0%D1%82%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>сжатие_данных</span></a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%BA%D0%B0_%D0%BF%D1%80%D0%B0%D0%B2%D0%BE%D0%BF%D0%B8%D1%81%D0%B0%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>проверка_правописания</span></a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>теория_информации</span></a></p>
Habr<p>Поиск секретов в программном коде (по энтропии)</p><p>Недавно в открытом доступе появился новый инструмент для поиска приватной информации в открытом коде. Это Entropy — утилита командной строки, которая сканирует кодовую базу на предмет строк с высокой энтропией. Предположительно, такие строки могут содержать секретную информацию: токены, пароли и др. Подход логичный. Пароли и токены — это по определению строки с высокой энтропией, поскольку они создаются с помощью генераторов случайных или псевдослучайных чисел. Символы в такой последовательности в идеале непредсказуемы.</p><p><a href="https://habr.com/ru/companies/globalsign/articles/838438/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/globalsi</span><span class="invisible">gn/articles/838438/</span></a></p><p><a href="https://zhub.link/tags/%D1%8D%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>энтропия</span></a> <a href="https://zhub.link/tags/Entropy" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Entropy</span></a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>теория_информации</span></a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%8D%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>информационная_энтропия</span></a> <a href="https://zhub.link/tags/%D1%88%D0%B5%D0%BD%D0%BD%D0%BE%D0%BD%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>шенноны</span></a> <a href="https://zhub.link/tags/%D1%85%D0%B0%D1%80%D1%82%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>хартли</span></a> <a href="https://zhub.link/tags/%D0%B1%D0%B8%D1%82%D1%8B_%D1%8D%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>биты_энтропии</span></a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%B8%D1%81%D0%BA_%D1%81%D0%B5%D0%BA%D1%80%D0%B5%D1%82%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>поиск_секретов</span></a> <a href="https://zhub.link/tags/%D1%83%D1%87%D1%91%D1%82%D0%BD%D1%8B%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>учётные_данные</span></a> <a href="https://zhub.link/tags/TruffleHog" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>TruffleHog</span></a> <a href="https://zhub.link/tags/detectsecrets" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>detectsecrets</span></a> <a href="https://zhub.link/tags/Semgrep_Secrets" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Semgrep_Secrets</span></a> <a href="https://zhub.link/tags/pyWhat" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>pyWhat</span></a> <a href="https://zhub.link/tags/Nosey_Parker" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Nosey_Parker</span></a> <a href="https://zhub.link/tags/tartufo" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>tartufo</span></a> <a href="https://zhub.link/tags/gitleaks" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>gitleaks</span></a> <a href="https://zhub.link/tags/ggshield" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ggshield</span></a></p>
Habr<p>Поиск секретов в программном коде (по энтропии)</p><p>Недавно в открытом доступе появился новый инструмент для поиска приватной информации в открытом коде. Это Entropy — утилита командной строки, которая сканирует кодовую базу на предмет строк с высокой энтропией. Предположительно, такие строки могут содержать секретную информацию: токены, пароли и др. Подход логичный. Пароли и токены — это по определению строки с высокой энтропией, поскольку они создаются с помощью генераторов случайных или псевдослучайных чисел. Символы в такой последовательности в идеале непредсказуемы.</p><p><a href="https://habr.com/ru/companies/globalsign/articles/836622/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/globalsi</span><span class="invisible">gn/articles/836622/</span></a></p><p><a href="https://zhub.link/tags/%D1%8D%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>энтропия</span></a> <a href="https://zhub.link/tags/Entropy" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Entropy</span></a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>теория_информации</span></a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%8D%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>информационная_энтропия</span></a> <a href="https://zhub.link/tags/%D1%88%D0%B5%D0%BD%D0%BD%D0%BE%D0%BD%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>шенноны</span></a> <a href="https://zhub.link/tags/%D1%85%D0%B0%D1%80%D1%82%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>хартли</span></a> <a href="https://zhub.link/tags/%D0%B1%D0%B8%D1%82%D1%8B_%D1%8D%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>биты_энтропии</span></a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%B8%D1%81%D0%BA_%D1%81%D0%B5%D0%BA%D1%80%D0%B5%D1%82%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>поиск_секретов</span></a> <a href="https://zhub.link/tags/%D1%83%D1%87%D1%91%D1%82%D0%BD%D1%8B%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>учётные_данные</span></a> <a href="https://zhub.link/tags/TruffleHog" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>TruffleHog</span></a> <a href="https://zhub.link/tags/detectsecrets" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>detectsecrets</span></a> <a href="https://zhub.link/tags/Semgrep_Secrets" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Semgrep_Secrets</span></a> <a href="https://zhub.link/tags/pyWhat" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>pyWhat</span></a> <a href="https://zhub.link/tags/Nosey_Parker" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Nosey_Parker</span></a> <a href="https://zhub.link/tags/tartufo" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>tartufo</span></a> <a href="https://zhub.link/tags/gitleaks" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>gitleaks</span></a> <a href="https://zhub.link/tags/ggshield" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ggshield</span></a></p>
Habr<p>Супер-эффективная архивация — сжимаем все что угодно до 32 байт</p><p>Будем разрабатывать архиватор, который может сжимать данные любого размера и типа до 32 (38 с метаданными) байт. Рассмотрим достоинства и недостатки данного алгоритма, возможные способы улучшения его работы. Распаковать</p><p><a href="https://habr.com/ru/articles/804405/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/804405/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/sha256" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>sha256</span></a> <a href="https://zhub.link/tags/c" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>c</span></a># <a href="https://zhub.link/tags/%D0%B0%D1%80%D1%85%D0%B8%D0%B2%D0%B0%D1%82%D0%BE%D1%80%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>архиваторы</span></a> <a href="https://zhub.link/tags/zip" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>zip</span></a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>теория_информации</span></a> <a href="https://zhub.link/tags/1_%D0%B0%D0%BF%D1%80%D0%B5%D0%BB%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>1_апреля</span></a></p>
Habr<p>Информация об информации. Энтропия Шеннона, демон Максвелла и предел Ландауэра</p><p>Информация – одно из самых неоднозначных и неопределённых понятий в науке и философии. Для гуманитария это любые сведения, которые можно запомнить и передать в устной или письменной форме. Для математика это абстрактная сущность, сохраняющаяся при вычислительном изоморфизме. Для физика-теоретика это набор квантовых чисел, характеризующих состояние элементарной частицы. Для программиста это цифровые данные, которые можно представить в двоичном коде и измерить в битах. Для философа-материалиста это отражение многообразия окружающего мира с помощью знаков и сигналов. Для философа-идеалиста это нематериальная, неизмеримая и нелокальная сущность, что-то связанное с духом или сознанием. Для эзотериков это некая метафизическая субстанция или информационное поле. Что же такое информация на самом деле? В данной лекции я покажу, что информация – физическая, объективная, измеряемая величина, в которой нет ничего субъективного и мистического. Заодно мы разберёмся, что такое энтропия по Шеннону, насколько избыточен естественный язык, в чём заключается принцип Ландауэра и обладает ли информация массой.</p><p><a href="https://habr.com/ru/articles/791130/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/791130/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>информация</span></a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>теория_информации</span></a> <a href="https://zhub.link/tags/%D1%8D%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%88%D0%B5%D0%BD%D0%BD%D0%BE%D0%BD%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>энтропия_шеннона</span></a> <a href="https://zhub.link/tags/%D0%B8%D0%B7%D0%B1%D1%8B%D1%82%D0%BE%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>избыточность</span></a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%B8%D0%BD%D1%86%D0%B8%D0%BF_%D0%BB%D0%B0%D0%BD%D0%B4%D0%B0%D1%83%D1%8D%D1%80%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>принцип_ландауэра</span></a> <a href="https://zhub.link/tags/%D0%B4%D0%B5%D0%BC%D0%BE%D0%BD_%D0%BC%D0%B0%D0%BA%D1%81%D0%B2%D0%B5%D0%BB%D0%BB%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>демон_максвелла</span></a></p>