Общая информация и плотность в пространстве вещей.

Eliezer Yudkowsky, “ Mutual Information, and Density in Thingspace ”, public translation into Russian from English More about this translation.

Translate into another language.

Participants

Muyyd1 1710 points
Join Translated.by to translate! If you already have a Translated.by account, please sign in.
If you do not want to register an account, you can sign in with OpenID.
Pages: ← previous Ctrl next next untranslated
1 2 3 4 5 6

Mutual Information, and Density in Thingspace

Общая информация и плотность в пространстве вещей.

History of edits (Latest: Muyyd1 1 month, 3 weeks ago) §

Suppose you have a system X that can be in any of 8 states, which are all equally probable (relative to your current state of knowledge), and a system Y that can be in any of 4 states, all equally probable.

Предположим, у вас есть система Х, которая может находиться в одном из 8 состояний и все они равновероятны (относительно того, что вы о них знаете на данный момент), и система Y с 4 равновероятными состояниями.

History of edits (Latest: Muyyd1 1 month, 3 weeks ago) §

The entropy of X, as defined yesterday, is 3 bits; we'll need to ask 3 yes-or-no questions to find out X's exact state. The entropy of Y, as defined yesterday, is 2 bits; we have to ask 2 yes-or-no questions to find out Y's exact state. This may seem obvious since 23 = 8 and 22 = 4, so 3 questions can distinguish 8 possibilities and 2 questions can distinguish 4 possibilities; but remember that if the possibilities were not all equally likely, we could use a more clever code to discover Y's state using e.g. 1.75 questions on average. In this case, though, X's probability mass is evenly distributed over all its possible states, and likewise Y, so we can't use any clever codes.

Энтропия Х, как следует из рассказанного вчера --- 3 бита; нам потребуется задать 3 да/нет вопроса, чтобы точно узнать состояние Х. Энтропия Y, как следует из рассказанного вчера --- 2 бита; нам потребуется задать 2 да/нет вопроса. Это может показаться очевидным (с учетом того, что 2^3=8 и 2^2=4 --- три вопроса помогут выявить правду между 8 возможными вариантами, а 2 между 4), но хочу напомнить, что если бы вероятности не были бы равными, мы смогли бы использовать более хитрый код для обнаружения, например, состояния Y (1,75 вопросов в среднем). Но раз уж для Х и Y вероятности распределены равномерно, схитрить у нас не получится.

History of edits (Latest: Muyyd1 1 month, 3 weeks ago) §

What is the entropy of the combined system (X,Y)?

Какова общая энтропия объединенной системы (X,Y)?

History of edits (Latest: Muyyd1 1 month, 3 weeks ago) §

You might be tempted to answer, "It takes 3 questions to find out X, and then 2 questions to find out Y, so it takes 5 questions total to find out the state of X and Y."

Возможно вам придет в голову ответ: "Для Х потребует 3 вопроса, для Y --- 2, так что нам потребуется задать всего 5 вопросов, чтобы узнать (X,Y).

History of edits (Latest: Muyyd1 1 month, 3 weeks ago) §

But what if the two variables are entangled, so that learning the state of Y tells us something about the state of X?

Но что если эти две переменные связаны и, узнав что-то о Y, мы узнаем кое-то и о X?

History of edits (Latest: Muyyd1 1 month, 2 weeks ago) §

In particular, let's suppose that X and Y are either both odd, or both even.

В данном случае предположим, что обе переменные либо четные либо нечетные.

History of edits (Latest: Muyyd1 1 month, 3 weeks ago) §

Now if we receive a 3-bit message (ask 3 questions) and learn that X is in state 5, we know that Y is in state 1 or state 3, but not state 2 or state 4. So the single additional question "Is Y in state 3?", answered "No", tells us the entire state of (X,Y): X=X5, Y=Y1. And we learned this with a total of 4 questions.

И если мы получим сообщение в 3 бита (получим 3 ответа), узнаем, что Х находится в состоянии 5, то будем знать, что Y либо в состоянии 1 либо в 3, но не в 2 или 4. Так что лишь один вопрос "Y в состоянии 3?" и ответ "нет" понадобится нам, что бы знать состояние объединенной системы (X,Y): X=X5, Y=Y1. И обнаружили мы это с помощью 4 вопросов.

History of edits (Latest: Muyyd1 1 month, 3 weeks ago) §

Conversely, if we learn that Y is in state 4 using two questions, it will take us only an additional two questions to learn whether X is in state 2, 4, 6, or 8. Again, four questions to learn the state of the joint system.

Точно так же, если мы узнаем, что Y в 4 состоянии, с помощью 4 вопросов, то нам понадобится лишь два вопроса, чтобы узнать в каком из состояний (2,4,6,8) находится Х. Опять же, лишь 4 вопроса, чтобы узнать состояние связанной системы.

History of edits (Latest: Muyyd1 1 month, 3 weeks ago) §

The mutual information of two variables is defined as the difference between the entropy of the joint system and the entropy of the independent systems: I(X;Y) = H(X) + H(Y) - H(X,Y).

Общая энтропия двух переменных определяется как разность между энтропией независимых систем и энтропией связанной системы : I(X;Y) = H(X) + H(Y) - H(X,Y).

History of edits (Latest: Muyyd1 1 month, 3 weeks ago) §
Pages: ← previous Ctrl next next untranslated
1 2 3 4 5 6