Нейронные категории

Eliezer Yudkowsky, “ Neural Categories ”, public translation into Russian from English More about this translation.

Translate into another language.

Participants

Muyyd1 1228 points
Alaric 573 points
Join Translated.by to translate! If you already have a Translated.by account, please sign in.
If you do not want to register an account, you can sign in with OpenID.
Pages: ← previous Ctrl next
1 2 3 4

Neural Categories

Нейронные категории

History of edits (Latest: Muyyd1 5 months ago) §

In Disguised Queries, I talked about a classification task of "bleggs" and "rubes". The typical blegg is blue, egg-shaped, furred, flexible, opaque, glows in the dark, and contains vanadium. The typical rube is red, cube-shaped, smooth, hard, translucent, unglowing, and contains palladium. For the sake of simplicity, let us forget the characteristics of flexibility/hardness and opaqueness/translucency. This leaves five dimensions in thingspace: Color, shape, texture, luminance, and interior.

В "Замаскированых вопросах" я рассказал про сортировку "сияиц" и "крубов". Обычное сияйцо --- синее, яйцевидной формы, мохнатое, мягкое, непрозрачное, светится в темноте и содержит ванадий. Обычный круб --- красный, кубический, гладкий, твердый, с просвечивающей поверхностью, не светится и содержит палладий. Что бы слегка упростить задачу, давайте пока отбросим характеристики мягкости/твердости и непрозрачности/просвечивающей поверхности. В нашем пространстве вещей остаётся пять измерений: цвет, форма, текстура поверхности, свечение и состав.

History of edits (Latest: Alaric 4 months, 4 weeks ago) §

Suppose I want to create an Artificial Neural Network (ANN) to predict unobserved blegg characteristics from observed blegg characteristics. And suppose I'm fairly naive about ANNs: I've read excited popular science books about how neural networks are distributed, emergent, and parallel just like the human brain!! but I can't derive the differential equations for gradient descent in a non-recurrent multilayer network with sigmoid units (which is actually a lot easier than it sounds).

Предположим, что я хочу сделать искусственную нейронную сеть (ИНС), предсказывающую неизвестные характеристики сияйца на основе уже известных. Предположим также, что я пока неопытен в области создания ИНС. Я лишь прочел несколько увлекательных научно-популярных книг, где описано, что нейронные сети являются распределёнными, эмерджентными и вычисления в них идут параллельно --- прямо как в человеческом мозге!!! Но я не могу вывести дифференциальные уравнения для градиентного спуска в не-рекуррентной многослойной нейронной сети с сигмоидной функцией активации (что на самом деле гораздо легче чем кажется).

History of edits (Latest: Alaric 4 months ago) §

— Часть про дифуры я не решился переводить. Muyyd1

— Не совсем уверен в том, что получилось в предложении про свойства ИНС. Alaric

Then I might design a neural network that looks something like this:

Так что сделанная мной нейронная сеть будет выглядеть примерно так:

History of edits (Latest: Muyyd1 5 months ago) §

Network 1 is for classifying bleggs and rubes. But since "blegg" is an unfamiliar and synthetic concept, I've also included a similar Network 1b for distinguishing humans from Space Monsters, with input from Aristotle ("All men are mortal") and Plato's Academy ("A featherless biped with broad nails").

Сеть 1 предназначена для сортировки сияиц и крубов. Но поскольку "сияйцо" --- незнакомый и искусственный концепт, для наглядности я изобразил похожую Сеть 1b для классификации людей и Космических Монстров, которая в качестве входных данных использует информацию, предоставленную Аристотелем ("Все люди смертны") и философами Академии Платона ("Существо без перьев и с плоскими ногтями").

History of edits (Latest: Alaric 4 months ago) §

A neural network needs a learning rule. The obvious idea is that when two nodes are often active at the same time, we should strengthen the connection between them—this is one of the first rules ever proposed for training a neural network, known as Hebb's Rule.

Для нейронной сети нужен алгоритм обучения. Очевидная идея: будем усиливать связь между двумя узлами, если эти узлы часто активируются одновременно. Это один из первых алгоритмов для обучения нейронных сетей, так же известный как правило Хебба.

History of edits (Latest: Alaric 4 months, 4 weeks ago) §

Thus, if you often saw things that were both blue and furred—thus simultaneously activating the "color" node in the + state and the "texture" node in the + state—the connection would strengthen between color and texture, so that + colors activated + textures, and vice versa. If you saw things that were blue and egg-shaped and vanadium-containing, that would strengthen positive mutual connections between color and shape and interior.

Таким образом, если вы часто видите объекты, которые одновременно синие и пушистые, --- то есть узел "цвет" активируется в состоянии "+" и одновременно узел "текстура" активируется в состоянии "+", --- связь между цветом и текстурой усиливается, в результате чего активация "цвет+" будет вызывать активацию "текстура+" и наоборот. А если вы часто видите синие, яйцеподобные и содержащие ванадий объекты, то это усилит положительную взаимную связь между цветом, формой и содержанием.

History of edits (Latest: Alaric 4 months, 4 weeks ago) §
Pages: ← previous Ctrl next
1 2 3 4

© Released under the Creative Commons Attribution-NonCommercial-ShareAlike 3.0 Unported license. cc BY-NC-SA 3.0.