x, y, z

Поиск сообщений на форуме:

Поля поиска:

Запрос:
Номер автора:
Номер темы:
Номер форума:
Сортировать:
Сообщения: 3
29 Ноя 2017 15:58:28
Искусственный интеллект научили избегать безвыходных ситуаций << Кибернетика, когнитивистика
forany.xyz

Искусственный интеллект научили избегать безвыходных ситуаций

Искусственный интеллект научили избегать безвыходных ситуаций

Исследователи разработали новый метод обучения алгоритмов, который позволяет наблюдателю реже сбрасывать систему к изначальному состоянию. Для этого они предложили дополнять алгоритмы планировщиком, который анализирует опасность последующих действий, и, в случае, если они могут привести к необратимым последствиям, возвращает систему в исходное состояние, сообщается в работе, опубликованной на arXiv.org.

Машинное обучение позволило в последние годы совершить огромный прогресс во многих областях, например, в создании беспилотных автомобилей. Алгоритмам необходимы большие наборы тренировочных данных и множество попыток, в которых он обучается выполнению задач в разных условиях. Такой подход позволяет получать в результате более эффективные алгоритмы, чем те, чью поведение запрограммировано «вручную», но помимо большого времени обучения это имеет еще один недостаток — нередко алгоритм во время очередной попытки приходит в необратимое состояние, и разработчик должен сбросить его и среду к исходному состоянию.

Группа под руководством Сергея Левина (Sergey Levine) из Google Brain и Калифорнийского университета в Беркли предложила научить алгоритмы самостоятельно решать проблему перезапуска после неуспешного выполнения задачи и минимизировать количество сбросов к исходному состоянию. Основа метода состоит в том, что алгоритм учится не только правильно выполнять поставленную задачу, но и возвращаться из текущего состояния в исходное.

Для этого исследователи предлагают программировать алгоритм таким образом, чтобы его поведение обуславливалось двумя компонентами: планировщиком, отвечающим непосредственно за поставленную задачу, и планировщиком, который определяет, сможет ли алгоритм пройти цепочку действий в обратную сторону. Действие первого планировщика рассматривается как безопасное только в случае, если после него систему можно вернуть в исходное состояние. Если действие ведет к необратимым последствиям, второй планировщик прекращает его. Если же система все же вошла в необратимое состояние, алгоритм может совершить полную перезагрузку окружения и окажется в исходной позиции.


Разработчики продемонстрировали концепцию с помощью простого двуногого агента, передвигающегося по горизонтальной поверхности. На видео можно увидеть два алгоритма: с предложенной системой планирования (справа) и без нее (слева). Можно увидеть, что первый алгоритм замечает яму перед ним и не падает в нее. Также за счет того, что он обучается возврату в исходную позицию, алгоритм самостоятельно возвращается в исходную позицию без необходимости вмешательства наблюдателя.
29 Ноя 2017 15:53:55
Искусственный интеллект освоил паркур << Кибернетика, когнитивистика
forany.xyz

Искусственный интеллект освоил паркур

Искусственный интеллект освоил паркур

Система искусственного интеллекта, созданная программистами из Google DeepMind, научилась преодолевать препятствия в виртуальном мире. Добиться этого удалось, применив метод обучения с подкреплением. Статья исследователей доступна на сервере препринтов ArXiv, кратко о ней рассказывает The Verge.

Обучение с подкреплением — это один из способов машинного обучения, который подразумевает, что испытуемая система (агент) находится в некоторой среде, о которой у нее нет сведений, но в которой она может совершать определенные действия. Действия переводят среду в новое состояние, и агент получает от нее некоторое вознаграждение или штраф. Благодаря постоянной обратной связи, система совершенствует свою работу — подобный метод используется для тренировки роботов или игровых систем искусственного интеллекта (ИИ).

Чаще всего программисты разрабатывают функцию вознаграждения так, чтобы агент решал задачу только определенным способом. Это приводит к тому, что система ИИ порой не может приспособиться даже к незначительным изменениям условий. Разработчики из Google DeepMind, в свою очередь, создали такую среду и систему наград, которые способствуют выработке сложного поведения.

Исследователи построили виртуальный мир с разными по сложности препятствиями, куда они поочередно помещали трех агентов: тело с двумя ногами, четвероногий корпус и человекообразную фигуру. Каждая система была наделена проприцепцией (ощущением положения частей собственного тела относительно друг друга и в пространстве) и примитивным зрением. Всем агентам надо было добраться из точки А в точку В, и чем быстрее они это делали, тем больше была награда. Разработчики также ввели систему штрафов: двуногое тело наказывалось, если оно наталкивалось на препятствия из-за неправильного положения торса, а четвероногий «паук» и «человек» — если смещались с центра плоскости.


В итоге, компьютер самостоятельно научился сложным движениям — он стал перепрыгивать ямы, уклоняться от препятствий сверху, а также взбегать на склоны и перепрыгивать барьеры. Кроме того, как показано на видео, агенты использовали «колени», чтобы залезть на высокие платформы.

Программисты из Google DeepMind заключили, что простая система наград и богатая виртуальная среда способствуют развитию нестандартных двигательных навыков. По их мнению, такой подход позволит в целом улучшить качество и надежность поведения агентов.

В прошлом году разработчики из Google DeepMind с помощью обучения с подкреплением также научили систему ИИ определять вес и количество объектов в виртуальном мире. В будущем она может быть использована для роботов, которым, например, будет необходимо перемещаться по неровным поверхностям.
23 Авг 2016 03:53:36
Трогательное послание Ричарда Фейнмана своей любимой, которое она никогда не прочтет << Разное
forany.xyz

Трогательное послание Ричарда Фейнмана своей любимой, которое она никогда не прочтет

Ричард и Арлин Фейнман

— Дорогая Арлин,

Я обожаю тебя, милая.

Я знаю, как тебе нравится это слышать, но я пишу не только для того, чтобы порадовать тебя. Я пишу потому, что это наполняет теплом все внутри меня. Я не писал тебе ужасно долго — почти два года. Но я знаю, ты ведь простишь меня, упрямого прагматика. Я думал, нет никакого смысла писать тебе. Но теперь, моя дорогая жена, я знаю, что должен сделать то, что так долго откладывал и так часто делал в прошлом. Я хочу сказать, что люблю тебя. Я хочу любить тебя. Я всегда буду любить тебя.

Умом мне сложно понять, что значит любить тебя, после того как ты умерла, но я до сих пор хочу оберегать тебя и заботиться о тебе. И я хочу, чтобы ты любила и заботилась обо мне. Я хочу обсуждать с тобой свои проблемы. Я хочу вместе заниматься разными делами. До настоящего момента мне это и в голову не приходило. А ведь мы могли бы делать вместе очень многое: шить одежду, учить китайский, купить кинопроектор. А сейчас я могу это сделать? Нет. Я совсем один без тебя. Ты была главным генератором идей и вдохновителем всех моих безумных приключений.

Когда ты болела, то беспокоилась, что не можешь дать мне того, в чем я нуждался, того, что тебе хотелось бы мне дать. Не стоило волноваться. В этом не было никакой нужды. Я всегда говорил тебе, что очень люблю тебя просто за то, что ты есть. И сейчас я понимаю это, как никогда. Ты уже ничего не можешь мне дать, а я люблю тебя так сильно, что никогда не смогу полюбить кого-то другого. И я хочу, чтобы так оно и было. Потому что даже мертвая ты намного лучше всех живых.

Я знаю, ты скажешь, что я глупый, что ты хочешь, чтобы я был счастлив, и не хочешь стоять у меня на пути. Ты, наверное, удивишься, узнав, что за эти два года у меня даже не было подружки (кроме тебя, моя дорогая). И ты ничего не можешь с этим поделать. И я не могу. Я ничего не понимаю. Я встречал многих девушек, среди них были очень даже милые, и я не хочу оставаться один, но через пару-тройку свиданий я понимал, что они для меня пустое место. У меня есть только ты. Ты настоящая.

Моя дорогая жена, я обожаю тебя.
Я люблю свою жену. Моя жена умерла.

Рич.

PS: Прости меня, пожалуйста, за то, что не отправил тебе это письмо, — я не знаю твоего нового адреса.

(Из книги Джеймса Глейка «Гений: жизнь и наука Ричарда Фейнмана»)

Ричард Фейнман был влюблен в Арлин с 13 лет. А к моменту свадьбы Арлин была уже серьезно больна. В июне 1945 года Арлин Фейнман, супруга выдающегося американского физика Ричарда Фейнмана, скончалась от туберкулеза. Ей было 25 лет. Через 16 месяцев после ее смерти Фейнман написал жене письмо и запечатал его в конверт, который вскрыли только после смерти самого ученого, спустя 43 года.