СИСТЕМЫ, ОСНОВАННЫЕ НА ЗНАНИЯХ, \nВ КАЧЕСТВЕ СРЕДСТВ ИНТЕЛЛЕКТУАЛЬНОЙ \nПОДДЕРЖКИ ПРОЦЕССОВ ПРИНЯТИЯ РЕШЕНИЙ



страница2/7
Дата01.06.2016
Размер2.34 Mb.
ТипУчебное пособие
1   2   3   4   5   6   7

СИСТЕМЫ, ОСНОВАННЫЕ НА ЗНАНИЯХ,
В КАЧЕСТВЕ СРЕДСТВ ИНТЕЛЛЕКТУАЛЬНОЙ
ПОДДЕРЖКИ ПРОЦЕССОВ ПРИНЯТИЯ РЕШЕНИЙ



3.1. Понятия интеллектуальной и экспертной систем

Согласно принципу обратной связи, сформулированному Норбертом Винером, любая искусственная система, претендующая на разумность (интеллектуальность), как и все живое, должна обладать способностью преследовать определенные цели и приспосабливаться, т.е. обучаться. Данный принцип является основополагающим при создании систем, целевое назначение которых во многом связано с кругом задач (проблем), алгоритмы (сценарии) решения которых заранее не известны. Это проблемы творческого (интеллектуального) плана, возникающие на различных этапах принятия решений при проектировании сложных объектов, контроле и управлении сложными системами, прогнозировании социальных, экономических и политических процессов, планировании финансовых операций и т.д.

Вышесказанное тесно связано с понятиями интеллектуальной системы и экспертной системы.

Под интеллектуальной системой (ИС, или IS — Intellectual System) принято понимать программно-техническую систему, способную решать задачи, традиционно считающиеся творческими, принадлежащие конкретной предметной области, знания о которой хранятся в памяти интеллектуальной системы.



Экспертная система (ЭС, или ES — Expert System) – система, объединяющая возможности компьютера со знаниями и опытом эксперта в такой форме, что система может предложить «разумный совет» или осуществить «разумное решение» поставленной задачи. При этом система способна пояснить «ход своих рассуждений» в понятной для пользователя форме. Это определение ЭС принято Комитетом группы специалистов по экспертным системам Британского компьютерного общества.

Согласно данным определениям, ЭС и ИС можно рассматривать как синонимы в определенном смысле. Они отражают лишь функциональное назначение систем, не акцентируя внимания на способах их организации и условиях применения.

Вместе с тем следует заметить, что первые экспертные системы (именно под этим названием) относились к классу автономных экспертных систем, которые были призваны оказывать консультации и использовали в основном эвристические приемы решения задач, не привлекая формальные методы моделирования, анализа и синтеза.

Позднее в различных предметных (проблемных) областях появились средства интеллектуальной поддержки процессов принятия решений. При реализации данных процессов использовались пакеты прикладных программ различного назначения. Такие средства могли быть организованы в виде интеллектуальной надстройки над прикладными программами, а могли и интегрироваться с последними, придавая им интеллектуальность.

Как первые (ЭС), так и вторые (средства интеллектуальной поддержки), несомненно, относятся к категории интеллектуальных систем (ИС), поэтому понятие ИС следует рассматривать как более широкое. В то же время средства интеллектуальной поддержки часто называют экспертными системами.

ЭС обычно рождается как результат детального анализа (если такой удается провести) и компьютерной реализации последовательности действий эксперта в определенной предметной (проблемной) области. При этом принимаются во внимание следующие возможности человека-эксперта:



  • способность применять свои знания и опыт для оптимального решения задач, делая при этом достоверные выводы на основании неполных и ненадежных данных;

  • способность объяснять и обосновывать свои действия;

  • способность приобретать новые знания из общения с другими экспертами;

  • способность заново систематизировать свои знания (выстраивать новую систему чанков);

  • способность «нарушать» правила, т.е. подходить к их выполнению не формально, а с учетом условий возникшей ситуации (например, не сразу человек идет на зеленый сигнал светофора);

  • способность плавно оценивать свою компетентность в конкретных ситуациях (почувствовав неуверенность, эксперт не отказывается от проведения экспертизы).

Современные экспертные системы способны имитировать первые три из перечисленных возможностей человека-эксперта. При этом они могут использовать как глубинные, так и поверхностные представления знаний.

Глубинные представления включают причинные модели, категории, абстракции и аналогии, отображающие структуру и природу процессов, протекающих в предметной области. Они дают широкие возможности для их трактовки, объясняют происходящие явления и обеспечивают возможность прогнозирования поведения объектов.

Поверхностные представления не дают явного отображения причинности, а только подразумевают ее существование. Это либо эмпирические взаимосвязи, либо свернутые формы субъективного понимания структуры и назначения конкретных знаний.

Очевидно, что без глубинных представлений невозможно построение ЭС, реализующих последние три из перечисленных возможностей человека-эксперта. Однако поверхностные представления, как правило, оказываются дешевле в реализации, и их целесообразно использовать, когда на передний план выходят: процесс решения задачи, эмпирические ассоциации и свернутые формы понимания ситуаций. Есть предметные области (например, медицинская диагностика, геологоразведка полезных ископаемых), знания в которых в основном базируются на эмпирических ассоциациях.




    1. Системы, основанные на знаниях

По определению Эдварда Фейгенбаума (Станфордский университет), система, основанная на знаниях (СОЗ, или на английском knowledge-based system), – это интеллектуальная компьютерная программа, использующая знания и процедуру вывода для решения проблем, которые настолько сложны, что требуют привлечения эксперта.



С точки зрения функционального назначения, понятия СОЗ, ИС и ЭС можно рассматривать как синонимичные. Однако в определении СОЗ явно прослеживается базовый принцип организации системы декларативного (не предписывающего) типа. Именно этот принцип, предполагающий четкое отделение друг от друга базы знаний и механизма вывода, максимально обеспечивает модульный принцип построения, открытость системы, возможность создания оболочек экспертных систем (empty expert systems), настраиваемых через формализм базы знаний на различные предметные области. В остальном СОЗ присущи все особенности, характерные для ИС (ЭС):

  • ограниченность определенной областью экспертизы;

  • качественный характер выходных результатов;

  • способность рассуждать при сомнительных, неполных данных;

  • способность объяснять ход своих рассуждений понятным пользователю способом;

  • способность самообучаться и адаптироваться к конкретным условиям применения и многое другое.

Среди областей применения СОЗ можно выделить следующие довольно обширные области, каждая из которых объединяет в себе множество предметно- или проблемно-ориентированных областей конкретного применения.

Диагностика. Спектр задач, решаемых в данной области, направлен на установление связей между нарушениями функционирования сложной системы (живой или искусственной) и их возможными причинами. К этой области относятся диагностика неисправностей сложных технических систем, медицинская диагностика и т.п.

Планирование. Эта широкая область связана с решением проблем, направленных на достижение конкретных целей в задачах с большим числом переменных. Наряду с традиционным планированием экономики, производства и т.п. к этой области следует отнести и проектирование сложных объектов.

Прогнозирование. Задачи, характерные для данной области, связаны с предсказанием возможных результатов, событий на основе данных о текущем состоянии исследуемого объекта (в широком понимании этого слова). Это может быть прогнозирование (предсказание) развития ситуации на рынке ценных бумаг, предсказание извержения вулкана, прогноз погоды и т.д.

Контроль и управление. Эта область объединяет в себе проблемы принятия решений на основании анализа данных из нескольких источников.

Интерпретация. Имеется в виду получение (на основе результатов наблюдений) заключений, определяющих смысловое содержание наблюдаемых явлений, объектов, ситуаций.

Мониторинг. Это непрерывная интерпретация данных наблюдений в реальном масштабе времени с информированием о возникающих нештатных ситуациях. Например, мониторинг воздушного пространства службой управления полетами авиации, мониторинг состояния оборудования атомной электростанции и т.д.

Обучение. Применение СОЗ в данной проблемной области направлено на развитие концепции интеллектуальной обучающей компьютерной среды [2] как системы, основанной на знаниях и нейросетевых технологиях репрезентации и интерпретации знаний. Такая среда способна адаптироваться под конкретного обучаемого, генерируя для него индивидуальный рабочий сценарий обучения.

Представленные области применения СОЗ не следует рассматривать как изолированные друг от друга. Задачи, характерные для одной проблемной области, могут возникать и в других проблемных областях. Например, задачи мониторинга возникают в области контроля и управления, задачи прогнозирования – в области планирования и т.д.

Целесообразность создания и использования СОЗ в конкретной предметной (проблемной) области определяется следующими критериями:


  • отсутствие строгих алгоритмов и существование эвристических методов (приемов) решения задач;

  • наличие эксперта, способного решать задачи и объяснять ход их решения;

  • надежность и статичность имеющихся знаний (статичность понимается в том плане, что есть сложившийся, устоявшийся костяк знаний);

  • сомнительный характер доступных данных;

  • в основе решения задач лежит метод логических рассуждений.

С точки зрения интеграции с другими программными средствами СОЗ могут быть автономными и неавтономными.

Автономная СОЗ традиционно призвана оказывать консультации и использует в основном эвристические приемы решения задач, не привлекая формальные методы моделирования, анализа и синтеза.

Неавтономная СОЗ выступает как средство интеллектуальной поддержки процессов принятия решений в различных предметных (проблемных) областях. Она может быть организована в виде интеллектуальной надстройки над прикладными программами, а может и интегрироваться с последними, придавая им интеллектуальность.

Основой для создания как автономных, так и неавтономных экспертных систем может служить оболочка СОЗ (empty knowledge-based system), реализующая определенные формы представления знаний, механизмы их приобретения и интерпретации с использованием процедурного анализа и метапроцедур, лежащих в основе интеллектуальной деятельности человека: дедукции, индукции и абдукции. Последние можно рассматривать как три взаимно дополняющие друг друга формы рассуждения (формы логического вывода), т.е. построения последовательности аргументов, приводящих к некоторому утверждению – цели рассуждения.



Дедукция – это логический вывод, базирующийся на точных знаниях общего плана и позволяющий по исходным посылкам (аксиомам) получать достоверные заключения. При этом речь может идти как о формальных рассуждениях на уровне абстрактных законов, так и об интерпретированных конкретных рассуждениях.

Индукция представляет собой механизм обобщения, реализующий построение некоторого общего правила на основании конечного множества наблюдаемых фактов (конкретных примеров). Это форма правдоподобного вывода от частного к общему, используемая для формирования эмпирических знаний интеллектуальной системы.

Другой формой правдоподобного вывода является абдукция — механизм формирования гипотезы, объясняющей наблюдаемые факты на основе существующих теоретических положений (законов). Это вывод от частного к частному, труднее всего поддающийся алгоритмизации и использующий для верификации (оценки) выдвигаемых гипотез (объяснительных гипотез) методы индукции.

Указанные формы рассуждения можно проиллюстрировать на примерах следующих трех силлогизмов.



  1. Все автомобили, сошедшие с конвейера 1 апреля, имеют дефект в

рулевом управлении.

Эти автомобили сошли с конвейера 1 апреля.

-------------------------------------------------------------------------------------

Эти автомобили имеют дефект в рулевом управлении.




  1. Эти автомобили сошли с конвейера 1 апреля.

Эти автомобили имеют дефект в рулевом управлении.

-------------------------------------------------------------------------------------

Все автомобили, сошедшие с конвейера 1 апреля, имеют дефект в рулевом управлении.


  1. Все автомобили, сошедшие с конвейера 1 апреля, имеют дефект в

рулевом управлении.

Эти автомобили имеют дефект в рулевом управлении.

-----------------------------------------------------------------------------------

Эти автомобили сошли с конвейера 1 апреля.


Первый силлогизм представляет дедуктивное рассуждение, второй – индуктивное обобщение, третий – абдуктивное рассуждение.

Таким образом, указанные механизмы призваны обеспечить:



  • аналитический (дедуктивный) логический вывод, направленный на решение задач;

  • синтетический (индуктивный и абдуктивный) вывод, обеспечивающий развитие базы знаний и расширение возможностей дедуктивного метода за счет отказа от четко фиксированного множества аргументов в цепочках рассуждений, использования стратегий и правил правдоподобного вывода, применения металогических средств управления выводом.

Традиционно в составе СОЗ присутствуют пять основных компонентов (рис. 2): база знаний, механизм вывода (интерпретации знаний), подсистема объяснения, подсистема приобретения знаний и интеллектуальный интерфейс.

База знаний обычно включает две составляющие. Одна из них объединяет в себе долговременные знания о предметной области, которые могут быть представлены в виде набора продукционных правил, иерархических структур фреймов, семантических сетей или других информационных структур, комбинирующих упомянутые и, возможно, иные формы представления знаний. Другая составляющая базы знаний представляет ее динамическую часть, в которой хранятся факты (оперативные данные), описывающие текущую ситуацию (например, состояние процесса проектирования). В системах продукционного типа эту составляющую называют рабочей памятью, а долговременные знания – базой правил.

Механизм интерпретации знаний в общем случае объединяет в себе концептуальный анализатор и интерпретатор рабочего сценария поиска решения. Концептуальный анализатор по оперативным данным на основе долговременных знаний прогнозирует действия, востребованные текущей ситуацией, планируя шаг за шагом рабочий сценарий поиска решения. Интерпретатор реализует выполнение действий и внесение, в зависимости от их результатов, изменений в информационные структуры, характеризующие состояние процесса поиска.

Подсистема объяснения призвана показать, в случае необходимости, в понятной для пользователя форме ход «рассуждений» (рабочий сценарий) механизма вывода для обоснования принятого им решения.

Подсистема приобретения знаний предназначена для выявления долговременных знаний из возможных источников (у эксперта; из накапливаемого опыта решения конкретных задач; из баз данных, хранящих готовые базы знаний; из фоновых рассуждений системы в виде доказательства теорем на уровне знаний общего плана и т.д.) и приведения их к формату, воспринимаемому механизмом вывода. Одно из основных требований, предъявляемых к этой подсистеме, заключается в обеспечении открытости базы знаний и максимальной комфортности в плане возможности ее модификации (замены, удаления или добавления новых фрагментов знаний) в оперативном режиме без глобальных преобразований ее структуры.

Рис. 2. Общее представление структуры СОЗ




Интеллектуальный интерфейс объединяет в себе лингвистические, информационные и программные средства взаимодействия пользователя, инженера по знаниям (аналитика) и эксперта с соответствующими компонентами инструментария. Они должны быть ориентированы на неподготовленного пользователя, обладать способностью настраиваться на его терминологию и создавать, по возможности, комфортные условия для работы в системе.

Конкретное содержание, с точки зрения выполняемых функций, принципов реализации и методики использования, рассмотренные компоненты приобретают после выбора модели представления и формализации знаний.



ВОПРОСЫ И ЗАДАНИЯ ДЛЯ САМОКОНТРОЛЯ


  1. Назовите основные признаки, по которым можно провести четкую грань между понятиями ИС, ЭС и СОЗ.

  2. Перечислите основные способности (возможности), которыми обладает человек-эксперт.

  3. Какие возможности заложены в современных экспертных системах?

  4. Что отличает глубинные знания от поверхностных?

  5. В чем состоит суть концепции СОЗ?

  6. Назовите основные области применения СОЗ.

  7. По каким критериям определяется целесообразность создания и использования СОЗ в конкретной предметной (проблемной) области?

  8. Чем отличается автономная СОЗ от неавтономной?

  9. Что Вы понимаете под оболочкой СОЗ?

  10. Что понимается под метапроцедурами, лежащими в основе интеллектуальной деятельности человека?

  11. Перечислите три известных формы рассуждения и определите суть каждой из них.

  12. Назовите пять основных компонентов, традиционно присутствующих в составе СОЗ, и определите функциональное назначение каждого из них.




  1. МОДЕЛИ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ


4.1. Данные и знания
как категории информационного обеспечения задач

Данные и знания – это две категории информационного обеспечения задач, принципиально отличающиеся друг от друга ролью, выполняемой ими в вычислительном процессе.

Данные можно определить как информацию, полученную в результате наблюдений или измерений отдельных свойств объектов предметной области. Они используются при интерпретации процедурных знаний (знаний, заложенных в программах) и имеют удобную для этого структуру (простую или сложную).

Знания – это информация, отражающая полученные эмпирическим путем связи и закономерности предметной области, обеспечивающие возможность решения возникающих в ней задач.

Знания можно рассматривать как данные о данных, несущие информацию о том, каким образом последние следует интерпретировать.

Можно выделить ряд базовых свойств, отличающих знания от обычных данных [8, 16].

Внутренняя интерпретируемость. Это свойство знания отображать в своей структуре всю информацию, необходимую для его содержательной интерпретации, т.е. семантику знания.

Структурированность и связность. Данное свойство предполагает возможность представления информационных единиц знания в виде иерархических (рекурсивно вложенных) структур и установления между ними внешних связей, выражающих различные типы отношений (отношения структуризации, каузальные отношения, пространственные и временные отношения, отношения ситуационной близости и другие). Обозначенные связи позволяют эффективно решать проблемы наследования информации, использования обобщенных процедур, сужения пространства поиска знаний, релевантных рассматриваемой ситуации, и т.д.

Шкальная и ассоциативная упорядоченность. Для взаимного упорядочения информационных единиц могут использоваться метрические (абсолютные и относительные) шкалы, порядковые шкалы (например, шкала оценок успеваемости студента), нечеткие порядковые шкалы (например, шкала «никогда – всегда» с рядом промежуточных значений: «почти никогда», «редко», «часто», «почти всегда»), оппозиционные шкалы (например, шкала «добрый – злой» с третьим, нейтральным, значением «не добрый — не злой»).

Помимо шкал для упорядочения сведений могут быть задействованы ассоциативные связи, выделяющие в структуре знаний типовые ситуации (сцены) и определяющие степень близости (отношение релевантности) к ним конкретных информационных единиц.

Частота возникновения тех или иных ситуаций или проявления в них конкретных элементов знания может служить основой для выделения информационных структур-заготовок для быстрого реагирования системы в условиях дефицита времени. Например, в ситуации «надо забить гвоздь» по умолчанию оперативно всплывает структура-заготовка «молоток».

Активность. Это свойство определяет способность знания активизировать систему на выполнение тех или иных действий. Знания предписывающего типа активизируют систему посредством программ, в которых они заложены. Декларативные знания активизируют СОЗ через программное ядро, основой которого являются механизм вывода и подсистема приобретения знаний, инициализация которых может быть вызвана появлением в базе знаний (ее оперативной части) исходных фактов для рассуждений или описаний новых фрагментов знаний.

Отмеченные свойства знаний, планируемые для использования механизмы вывода и стратегии управления выводом – все это должно приниматься во внимание при разработке концептуальной модели представления знаний как интеллектуальной основы создаваемой системы. На первом этапе решения этой проблемы важно правильно определиться с выбором тех или иных формализмов описания знаний, известных из теоретических работ в области искусственного интеллекта.

Модель представления знаний надежной и гибкой ЭС должна объединять в себе глубинные и поверхностные, качественные и количественные, приближенные и точные, конкретные и общие, описательные (декларативные) и предписывающие знания. Системы, использующие различные виды представления знаний, называются многоуровневыми. Они предоставляют экспертам и аналитикам широкие возможности для систематизации знаний с целью эффективного их использования в ходе решения конкретных прикладных задач.
4.2. Логические модели представления знаний,
основанные на исчислениях

Одним из формализмов представления знаний являются логические модели [8, 16]. В их основе лежит понятие формальной системы, заданной четверкой

,

где множество базовых элементов системы; множество синтаксических правил построения из элементов множества синтаксически правильных выражений; множество аксиом (априорно истинных выражений); семантические правила (правила вывода), позволяющие получать из аксиом другие истинные в рамках данной системы выражения.

По специфике применения правил вывода формальные системы могут быть трех классов:



  • исчисления;

  • продукционные системы;

  • алгоритмы.

Исчисление позволяет применять любое из предусмотренных в нем правил вывода к любой уже выведенной формуле, если последняя допускает применение этого правила.

В продукционной системе каждое правило вывода (продукционное правило) имеет свои условия применимости (условия активации) в виде набора фактов (атрибутов и их значений), характеризующих состояние процесса вывода, при котором правило претендует на срабатывание. В ходе рассуждений некоторые из фактов могут менять свои значения из-за появления новой информации. Это характерно для систем с немонотонным выводом.

Что касается алгоритма как формальной системы, то последовательность применения правил вывода в нем определена однозначно.

В СОЗ, как системах декларативного типа, логические модели представления знаний базируются на исчислениях и (или) продукциях.

Классическими примерами формальных систем, используемых для представления знаний в моделях дедуктивного вывода, являются исчисление высказываний и исчисление предикатов первого порядка. Надо заметить, что вторая система является более предпочтительной по сравнению с первой при использовании средств интеллектуальной поддержки в составе прикладных программ для придания им интеллектуальности. Ибо исчисление предикатов обеспечивает большую гибкость и органичность связей интеллектуальной составляющей с проблемной областью через предметные переменные предикатов.

В исчислении предикатов знания о предметной области описываются множеством общезначимых (истинных во всех интерпретациях) формул (аксиом). Цель конкретной поставленной проблемы (задачи) представляется синтаксически правильной формулой, а процесс ее решения сводится к доказательству общезначимости этой формулы на основании аксиом, посылок и правил вывода формальной системы (другими словами, к доказательству теоремы).



Модели представления и интерпретации знаний, основанные на исчислении предикатов первого порядка, отличаются высокой степенью формализации, универсальностью подхода. Однако они оказываются громоздкими для принятия решений в обширных пространствах поиска реальных предметных областей. Это объясняется их неспособностью учитывать должным образом семантику предметной области, применять эвристические процедуры для управления процессом вывода с целью придания ему направленного, рационального для данной предметной области характера. Это послужило причиной перехода к так называемым семиотическим системам, использующим формализм, задаваемый восьмеркой

,

в которой к четверке обычной формальной системы добавлены еще четыре компоненты определяющие правила управления первой четверкой в ходе накопления, обобщения и обновления знаний о предметной области и опыта функционирования интеллектуальной системы. По сути это двухуровневая система, нижний уровень которой представляет обычную формальную систему, а верхний модель ее адаптации к реальным условиям применения.

4.3. Сетевые модели представления знаний
Наиболее полно (в явном виде) отразить семантику предметной области позволяют сетевые модели представления знаний. С этой формой представления связано понятие семантической сети как структуры, отображающей совокупность объектов предметной области и отношений между ними. При этом объектам соответствуют вершины (узлы) сети, а отношениям – дуги между ними.

Объектами могут быть обобщенные понятия, события, действия. Свойства указанных объектов также представляются вершинами. Совокупность объектов, включаемых в сеть, определяется содержанием предметной области и рассматриваемым кругом задач.

В отличие от однородных сетей (с одинаковыми отношениями между вершинами) неоднородные сети могут содержать дуги различных типов, имеющие различный смысл. Наиболее распространенными являются следующие типы отношений:


  • быть элементом класса;

  • обладать свойством;

  • являться следствием;

  • иметь значение (определяет значения свойств объекта)

и другие.

Вершины семантической сети могут иметь свою (внутреннюю) сетевую структуру. Тогда ее называют сетью иерархического типа (в отличие от сети простого типа).

Как разновидность сетевых моделей можно рассматривать иерархические структуры фреймов.

Фрейм (по определению М. Минского) – это структура для описания стереотипной ситуации, состоящая из характеристик этой ситуации (слотов) и их значений (заполнителей слотов).

Совокупность фреймов, моделирующая определенную предметную область, имеет иерархическую структуру. Каждый фрейм соответствует некоторому объекту предметной области. Слоты содержат описывающие этот объект данные. На верхнем уровне иерархии находится фрейм, отражающий наиболее общую информацию, присущую фреймам более низкого уровня. В качестве заполнителей слотов могут указываться:



  • одно значение;

  • несколько значений;

  • фасет (диапазон или перечень возможных значений);

  • правило, согласно которому определяется заполнитель слота;

  • имя процедуры, реализующей алгоритм вычисления заполнителя слота.

Значения характеристик фреймов могут передаваться по умолчанию фреймам более низкой ступени иерархии, если те не содержат собственных значений данных характеристик. Различают статические системы фреймов, не меняющиеся в процессе решения задачи, и динамические.

К достоинствам сетевых, в частности фреймовых, моделей представления знаний следует отнести:



  • явное представление иерархических связей;

  • наследование информации;

  • возможность вычисления значения любого слота с помощью процедур или эвристик.

Недостаток сетевых моделей состоит в сложности их реализации и внесения изменений в базу знаний.
4.4. Представление знаний в виде набора продукционных правил
Анализ действий экспертов, связанных с диагностикой состояний сложных объектов и систем, показывает, что профессионал проводит экспертизу вполне целенаправленно, придерживаясь определенной стратегии. При этом он руководствуется множеством правил (эвристик), которые могут быть представлены в форме

Каталог: assets -> docs
docs -> Общие положения основные интерактивные методы
docs -> Что такое деятельностный подход в образовании? А. А. Леонтьев
docs -> Системы обработки документов. Основные компоненты
docs -> Добро пожаловать в ассоциацию emma!
docs -> Добро пожаловать в ассоциацию emma
docs -> Дистанционное обучение через Интернет
docs -> Прикладные аспекты построения систем на основе документооборота
docs -> Программа актуальна для топ-менеджеров, менеджеров среднего звена. Для всех, кто желает повысить свою эффективность в бизнесе


Поделитесь с Вашими друзьями:
1   2   3   4   5   6   7


База данных защищена авторским правом ©psihdocs.ru 2017
обратиться к администрации

    Главная страница