Issn 411-1473 Современные информационные технологии и ит-образование Научный журнал Том (№11) Москва



Скачать 27,21 Mb.
Pdf просмотр
страница263/553
Дата06.10.2019
Размер27,21 Mb.
#79117
1   ...   259   260   261   262   263   264   265   266   ...   553
k
i
-процентов от объема i-ого файла.
Общий объем контентной единицы рассчитывается по формуле:
S
=

i
=
1
N
S
i
, где
S
i
=
(
1

k
i
)
S
i
+
k
i
(
S
i
)

объем i-го файла, при этом
(
1

k
i
)
S
i
-
общая часть
k
i
(
S
i
)
-
отличающая часть
Обозначим общую для всех файлов часть, как
D,
таким образом формула принимает вид
S
=

i
=
1
N
(
D
+
k
i
S
i
)
, следовательно получаем формулу
S
=
ND
+

i
=
1
N
k
i
S
i
При этом передаваемый объем файлов с помощью правильно рассчитанных блоков можно рассчитать по формуле
S
передав
=
D
+

i
=
1
N
k
i
S
i
Разница между фактическим и передаваемым объемами
(
N

1
)
D
— показывает экономию данных в байтах при передаче.
Данные, сохраненные в виде распределенного кеша, представляют собой набор групп,
каждая из которых включает в себя: размер блока данных, хеш-сумму блока данных, блок данных и набор статистических параметров.
В набор статистических параметров входят:

время последнего обращения;

время предыдущего обращения;

относительная частота обращений;

число обращений к данным.
При поступлении нового запроса к данным статистические параметры меняются в зависимости от времени последнего доступа и накопленных ранее данных. Эти параметры рассчитываются по следующим формулам:
206


∆ T
N
+
1
=
(
∆ T
N
+
1

T
N
)
+
N
/
f
N
N
+
1
- формула расчета среднего времени между обращениями для N+1 обращения с учетом предыдущих статистических значений ,
f
N
+
1
=
N
+
1
(
T
N
+
1

T
N
)
+
N
/
f
N
- формула расчета нового значения относительной частоты обращений к данным для для
N+1 обращения с учетом предыдущих статистических значений, где:

f
N
–предыдущая относительная частота обращения;

T
N
— предыдущее время обращения;

f
N
+
1
— новое значение относительной частоты обращения;

T
N
+
1
— последнее время обращения;

N — число обращений;

∆ T
N
+
1
— среднее время между обращениями.
После получения метаданных и всех блоков контентной единицы в распределенном кеше данных, воссоздание изначального набора данных производится по схеме в соответствии с
Рисунком 2.
Рисунок 2 — Схема воссоздания набора файлов из блоков данных с помощью карты блоков
Набор файлов контентной единицы собирается на узле децентрализованной системы с помощью карты блоков, которая в свою очередь находиться в наборе метаданных. Имея карту блоков, можно произвести поиск блоков данных, соответствующих каждому файлу контентной единицы, в распределенном кеше данных. Если заменить в хеш-строке отдельного файла каждый набор (размер, хеш-сумма) на соответствующий блок данных, то в конечном итоге будет получен исходный файл. Если восстановленные файлы разместить в соответствии с деревом файлов,
взятом из карты блоков, можно получить исходное состояние контентной единицы. Таким образом при наличии карты блоков и наличии всех необходимых блоков данных в распределенном кеше данных можно получить исходное состояние контентной единцы полученной через сеть.
Когда контентная единица загружена, существует несколько видов работы с ее данными.
Данные хранятся в кеше и в виде файлов сохраненных в файловой системе. В этом случае одни и те же данные хранятся дважды, но в разном виде. Транспортное ядро системы и ее модули работают с данными хранимыми в распределенном кеше. Пользователь работает с данными хранимыми в файловой системе, он может их удалять и изменять, однако, это не влияет на данные которыми оперирует система. Для того, чтобы изменения сохранились в системе, необходимо пересчитать карту блоков контентной единицы и занести в ее метаданные информацию об обновлении версии;
Данные хранятся либо в виде файлов, либо в виде распределенного кеша. В этом случае данные хранятся в виде файлов, если загружена соответствующая контентная единица, при этом система работает с файлами, активно используя карту блоков. Такое хранение данных не безопасно, так как пользователь может делать с файлами все, что угодно. Одно из решений в таком случае — блокировать запись к файлам, что снижает удобство их использования, однако, вполне подходит для задачи распространения и дальнейшей передачи данных, например, без использования средств децентрализованной сети.
207



Скачать 27,21 Mb.

Поделитесь с Вашими друзьями:
1   ...   259   260   261   262   263   264   265   266   ...   553




База данных защищена авторским правом ©psihdocs.ru 2022
обратиться к администрации

    Главная страница