Preview

Научный вестник МГТУ ГА

Расширенный поиск

УПРАВЛЕНИЕ ФАЙЛАМИ В РАМКАХ МОДЕЛИ ПОТОКОВ ДАННЫХ ДЛЯ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ

Аннотация

Системы управления вычислениями, основанные на модели потоков данных, в настоящее время широко используются для автоматизации различных инженерных и научных расчетных задач, требующих совместного использования в рамках одного расчета целого ряда специализированных программных средств. Такая система обеспечивает интеграцию используемого программного обеспечения в единую расчетную схему, передачу данных между элементами схемы, управляет их запуском и обработкой данных. В настоящей работе рассматривается случай управления распределенными асинхронными вычислениями. Соответствующая модель потоков данных, описанная в первой части статьи, обеспечивает естественную автоматизацию и распределенное выполнение сложных итеративных вычислительных процессов, в том числе таких, в которых одна итерация внешнего процесса содержит несколько вложенных циклов выполнения. Основное внимание уделено вопросу организации обмена файлами между различными программными пакетами в распределенной вычислительной схеме с иерархической структурой. Предложенная методика работы с файлами учитывает общие требования к обработке данных в автоматизированных вычислениях: изолированность и возможность отслеживания происхождения данных, поддержку кэширо-вания и повторного использования данных, поддержку параллельной обработки.

Об авторах

А. М. Назаренко
ООО «ДАТАДВАНС»
Россия
старший программист


Н. О. Пересторонин
ООО «ДАТАДВАНС»
Россия
старший программист


А. А. Прохоров
ООО «ДАТАДВАНС»; Институт проблем передачи информации им. А.А. Харкевича РАН
Россия

руководитель отдела разработки ПО;

научный сотрудник, 



Список литературы

1. Afanasiev A., Sukhoroslov O., Voloshinov V. MathCloud: Publication and Reuse of Scientific Applications as RESTful Web Services. In 12th International Conference "Parallel Computing Technologies"(PaCT 2013), vol. 1662, pp. 394-408. Springer, 2013

2. Altintas I., Berkley C., Jaeger E., Jones M., Ludascher B., Mock S. Kepler: an extensible system for design and execution of scientific workflows. Proceedings. 16th International Conference on Scientific and Statistical Database Management, 2004, August 2015, pp. 423-424

3. Автоматизация инженерных расчетов, анализ данных и оптимизация с помощью программного комплекса PSE/MACROS. / Е.В. Бурнаев, Ф.В. Губарев, С.М. Морозов, А.А. Прохоров, Д.С. Хоминич // Межотраслевая информационная служба. 2013. No 4 (165). С. 41-50

4. Churches D., Gombas G., Harrison A., Maassen J., Robinson C., Shields M., Taylor I., Wang I. Programming scientific and distributed workflow with Triana services. Concurrency Computation Practice and Experience, 2006. Vol. 18, No. 10, pp. 1021-1037

5. Elmroth E., Hernández F., Tordsson J. Three fundamental dimensions of scientific workflow interoperability: Model of computation, language, and execution environment. Future Generation Computer Systems, February 2010, Vol. 26, No 2, pp. 245-256

6. Johnson G. LabVIEW graphical programming. Tata McGraw-Hill Education, 1997

7. Johnston W., Hanna J., Millar R. Advances in dataflow programming languages. ACM Computing Surveys, March 2004, Vol. 26, No 1, pp. 1-34

8. Malone B., Papay M. Modelcenter: an integration environment for simulation based design. In Simulation Interoperability Workshop, 1999

9. Martins J., Lambe A. Multidisciplinary Design Optimization: A Survey of Architectures. AIAA Journal, 2013, Vol. 51, No 9, pp. 2049-2075

10. Seider D., Fischer P., Litz M., Schreiber A., Gerndt A. Open Source Software Framework for Applications in Aeronautics and Space. In 2012 IEEE Aerospace Conference, 2012, pp. 1-11

11. Wikipedia. Modefrontier - wikipedia, the free encyclopedia, 2015

12. Wikipedia. Optimus platform - wikipedia, the free encyclopedia, 2015

13. Wolstencroft K., Haines R., Fellows D., Williams A., Withers D., Owen S., Soiland-Reyes S., Dunlop I., Nenadic A., Fisher P., Bhagat J., Belhajjame K., Bacall F., Hardisty A., de la A. Hidalga, Vargas M., Sufi S., Goble C. The Taverna workflow suite: designing and executing workflows of Web Services on the desktop, web or in the cloud. Nucleic acids research, 41, 2013

14. Zhao Y. A Model of Computation with Push and Pull Processing. Master’s report, technical memorandum ucb/erl m03/51, University of California at Berkeley, 2003


Рецензия

Для цитирования:


Назаренко А.М., Пересторонин Н.О., Прохоров А.А. УПРАВЛЕНИЕ ФАЙЛАМИ В РАМКАХ МОДЕЛИ ПОТОКОВ ДАННЫХ ДЛЯ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ. Научный вестник МГТУ ГА. 2016;19(5):161-172.

For citation:


Nazarenko A.M., Perestoronin N.O., Prokhorov A.A. HIERARCHICAL DATAFLOW MODEL WITH AUTOMATED FILE MANAGEMENT FOR ENGINEERING AND SCIENTIFIC APPLICATIONS. Civil Aviation High Technologies. 2016;19(5):161-172. (In Russ.)

Просмотров: 671


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2079-0619 (Print)
ISSN 2542-0119 (Online)