cahtНаучный вестник МГТУ ГАCivil Aviation High Technologies2079-06192542-0119Moscow State Technical University of Civil Aviation (MSTU CA)caht-913Research ArticleСтатьиУПРАВЛЕНИЕ ФАЙЛАМИ В РАМКАХ МОДЕЛИ ПОТОКОВ ДАННЫХ ДЛЯ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙHIERARCHICAL DATAFLOW MODEL WITH AUTOMATED FILE MANAGEMENT FOR ENGINEERING AND SCIENTIFIC APPLICATIONSНазаренкоА. М.NazarenkoA. M.

старший программист

Moscow

alexey.nazarenko@datadvance.netПересторонинН. О.PerestoroninN. O.

старший программист

Moscow

nikita.perestoronin@datadvance.netПрохоровА. А.ProkhorovA. A.

руководитель отдела разработки ПО;

научный сотрудник, 

Moscow

alexander.prokhorov@datadvance.netООО «ДАТАДВАНС»РоссияDATADVANCERussian FederationООО «ДАТАДВАНС»; Институт проблем передачи информации им. А.А. Харкевича РАНРоссияDATADVANCE; Institute for information transmission problems RAS (Kharkevich Institute)Russian Federation201628122016195161172Copyright © Назаренко А.М., Пересторонин Н.О., Прохоров А.А., 20162016Назаренко А.М., Пересторонин Н.О., Прохоров А.А.Nazarenko A.M., Perestoronin N.O., Prokhorov A.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://avia.mstuca.ru/jour/article/view/913

Системы управления вычислениями, основанные на модели потоков данных, в настоящее время широко используются для автоматизации различных инженерных и научных расчетных задач, требующих совместного использования в рамках одного расчета целого ряда специализированных программных средств. Такая система обеспечивает интеграцию используемого программного обеспечения в единую расчетную схему, передачу данных между элементами схемы, управляет их запуском и обработкой данных. В настоящей работе рассматривается случай управления распределенными асинхронными вычислениями. Соответствующая модель потоков данных, описанная в первой части статьи, обеспечивает естественную автоматизацию и распределенное выполнение сложных итеративных вычислительных процессов, в том числе таких, в которых одна итерация внешнего процесса содержит несколько вложенных циклов выполнения. Основное внимание уделено вопросу организации обмена файлами между различными программными пакетами в распределенной вычислительной схеме с иерархической структурой. Предложенная методика работы с файлами учитывает общие требования к обработке данных в автоматизированных вычислениях: изолированность и возможность отслеживания происхождения данных, поддержку кэширо-вания и повторного использования данных, поддержку параллельной обработки.

Solving modern scientific and engineering problems typically implies using multiple task-specific software applications and often a complex sequence of computations must be performed. Adopted approach to achieve the required level of automation is to use one of the many available scientific and engineering workflow systems, which can be based on different workflow models. This paper introduces a workflow model targeted to provide natural automation and distributed execution of complex iterative computation processes, where the calculation chain contains multiple task-specific software applications which exchange files during the process.

The proposed workflow model addresses a wide range of applications and targets complex cases when a single iteration of a top-level process may contain multiple nested execution loops. Typical requirements to process automation are considered as well: execution isolation, data re-use and caching, parallel execution, data provenance tracking.

программирование потоков данныхраспределенная файловая системаинтеграция процессовавтоматизация вычисленийautomation of scientific processesautomation of engineering processesdistributed computingworkflowdataflowpSevenReferencesAfanasiev A., Sukhoroslov O., Voloshinov V. MathCloud: Publication and Reuse of Scientific Applications as RESTful Web Services. In 12th International Conference "Parallel Computing Technologies"(PaCT 2013), vol. 1662, pp. 394-408. Springer, 2013Afanasiev A., Sukhoroslov O., Voloshinov V. MathCloud: Publication and Reuse of Scientific Applications as RESTful Web Services. In 12th International Conference "Parallel Computing Technologies" (PaCT 2013), 2013, vol. 1662, pp. 394–408. Springer.Altintas I., Berkley C., Jaeger E., Jones M., Ludascher B., Mock S. Kepler: an extensible system for design and execution of scientific workflows. Proceedings. 16th International Conference on Scientific and Statistical Database Management, 2004, August 2015, pp. 423-424Altintas I., Berkley C., Jaeger E., Jones M., Ludascher B., Mock S. Kepler: an extensible system for design and execution of scientific workflows. Proceedings. 16th International Conference on Scientific and Statistical Database Management, 2004, (August 2015):423–424, 2004.Автоматизация инженерных расчетов, анализ данных и оптимизация с помощью программного комплекса PSE/MACROS. / Е.В. Бурнаев, Ф.В. Губарев, С.М. Морозов, А.А. Прохоров, Д.С. Хоминич // Межотраслевая информационная служба. 2013. No 4 (165). С. 41-50Burnaev E., Gubarev F., Morozov S., Prokhorov A., Khominich D. PSE/MACROS: Software Environment for Process Integration, Data Mining and Design Optimization. The internet representation of scientific editions of FSUE "VIMI" (The All-Russian Research Institute for Interindustry Information - a Federal Informational and Analytical Center of the Defense Industry, a Federal State Unitary Enterprise), (4):41–50, 2013.Churches D., Gombas G., Harrison A., Maassen J., Robinson C., Shields M., Taylor I., Wang I. Programming scientific and distributed workflow with Triana services. Concurrency Computation Practice and Experience, 2006. Vol. 18, No. 10, pp. 1021-1037Churches D., Gombas G., Harrison A., Maassen J., Robinson C., Shields M., Taylor I., Wang I. Programming scientific and distributed workflow with Triana services. Concurrency Computation Practice and Experience, 18(10):1021–1037, 2006.Elmroth E., Hernández F., Tordsson J. Three fundamental dimensions of scientific workflow interoperability: Model of computation, language, and execution environment. Future Generation Computer Systems, February 2010, Vol. 26, No 2, pp. 245-256Elmroth E., Hernández F., Tordsson J. Three fundamental dimensions of scientific workflow interoperability: Model of computation, language, and execution environment. Future Generation Computer Systems, 26(2):245–256, February 2010.Johnson G. LabVIEW graphical programming. Tata McGraw-Hill Education, 1997Johnson G. LabVIEW graphical programming. Tata McGraw-Hill Education, 1997.Johnston W., Hanna J., Millar R. Advances in dataflow programming languages. ACM Computing Surveys, March 2004, Vol. 26, No 1, pp. 1-34Johnston W., Hanna J., Millar R. Advances in dataflow programming languages. ACM Computing Surveys, 36(1):1–34, March 2004.Malone B., Papay M. Modelcenter: an integration environment for simulation based design. In Simulation Interoperability Workshop, 1999Malone B., Papay M. Modelcenter: an integration environment for simulation based design. In Simulation Interoperability Workshop, 1999.Martins J., Lambe A. Multidisciplinary Design Optimization: A Survey of Architectures. AIAA Journal, 2013, Vol. 51, No 9, pp. 2049-2075Martins J., Lambe A. Multidisciplinary Design Optimization: A Survey of Architectures. AIAA Journal, 51(9):2049–2075, 2013.Seider D., Fischer P., Litz M., Schreiber A., Gerndt A. Open Source Software Framework for Applications in Aeronautics and Space. In 2012 IEEE Aerospace Conference, 2012, pp. 1-11Seider D., Fischer P.M., Litz M., Schreiber A., Gerndt A. Open Source Software Framework for Applications in Aeronautics and Space. In 2012 IEEE Aerospace Conference, pages 1–11, 2012.Wikipedia. Modefrontier - wikipedia, the free encyclopedia, 2015Wikipedia. Modefrontier — wikipedia, the free encyclopedia, 2015. [Online; accessed 15 August 2015].Wikipedia. Optimus platform - wikipedia, the free encyclopedia, 2015Wikipedia. Optimus platform — wikipedia, the free encyclopedia, 2015. [Online; accessed 15 August 2015].Wolstencroft K., Haines R., Fellows D., Williams A., Withers D., Owen S., Soiland-Reyes S., Dunlop I., Nenadic A., Fisher P., Bhagat J., Belhajjame K., Bacall F., Hardisty A., de la A. Hidalga, Vargas M., Sufi S., Goble C. The Taverna workflow suite: designing and executing workflows of Web Services on the desktop, web or in the cloud. Nucleic acids research, 41, 2013Wolstencroft K., Haines R., Fellows D., Williams A., Withers D., Owen S., SoilandReyes S., Dunlop I., Nenadic A., Fisher P., Bhagat J., Belhajjame K., Bacall F., Hardisty A., de la Hidalga A., Vargas M., Sufi S., Goble C. The Taverna workflow suite: designing and executing workflows of Web Services on the desktop, web or in the cloud. Nucleic acids research, 41(Web Server issue), 2013.Zhao Y. A Model of Computation with Push and Pull Processing. Master’s report, technical memorandum ucb/erl m03/51, University of California at Berkeley, 2003Zhao Y. A Model of Computation with Push and Pull Processing. Master’s report, technical memorandum ucb/erl m03/51, University of California at Berkeley, 2003.

The authors declare that there are no conflicts of interest present.