U j@sTddlmZddlmZmZddlTddlZddlm Z Gdddej j j j Z dS))Path)urlparse urlunsplit)*N)JiraApicseZdZejjjjjdZdZ ejjjjj ddgZ e ddZddZ d d Z d d Zd dZeddZedddZddZddZddZddZeddZfddZfd d!Zd6d#d$Zd7d%d&Zd8d(d)Zd*d+Zd,d-Zd.d/Z d0d1Z!d2d3Z"d4d5Z#Z$S)9 CmfPluginJira)jiraNtestget_all_projectsc Csb|js\|dddddddgt|jjj|jjj|jj|jj |jj j|jj jd|_|jS) Npluginzplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.ext_passwordz plugin.cloudzplugin.verify_ssl)urlusernametokenpassword verify_sslcloud) _CmfPluginJira__jira load_fieldsrr Zext_urlvalueZ ext_loginZ ext_tokenZdecryptZ ext_passwordrr)selfr(./modules/jira/models/cmf_plugin_jira.pyrs  zCmfPluginJira.jirac CsDddlm}ddlm}|j}|||W5QRSQRXdS)Nr JiraAPIImport JiraCSVImport)modules.jira.api_importrmodules.jira.csv_importrrtmplt_import_settingsr cmf_importrrrrrrrs  z#CmfPluginJira.tmplt_import_settingsc CsVddlm}ddlm}|jdkrJ|j}|||W5QRSQRX||S)NrrrZapi)rrrrtyperpreviewrrrrr"#s     zCmfPluginJira.previewc CsJddlm}ddlm}d|_|j}|||W5QRSQRXdS)Nrrru#Импорт данных из Jira)rrrrnamerprocess_importrrrrr$+s   zCmfPluginJira.process_importcKsPddlm}||j|}t||r8t||}|f|n|jd|ddS)Nrru Метод 'u' не существует)rrrhasattrgetattrloggererror)rr Zprocess_methodkwargsrZ jira_importmethodrrrprocess_entity2s      zCmfPluginJira.process_entitycCsg}|S)uRСобственный магазин при выборе импорта из Jirar)resrrrcalc_models_settings<s z"CmfPluginJira.calc_models_settings) cmf_import_idc Osddlm}|dgg}zg}t}tjjddd|jjdgdgdd }|D]}t d |j } | | qR|j } | D]} | d } | d } | d }|d| d7}| | | d d}| dr| d|d<d|jjd| d}||kr|d7}||d <||qW5QRXWndtk r|}zDt|tjj|ddgd}dd||j |D}|slW5d}~XYnX|S)Nrrzplugin.source_hashext_idLIKE%::::%T)filterfieldsZinclude_deletedz::[^:]+::[^:]+::idkeyr#z ())r5r6 original_nameZ isPrivate::u [импортирован]rzplugin.plugin.*r5r4cSsg|]}|qSrr.0objrrr {sz2CmfPluginJira.get_all_projects..)rrrsetmodels CmfProjectslistr source_hashrefindallr/updater get_projectsgetappend Exceptiongdebug CmfImportZ _get_projects)rr.argsr)rr,Zimported_project_ext_idsZimported_projectsZimported_projectZext_idsrproject project_idZ project_keyZ project_name project_dataproject_ext_ider rrrr LsL       zCmfPluginJira.get_all_projectsc Csj|jZ}|jdd|}|jdd}W5QRX|d}|jd|kr\td|dW5QRXdS) N)timeoutT)Zdo_health_checkZbaseUrl/uУказанный адрес отличается от основного URL-адреса Jira.
Пожалуйста, используйте основной URL для корректной работы.
Основной URL: z )rZ without_retryZ get_myselfZget_server_infor rstripZ cmf_alert)rrZmyselfZ server_infoZbase_urlrrrcheck_connections zCmfPluginJira.check_connectionc Os4|j$}tdd|DW5QRSQRXdS)uE Проверяем подключение к апи cSsg|]}|qSrrr;rrrr>sz&CmfPluginJira.test..N)rboolrG)rrNr)rrrrr szCmfPluginJira.testc Cs8ddlm}|j}|||W5QRSQRXdSNrr)rrr download_datarr rrrrrr[s zCmfPluginJira.download_datac Cs8ddlm}|j}|||W5QRSQRXdSrZ)rrrdownload_filesr\rrrr]s zCmfPluginJira.download_filesc Csddlm}ddlm}ddl}d}tZtDtj j |ddgd}||j j |} |j j j d|} tjj dd d | d gd d gd} | std| | jj} | dr| d| df| _| j| _| | jdd| jtjjdD| _g} | j}| j}t| j|}|jd||j}t |D]N}| j!j"| j#d|||| dd}| $||%| j&jd|qDd}| j'|||t(j)dD].}| j&*rq|d7}|+|dq| D]}|+dq| j&jd| D]}|,q|j|}| j&jd||-d d}|.s^|| 7}qD| j&jd!|||7}W5QRXW5QRX|S)"Nrr) cmf_contextrzplugin.plugin.source_hashr:r9r/r0r1r2cust_field_conf_schemeimport_raw_json)r3r4u)Не найден проект с ext_id Znormalized_keyr6cSsi|]}|d|qS)titler)r<fieldrrr sz4CmfPluginJira.process_issue_fork..r4u@Грузим задачи в несколько потоков: _process_issue_thread) issue_queueissue_queue_errorsrO)targetr#r)u.Параллельный обработчик )Zonly_processingrT issue_pathZDONEu&Ждем обработки задачu*------------------------ скорость u задач в секундуu?Закончили обработку задач, ошибок )/rrZcmf.appr^datetimecmfutilZ disable_aclZdisable_notifyr@rMrHr rrCrAZCmfErrorr`rZkey_pairr_Z_cache_prioritiesZsettingsCmfTaskZ verbose_nameZjira_map_fieldsZqueueZQueueminZthreading_max_forksr'infoZnowrange threadingThreadrdrIstartr Zget_project_tasksZconfigZIMPORT_ONLY_NEW_OR_UPDATEDZ is_cancelZputjoinZ total_secondsempty)r.rPrqlimitrr^rierrorsr Z api_importrRrOrQZ issue_processrerfZ thread_countsiprocZcntZissueZdiffZ has_errorsrrrprocess_issue_forks              z CmfPluginJira.process_issue_forkcs\|dg|jrP|jdkrPt|jd}|jd}t|j|jd|ddfSt|S)Nr`rkrr6zbrowse/) rr` class_namerrschemenetlocsuper calc_ext_href)rr=Zself_urlr6 __class__rrrs   zCmfPluginJira.calc_ext_hrefcs2|dg|jdkr&|jr&|jdSt|S)Nr`rkrh)rr{r`r~calc_dump_path)rr=rrrrs  zCmfPluginJira.calc_dump_pathr#c Csvddl}dtgd}dtd}d}t}t|jjd} | |} | rt| d<} | D]0} t | } | t | d| |f|d7}q`W5QRXn| rN| D]}| sq|d }|sqt|d2} t | } | t | d| |f|d7}W5QRX|d kr| d d }d d|D}|d}|r|D]n}|shqV|jrV|j|jkrV|j|krV|d | ||jf|dd7<||jqV|r|d| |d|f|d}t|dJ} | D]>} t | }|d | |t |df|dd7<qW5QRXq||d}|d krr||d<||d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов с кортежами вида (id, name/key). Для задач дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (task_key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rN)countobjs undownloadedrr project_dirzr+r5rTz info.jsontasksr4 attachmentcSsh|]}t|dqS)r5)str)r<rrrr 4sz:CmfPluginJira._get_dump_stats_by_entity.. attachmentsrrrz, z comments.jsoncomments)zipfiler?rr`rrHjoinpathis_fileopenZjsonloadsaddris_diriterdirexistsloadstemisdigitr#removerIrr)rrOentityrbrZattachment_statsZ comment_statsZ dumped_countZ dumped_objsrZ objs_pathfrowZobj_dataZobj_dirZ obj_data_filerZattachment_idsZattachments_diritemZcomment_data_fileZ comment_datastatsrrr_get_dump_stats_by_entitys                  z'CmfPluginJira._get_dump_stats_by_entitycCsdd|gdddgg}|r"||dddd g}|d krD|d d gt|}|j|d d}t} d} td|| D]} |j||d | | | gd} | D]} | jr| j dd dnd}|rt | |dnd}| j rt | j d}| j |}|d kr| jj r| jj d}n| jj}|dkr8|r8| ||fq|dkrR| ||fq|rh| ||fq| |qqr|| d}|S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ rO=r !=Nz--r/r#r`) CmfAttachment CmfCommentz parent.codezparent.import_raw_jsonT)r3include_archiveddr)r3r4rslicer9rTzversion:r5r6rrr)rIextendrjZget_model_by_namerr?rnrBr/splitlstripr&r`rrHparentcoder)rrOr filter_byrbZfilter_r4ZmodelZprocessed_countZprocessed_objssteprqrr=Zobj_idZ obj_fieldZ parent_coderrrr_get_process_stats_by_entityYs^        z*CmfPluginJira._get_process_stats_by_entityFc s|r^dd|Ddd|D}tt|}t|}fdd|D}n||}||}|sx|r|dndt|d} | S) u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества кортежей необработанных объектов Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты has_undownloaded (bool, optional): есть незагруженные вложения check_by_id (bool, optional): осуществлять проверку только по id. Defaults to False. cSsi|]}|d|dqSrrTrr<rwrrrrcsz4CmfPluginJira._check_consistency..cSsi|]}|d|dqSrrrrrrrcscsh|]}||fqSrr)r<Zid_Z dump_dictrrrsz3CmfPluginJira._check_consistency..uНЕКОРРЕКТНОZOK)status unprocessed)r?keys intersectionlist) rZ dump_objsZ process_objshas_undownloaded check_by_idZ process_dictrZdiff_idsrresultrrr_check_consistencys z CmfPluginJira._check_consistencycCs|jd||d}|jd|d|jd|j|dddd gd d }|jd |dd |d|dd}|jd|j|d|ddd}|jd|d|||S)u Возвращает статистику по спринтам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uFСбор информации о сдампенных спринтахZsprintsu%Сдамплено спринтов: ruLСбор информации об обработанных спринтахCmfListlogic_type.coderzlist.agile_sprint:defaultr#rrbu'Обработано спринтов: uСпринтыrdumped processeduПроверка консистентности между сдампленными и обработанными спринтамиrT)ruСпринты: rr'rLrrrrFrrO dump_stats process_stats stats_datarrrr_get_project_sprint_statss4    z'CmfPluginJira._get_project_sprint_statscCs|jd||d}|jd|d|jd|j|dddd gd d }|jd |dd |d|dd}|jd||d|d}|jd|d|||S)u Возвращает статистику по релизам (версиям) проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uTСбор информации о сдампенных релизах(версиях)z versions.jsonu1Сдамплено релизов(версий): ruZСбор информации об обработанных релизах(версиях)rrrzlist.release:defaultr#ru3Обработано релизов(версий): u РелизыruПроверка консистентности между сдампленными и обработанными релизами(версиями)ruРелизы(версии): rrrrrr_get_project_version_statss,    z(CmfPluginJira._get_project_version_statscCs|jd||d}|jd|d|jd|j|ddd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по компонентам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uLСбор информации о сдампенных компонентахzcomponents.jsonu+Сдамплено компонентов: ruRСбор информации об обработанных компонентахZ CmfComponentr#rbu-Обработано компонентов: uКомпонентыruПроверка консистентности между сдампленными и обработанными компонентамиruКомпоненты: rrrrrr_get_project_component_statss*    z*CmfPluginJira._get_project_component_statscCs|jd||d}|jd|d|jd|j|ddd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по доскам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uBСбор информации о сдампенных доскахZboardsuСдамплено досок: ruHСбор информации об обработанных доскахZCmfKanbanBoardr#ru!Обработано досок: u ДоскиruПроверка консистентности между сдампленными и обработанными доскамиru Доски: rrrrrr_get_project_board_stats3s*    z&CmfPluginJira._get_project_board_statsc CsJ|jd|j|ddd}|jd|d|jd|dd|jd |d d|jd |j|d dd}|jd |dd|d|dd}dddg}|jd|j|ddddg|gd}|jd|dd|dd|dd|dd}|jd|j|ddd d!g|gd}|jd"|dd#|d d|dd} |jd$||d%|d%} |jd&| d'|| |jd(|j|dd%|d%t|ddd)} |jd*| d'|| |jd+||d d%|d%} |jd,| d'| | ||| gS)-u Возвращает статистику по задачам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики utСбор информации о сдампенных задачах, вложениях и комментарияхrr6ruСдамплено задач: ru%Сдамплено вложений: ru-Сдамплено комментариев: ruJСбор информации об обработанных задачахrku!Обработано задач: u ЗадачиrZ parent_idr0z CmfTask:%uNСбор информации об обработанных вложенияхrr`rN)ru'Обработано вложений: uВложенияr)rrrruTСбор информации об обработанных комментарияхrZ log_levelrru/Обработано комментариев: uКомментарииuПроверка консистентности между сдампленными и обработанными задачамиruЗадачи: ruПроверка консистентности между сдампленными и обработанными вложениями)ruВложения: uПроверка консистентности между сдампленными и обработанными комментариямиuКомментарии: )r'rLrrrrFrY) rrOrrtask_stats_dataZ parent_filterZattach_process_statsZattachment_stats_dataZcomment_process_statsZcomment_stats_dataZ task_resultZattachment_resultZcomment_resultrrr_get_project_task_statsWs             z%CmfPluginJira._get_project_task_statsc Csvg}||}||||}||||}||||}||||}|D]}||qb|S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )rrIrrrr) rrOrZsprint_stats_dataZversion_stats_dataZcomponent_stats_dataZboard_stats_datarrrrr project_statss          zCmfPluginJira.project_stats)r#)NN)FF)%__name__ __module__ __qualname__modulesrr4cmf_plugin_jirarZ ui_meta_skiprZ api_methodspropertyrr"r$r+ staticmethodr-rr rXr r[r]ryrrrrrrrrrrr __classcell__rrrrr sD    4  O   ] L )%$$ar)pathlibr urllib.parserrZ cmf.includeZ#modules.jira.fields.cmf_plugin_jirarZmodules.jira.apirrr4rrrrrrs