U
@hcv @ s d dl Z d dlmZmZ d dlmZ d dlmZmZ d dlmZ d dl Z d dl
m Z d dl m
Z
mZ d dlZd dlmZ d dlZd dlZd d lmZ d d
lT d d lmZ d d lmZ d d
lmZ G dd dej Z dS ) N)copydeepcopy)Decimal)datetimetimezone)Logger)Path)DictIterator)cached_property)
commit_all_ds)*)fields
cmf_import)
log_configc sR e Zd Zejjd ZdZeedddZ dd Z
fdd Z d
d Z d d
Z
dd ZedddZed9ddZeeeef dddZdd Zedd Zeejdd Zd:ed d d Z d!d" Z edd#d$Z e e dd%d&Z d'd( Z!d)d* Z"d+d, Z#eejd dd-d.Z$d/d0 Z%d1d2 Z& fd3d4Z' fd5d6Z(d7d8 Z) Z*S ); CmfImport)CSV_SETTING_NAMEcsv_import_settings_fieldsloggerZCSV)returnc C s t j| ddS )uE Журнал логирования процесса импорта i)ZmaxBytes)r Z
get_logger
get_files_dirself r ./common/models/cmf_import.pyr s zCmfImport.loggerc O s8 | tj }tjtj | s4| j d |S )NZinit)
r r ZLOG_NAMEospathexistsconfig
UPLOAD_DIRr info)r argskwargs file_pathr r r get_log_filename s zCmfImport.get_log_filenamec s$ | j s| jjdd| _ t d S )Nopen status_type)statusworkflowget_default_statussuper _calc_statusr __class__r r r- % s zCmfImport._calc_statusc C s | j d rd S | jr(| j | j d< d S | jdkr6d S | j d dtj tjjd | j d dtj tj jd | j d dtj
tj
jd | j d dtj tj jd | j d dtj tj jd | j d d tj
tj
jd d S )
NZ
models_fieldsexcelu Поля контактов)captionr iconu Поля задачu Поля заметокu Поля проектовu" Поля списков задачu Поля групп)
json_settingspluginZcalc_models_settingstypeappendmodels CmfPersonZimport_shop_fieldsr2 CmfTaskZ
CmfComment
CmfProjectCmfListZCmfPersonGroupr r r r _calc_models_settings* s>
z CmfImport._calc_models_settingsc K sh | ddddg | jd r d S | jr<| jj| d| jd< n| jdkrT| | jd< | j| _| d S )Nr3 attachmentsr5 r4 import_settingsr r0 ) load_fieldsr3 r4 calc_import_settingsr5 calc_import_excel_settingssaver r# r r r r@ E s
z CmfImport.calc_import_settingsc K sH | ddddg | jd r d S | jj| d| jd< | j| _| d S )Nr3 r= r5 r4 r> r )r? r3 r4 tmplt_import_settingsrB rC r r r rD S s
z CmfImport.tmplt_import_settingsc C s | j d j}d}d}z | }t|D ]\}}q&W n tk
rt } z$| d| d| d| d}W 5 d }~X Y n tk
r } z$| d| d| d| d}W 5 d }~X Y nF ttfk
r } z$| d| d| d| d}W 5 d }~X Y nX |S )Nr FuJ Не корректный формат загружаемого файла:T* Приложен пустой файл CSVu5 Не удаётся прочитать строчку) r= full_path_file _get_file enumerateUnicodeDecodeError
_log_error
StopIterationIOError
ValueError)r r$
have_errorZnum file_read_er r r _check_file[ s" zCmfImport._check_file c C s4 d| d d} td| d| t| d S )Nu1 Ошибка при импорте данных. .ue . Проверьте загружаемый файл и повторите попытку снова.zCmfImportError: : )striploggingerrorZ cmf_alert)msgrR r r r rK n s zCmfImport._log_errorc
C s d} d}d}d| dd| dd| dd| dd | dd
| dd | dd | dd
| dd| dd| dd| dd| dd| dd| dd|dd|dd|dd|dd|dd|dd}i }| D ]N\}}|dd}|dd}tt|} ||| d| | jd | jd ||< q|S ) ug Структура сопоставления полей из файла CSV по умолчанию. r9 r: r; name)
field_name
model_namecodetextr) Z
alarm_dateZdeadlinepriorityzresponsible.namezresponsible.emailzcmf_author.namezcmf_author.emailzexecutors.namezexecutors.emailzparent_task.codezchild_tasks.codeZtask_code_prefix logic_prefixactivity)u Тема задачиu Код задачиu Описание задачиu Статус задачиu Будильник задачиu" Крайни срок задачиu Важностьu ФИО исполнителяu Email исполнителяu ФИО автораu Email автораu! ФИО соисполнителяu Email соисполнителяu$ Код основной задачиu$ Код дочерней задачиu Название проектаu Код проектаu Префикс задачu Тип проектаu Вид деятельностиu Список задачr] rT r\ rU T)r1 r\ field_qualnamer2 required verbose_name)itemsgetgetattrr7 r2 re )
Z
name_cmf_taskZname_cmf_projectZ
name_cmf_epicdefault_mappingZdefault_local_attrs_mappingtitleZ value_modelr] Z name_attrmodelr r r _default_mapping_csvt sL
z CmfImport._default_mapping_csvc C s | j s
d S tjjdgdd| jgdgd}| jg d}| }|rDg S | }| }t |D ]&\}}|dkr| j
d s qn|d kr qt |D ]\}} d
}
|dkrH|r(|j
d r(t |j
d D ]Z} d | krd
| kr q(| d | jkrq| d
D ]&} | d | kr|d
| d}
qqq|
s|d
| d d d d q|d
| }
||
d }| |
d< |r||
d< |d |
d< qq\|d
s|
d g S |gS )Nz-cmf_modified_atidz!=r3 )Zorder_byfilterr r[ r r first_row Fr> r[ r rj T)rj file_val model_fieldr2 rr rs r2 rF )r= r7 r rg rm r rS rH rl rI r3 r r6 rK )r Z
prev_settingssettingsrO rP ri irowjvalfoundZprev_setZ
prev_fieldZ row_settingsrs r r r rA sZ
z$CmfImport.calc_import_excel_settingsc C s: | dg | jd D ] }|d | jkr|d S qg S )Nr3 r> r[ r )r? r3 r )r rt r r r r s
z$CmfImport.csv_import_settings_fieldsc
O s& dt jd< t t tjj| dddgd}|j d |j
j dd |_ |
t | }|r|j d
|j
j d d |_ |
n0|j jd kr|j d |j
j d
d|_ |
|jjd jtjd}W 5 Q R X W 5 Q R X tjj|tjjj|j dt t j dd| ddd dS )uJ
Запускаем в фоне импорт данных
1importr* r) Zprogressrm r u% ***Запускаем импорт***Z in_progressr' u2 ***Импорт успешно завершен***closedu7 ***Импорт завершен с ошибками*** import-errorZ status_coder z/files/u+ Импорт данных завершен z%d.%m.%Y %H:%Mz
, Журнал логированияT)objZ person_idr[ rZ Zis_notify_current_personN)!r environcmfutil disable_acldisable_notifyr7 r rg r r! r* r+ r) rB commit_with_eventprocess_importr( ZhandlersZ baseFilenamereplacer r Z CmfNotifyZ place_notifygZcurrent_personrm valuer[ r nowr utc)Z import_id_args_kwargsr resZlog_pathr r r start s0
,zCmfImport.startN)rv c C s4 d}|dkr|j }|sg }i }t| jD ]Z\}}|d r(|| r(|d d dd |jkr^q(|d d |kr(|| ||d d < q(|s|S || d} tt| d }
|D ]} |j| } t | tj
st | tj r,d}
| D ]8}|jd
d d || gd d || ggd
gd}
|
r qq|
r,t
| | |
qt | tjr rp r4 r= r rV
r~ r FN)r? r4 r Zenable_import_moder Exception traceback
format_excr r format_tb
__traceback__r exception error_msgr* r+ r) rB r5 _process_import_excel)r errerr_msg
error_textr r r r O s
&
zCmfImport.process_importc 4 C sf ddl m} | jr | jd s dS d}zi }i }i }i }i }i }i } | }
t|
D ](\}} |dkrr| jd rrqTi } i }
d}d}t| jD ],\}}|d r| | sq|d d d d }|
|i }|d d
d }|d }| | }|d kr|}qn|d kr |}qt |d
krP|dkr2|| |d
< q||i }| | ||d
< nZ|dkrt|dkrt|
| | }n6|dkr| | | }n |dkrd| | | i}|||< ||
|< q|
di }|
dd}||d}|s || tj|\}}|||d< || tj| \}}|
di } | drD| d | d< | di } | r| |} | s|dkrtjjddtjjdd d } n tjjdd tjjd d d } | | |< | | d < | | d< || d!< || d"< d#d$d%|jgdd%| d gg} || tj| | \} }| j| | | || d < |rH||g }!|!| |!||< |rt|| d g }"|"| |"|| d < |
d&i d'd}#|#r|# d(|jj }$||$i }%||%d!< |#|%d'< |%d)g }&|&| |&|%d)< |%||$< ||d}'|'sftj jd#d*d%|jgd'd%d+ggd,}(d#d*d%|(jgd'd%d-gg})d-||(d.d/}*|j| tj |*|)d0\}'}|'||d< || j tj |'| d1 qT| D ]\}$}+tj jd#d*d%|+d! jgd'd%d2ggd,}(d#d*d%|(jgd'd%|+d' gdd3d4gg})tjj|)d,},|,stj|+d! |(|+d' tj!jd5d d6},|, |+d) D ]} |,| _"| jd7d8 q"q| D ]>\}}-||}.|.rH|-D ] }/|/j"# |.|/_"|/ qdqH| D ]N\}}0||}.|.r|0D ].}1||1}/|/r|/j"# |.|/_"|/ qqW n~ t$k
r` }2 z^t%|2 d9| d:|2 d;t&'|2j(d< }3| j)*|3 |3| _+| j,j-d=d>| _.| W Y dS d?}2~2X Y nX d7S )@u
Запуск импорта из CSV
:return: Истина в случае успешного импорта
r )CmfPluginImportMixinr> Frp rT rs rc rU r\ parent_taskZ child_tasksrq executorsra r: r` r) r( z
project.agiler^ r9 Z
cmf_authorZ cmf_ownerz project.basez
task.base%baser^ )Z cmf_modelprefixrb ztask.agile:softdev%Zsoftdevr* projectparentZANDZ parent_idr r; r[ rQ tasksZtree_parent_idZSprints)rn u
ДоскаZkanban)r[ r tree_parentZ list_type)r rk
obj_fields
filter_obj)leftrightZEpics=z task.epicztask.epic:default)r r r[ Z
logic_typeT)Z only_datau
Строка rV r r r~ r N)/Z%common.models.cmf_plugin_import_mixinr r= r3 rH rI r r rg lenZget_logic_prefixZ get_priorityZget_status_type
setdefaultZprocess_any_table_fieldsr7 r: r8 CmfWorkflowZ
calc_workflowZ CmfActivityrm r9 r r6 rB r^ r Z CmfFolderr; r ZCmfListCmfTaskrf Z CmfLogicTyper loadr r r r r r r r r* r+ r) )4r r Z
number_rowZall_parent_taskZall_child_tasksZall_epic_tasksZ all_tasksZ
cash_boardZ cash_projectZcash_workflow_taskrP rv executorr Zparent_task_codeZchild_tasks_codeidxr r] Z_rowZ fields_namer\ r Zproject_fieldsra r rQ Z executor_objZ task_fieldsZ value_statusr* Z filter_taskZtask_objZtmp_parent_tasksZtmp_child_tasksZ epic_nameZepic_keyZtmp_dataZ tmp_tasksZlist_objZ
parent_folderr r dataZepic_objr r Zsub_taskZ
tasks_codeZ
sub_task_coder r r r r r e sL
" z CmfImport._process_import_excelc c s t | jd j}|jdkrRtt|}|d}| D ]}dd |D V q:nn|jdkrt
t|}|j }|j ddD ]
}|V q|n6|jdkrt
|d }t|D ]
}|V qW 5 Q R X d S )
Nr z.xlsc S s g | ]
}|j qS r )r ).0itemr r r
, s z'CmfImport._get_file..z.xlsxT)Z values_onlyz.csvr)r r= rG suffixxlrdZ
open_workbookr Zsheet_by_indexZget_rowsopenpyxlZ
load_workbookZactiveZ iter_rowsr& csvreader)r Zattachment_file_pathZworkbookZ worksheetelfiler r r rH & s
zCmfImport._get_filec C s> | |tj}|r|sdS d}| jD ] }|d r$|d d dkr$|}q$|dg tjj|jt|d |j jdgd}|stj|t|d |j | d }|
|j j d
d t
|jjD ]*}|jj| jkrq| |jj| q| j |tjtjjd d
|jgdd
|jggd}|ddg ||_||_|jr:|
|S )u;
Импорт товара в сделку
Nrs rc zCmfProduct.pricescurrencyrr price)
product_idr Z currency_idr )productr r r T)forceZdeal_idr r )r r r Z sales_order)r r7 Z
CmfProductr r? ZCmfPricerg rm r r rB Zpricesr r Z
deal_itemsr r deleteremoveZ CmfDealItemsre dealr
is_changed)r rv r r Z
price_settingrt r r r r r _process_product8 s@
zCmfImport._process_productc C s |s|r|j sd S d }| jD ] }|d r |d d dkr |}q |sFd S g }tjj|d d}|sxtj|d d}| |dd|jg |r|dd|jg n|dd|j jg | |tj |}|
d d
g |j s|r||_ n|j |_ |j s||_ |j r
| |S ) Nrs rc zCmfDeal.pipelinerr )r[ Z pipeline_idr Z
company_idcompanypipeline)
r r r7 Z CmfPipelinerg rB r6 rm r CmfDealr? r r ) r rv Zcontactr Zpipeline_settingrt r r r r r r
_process_dealY s8
zCmfImport._process_dealc C s< t jj| jdgd}|jjdkr8d|_|jr4| dS dS )Nr) r| )import-cancelingimport-canceledr~ import-stoppingr TF)r7 r rg rm r) r^ r rB )r r r r r is_cancel| s zCmfImport.is_cancelc O s t t ~ tjj|d ddgd}|jjdkr|jjdkrf|jj dd|_|
t t d D ]t}t
d
tjj|jddgd}|jjd kr q|d krnd
|_|jj dd|_|
W 5 Q R W 5 Q R dS qnn |jj d d|_|
t zz4|j |jD ]}| q|jj dd|_W nF tk
r } z&t| t||_|jj dd|_W 5 d}~X Y nX W 5 |
X W 5 Q R X W 5 Q R X dS )u/
Отменяем импорт
rm r) r* r| )import-startedr r r r < rq r ; u5 Не удалось остановить импортr~ Nr )r r r r7 r rg r) r^ r* r+ rB r rangeZgeventsleeprm r Zimport_objectsr r r r r )r" r# r ru rv rR r r r cancel s<
&zCmfImport.cancelc O s< | ddddg | jr&| jj| dS | jdkr8| S dS )uk
Предварительный просмотр получившихся объектов
r3 r= r5 r4 r r0 N)r? r4 previewr5
preview_excel)r r" r# r r r r s
zCmfImport.previewc C s g }ddg g d}d}| }| jd r0t| t|D ]\}}|dkrL qg }|d | t| jD ]l\}} | d szqh| d d d
d }
|s|
d krd
}|
dkrh|d kr|d | d d ||| qhq8|d r|| |sd|d< d|d< |S )Nu СделкиZ handshake)rj r2 titlesrowsFrp rq r rs rc rU r r T)r r9 r r1 u Задачиrj zcalendar-todayr2 )rH r3 nextrI r6 r r ) r r ZdealsZis_dealrP ru rv Zdata_rowrw rt r] r r r r s6
zCmfImport.preview_excelc s t dddddg S )Nr3 r= r5 r) r4 )r, save_preload_fieldsr r. r r r s z CmfImport.save_preload_fieldsc s | t jf |S )N)r< r, rB rC r. r r rB s zCmfImport.savec C s@ | j r
d S | jr,| jjdkr,tjjdd| _ tjjdd| _ d S )NZ
CmfPluginJirazimport.system.jira:defaultr zimport.system:default)r* r4 r r7 r rg r r r r _calc_workflow s
zCmfImport._calc_workflow)rT )NN)+__name__
__module__ __qualname__r r Z ui_meta_skipr r r r r% r- r< r@ rD boolrS staticmethodrK r r rl rA r Z
celery_appZtaskr listr r r r
rH r r r r r r r rB r
__classcell__r r r. r r sH ,6
N B!# '
r ) r r r Zdecimalr r r rX r r pathlibr typingr r
r r r r Zcmf.data_providers.baser Z cmf.includeZcmfr Z
common.fieldsr Zcmf.modules.logsr r r r r r s"