U
.c_r @ s d dl Z d dlmZmZ d dlmZ d dlmZmZ d dlmZ d dl Z d dl
m Z d dl m
Z
mZ d dlZd dlmZ d dlZd dlZd d lmZ d d
lT d d lmZ d d lmZ d d
lmZ G dd dej Z dS ) N)copydeepcopy)Decimal)datetimetimezone)Logger)Path)DictIterator)cached_property)
commit_all_ds)*)fields
cmf_import)
log_configc s e Zd Zejjd ZdZeedddZ dd Z
e ddd Z fd
d Z
d d
Zdd Zdd Zed1ddZedd Zeejdd Zd2e ddd Zd d Zedd d Zd!d" Zd#d$ Z d%d& Z eejddd'd(Z d)d* Z fd+d,Z fd-d.Z!d/d0 Z" Z#S )3 CmfImport)CSV_SETTING_NAMEcsv_import_settings_fieldsloggerZCSV)returnc C s t j| dddS )uE Журнал логирования процесса импорта i@KL )Z backupCountZmaxBytes)r Z
get_logger
get_files_dirself r ./common/models/cmf_import.pyr s zCmfImport.loggerc O s8 | tj }tjtj | s4| j d |S )uK
Возвращает путь текущему файлу
init)
r r LOG_NAMEospathexistsconfig
UPLOAD_DIRr info)r argskwargs file_pathr r r get_log_filename s zCmfImport.get_log_filenamec O sx | tj }tjtj | s4| j d g }t
tj| D ]&}| tjrL| | | qL|S )u
Список файлов после logrotate, чтобы можно было загрузить историю
r )
r r r r r r! r" r# r r$ listdir
startswithappend)r r% r& r' res file_namer r r get_log_filenames( s zCmfImport.get_log_filenamesc s$ | j s| jjdd| _ t d S )Nopen status_type)statusworkflowget_default_statussuper _calc_statusr __class__r r r6 5 s zCmfImport._calc_statusc C s | j d rd S | jr(| j | j d< d S | jdkr6d S | j d dtj tjjd | j d dtj tj jd | j d dtj
tj
jd | j d dtj tj jd | j d dtj tj jd | j d d tj
tj
jd d S )
NZ
models_fieldsexcelu Поля контактов)Zcaptionr iconu Поля задачu Поля заметокu Поля проектовu" Поля списков задачu Поля групп)
json_settingspluginZcalc_models_settingstyper+ models CmfPersonZimport_shop_fieldsr: CmfTaskZ
CmfComment
CmfProjectCmfListZCmfPersonGroupr r r r _calc_models_settings: s>
z CmfImport._calc_models_settingsc K sH | ddddg | jd r d S | jj| d| jd< | j| _| d S Nr; attachmentsr= r< import_settingsr ) load_fieldsr; r< calc_import_settingssaver r& r r r rH U s
z CmfImport.calc_import_settingsc K sH | ddddg | jd r d S | jj| d| jd< | j| _| d S rD )rG r; r< tmplt_import_settingsrI rJ r r r rK _ s
z CmfImport.tmplt_import_settings c C s4 d| d d} td| d| t| d S )Nu1 Ошибка при импорте данных. .ue . Проверьте загружаемый файл и повторите попытку снова.zCmfImportError: : )striploggingerrorZ cmf_alert)msger r r
_log_errorg s zCmfImport._log_errorc C s: | dg | jd D ] }|d | jkr|d S qg S )Nr; rF namer )rG r; r )r settingsr r r r m s
z$CmfImport.csv_import_settings_fieldsc
O s( dt jd< t t tjj| dddgd}|j d |j
j dd d
|_ |
t | }|r|j d |j
j d d
|_ |
n0|j jd kr|j d |j
j dd|_ |
|jjd jtjd}W 5 Q R X W 5 Q R X tjj|tjjj|j dt t j dd| ddd dS )uJ
Запускаем в фоне импорт данных
1importr3 r2 progressidr u% ***Запускаем импорт***Z in_progressimport-started)r1 status_codeu2 ***Импорт успешно завершен***closedr0 u7 ***Импорт завершен с ошибками*** import-errorr] r z/files/u+ Импорт данных завершен z%d.%m.%Y %H:%Mz
, Журнал логированияT)objZ person_idrU rR Zis_notify_current_personN)!r environcmfutil disable_acldisable_notifyr> r getr r$ r3 r4 r2 rI commit_with_eventprocess_importr1 ZhandlersZ baseFilenamereplacer" r# Z CmfNotifyZ place_notifygZcurrent_personr[ valuerU r nowr utc)Z import_id_args_kwargsra r, Zlog_pathr r r startu s0
,zCmfImport.startN)rowc C s4 d}|dkr|j }|sg }i }t| jD ]Z\}}|d r(|| r(|d d dd |jkr^q(|d d |kr(|| ||d d < q(|s|S || d} tt| d }
|D ]} |j| } t | tj
st | tj r,d}
| D ]8}|jd
d d || gd d || ggd
gd}
|
r qq|
r,t
| | |
qt | tjr\}}-||}.|.rH|-D ] }/|/j"# |.|/_"|/ qdqH| D ]N\}}0||}.|.r|0D ].}1||1}/|/r|/j"# |.|/_"|/ qqW n~ t$k
r` }2 z^t%|2 d9| d:|2 d;t&'|2j(d< }3| j)*|3 |3| _+| j,j-d=d>| _.| W Y dS d?}2~2X Y nX d7S )@u
Запуск импорта из CSV
:return: Истина в случае успешного импорта
r )CmfPluginImportMixinrF Fr rL rr rs rM ru parent_taskZ child_tasks executors logic_prefixrA priorityr2 r1 z
project.agilerv r@ Z
cmf_authorZ cmf_ownerz project.basez
task.base%baserv )Z cmf_modelprefixZactivityztask.agile:softdev%Zsoftdevr3 projectparentZANDZ parent_idrx rB rU r{ tasksZtree_parent_idZSprints)ry u
ДоскаZkanban)rU r tree_parentZ list_type)r r
obj_fields
filter_obj)leftrightZEpics=z task.epicztask.epic:default)r r rU Z
logic_typeT)Z only_datau
Строка rN r r r_ r` N)/Z%common.models.cmf_plugin_import_mixinr rE r; Z _get_filer| r r} rf lenZget_logic_prefixZ get_priorityZget_status_type
setdefaultZprocess_any_table_fieldsr> rA r? CmfWorkflowZ
calc_workflowZ CmfActivityr[ r@ r r+ rI rv rk Z CmfFolderrB r ZCmfListCmfTaskitemsZ CmfLogicTyper loadr r r r r r r r r3 r4 r2 )4r r Z
number_rowZall_parent_taskZall_child_tasksZall_epic_tasksZ all_tasksZ
cash_boardZ cash_projectZcash_workflow_taskZ file_readrq executorr Zparent_task_codeZchild_tasks_codeidxr Z
model_nameZ_rowZ fields_nameru rk Zproject_fieldsr r r{ Z executor_objZ task_fieldsZ value_statusr3 Z filter_taskZtask_objZtmp_parent_tasksZtmp_child_tasksZ epic_nameZepic_keyZtmp_dataZ tmp_tasksZlist_objZ
parent_folderr r dataZepic_objr r Zsub_taskZ
tasks_codeZ
sub_task_coder r r r r r sL
" z CmfImport._process_import_excelc C s> | |tj}|r|sdS d}| jD ] }|d r$|d d dkr$|}q$|dg tjj|jt|d |j jdgd}|stj|t|d |j | d }|
|j j d
d t
|jjD ]*}|jj| jkrq| |jj| q| j |tjtjjd d
|jgdd
|jggd}|ddg ||_||_|jr:|
|S )u;
Импорт товара в сделку
Nrr rs zCmfProduct.pricescurrencyfile_valprice)
product_idr Z currency_idr )productr r r T)forceZdeal_idrx r )r r r Z sales_order)r r> Z
CmfProductr rG ZCmfPricerf r[ r r rI Zpricesr r Z
deal_itemsrk r deleteremoveZ CmfDealItemsrt dealr
is_changed)r rq r r Z
price_settingrV r itemr r r _process_product s@
zCmfImport._process_productc C s |s|r|j sd S d }| jD ] }|d r |d d dkr |}q |sFd S g }tjj|d d}|sxtj|d d}| |dd|jg |r|dd|jg n|dd|j jg | |tj |}|
d d
g |j s|r||_ n|j |_ |j s||_ |j r
| |S ) Nrr rs zCmfDeal.pipeliner )rU Z pipeline_idrx Z
company_idcompanypipeline)
r r r> Z CmfPipelinerf rI r+ r[ r ZCmfDealrG r r ) r rq Zcontactr Zpipeline_settingrV r r r r r r
_process_deal s8
zCmfImport._process_dealc C s< t jj| jdgd}|jjdkr8d|_|jr4| dS dS )Nr2 rZ )import-cancelingimport-canceledr_ import-stoppingr TF)r> r rf r[ r2 rv r rI )r ra r r r is_cancel s zCmfImport.is_cancelc O s0 t t tjj|d ddgd}|jjdkr|jjdkrf|jj dd|_|
t t d D ]t}t
d
tjj|jddgd}|jjd kr q|d krnd
|_|jj dd|_|
W 5 Q R W 5 Q R dS qnn |jj d d|_|
t zzd}|jd |j t|j}|rd| }|jD ]N}| j|7 _|
t|tjrnqB|jd| | t qB|jj dd|_|jd W nX tk
r } z8|j d| t| t ||_|jj dd|_W 5 d}~X Y nX W 5 |
X W 5 Q R X W 5 Q R X dS )u/
Отменяем импорт
r[ r2 r3 rZ )r\ r r\ r r` < r r ; u5 Не удалось остановить импортr_ Nu# ***** Отменяем импортd u Удаляем r u, Успешно отменили импортu Ошибка удаления ) rc rd re r> r rf r2 rv r3 r4 rI rg rangeZgeventsleepr[ r r r$ Zimport_objectsr r rY
isinstancer? r r r r r )r% r& ra r rq totalsteprS r r r cancel sV
&zCmfImport.cancelc O s | ddddg | jj| dS )uk
Предварительный просмотр получившихся объектов
r; rE r= r< r )rG r< preview)r r% r& r r r r @ s zCmfImport.previewc s t dddddg S )Nr; rE r= r2 r< )r5 save_preload_fieldsr r7 r r r G s z CmfImport.save_preload_fieldsc s | t jf |S )N)rC r5 rI rJ r7 r r rI J s zCmfImport.savec C s@ | j r
d S | jr,| jjdkr,tjjdd| _ tjjdd| _ d S )NZ
CmfPluginJirazimport.system.jira:defaultr zimport.system:default)r3 r< r~ r> r rf r r r r _calc_workflowN s
zCmfImport._calc_workflow)rL )NN)$__name__
__module__ __qualname__r r Z ui_meta_skipr r r r r( listr. r6 rC rH rK staticmethodrT r Z
celery_appZtaskrp r rh boolr r r r r r r rI r
__classcell__r r r7 r r s>
N B!# 5 r ) Zcsvr r Zdecimalr r r rP r r pathlibr typingr r
r r ZxlrdZopenpyxlZcmf.data_providers.baser Z cmf.includeZcmfr Z
common.fieldsr Zcmf.modules.logsr r r r r r s"