ї 'NdФgGЦС╛≈ddlZddlZddlZddlZddlZddlZddlZddlmZddl m Z mZddlm Z ddlmZmZddlmZmZmZddlmZddlmZmZmZdd lmZejeі╚Zeі╚Z ej!d ddgі╚Z"Gd └de і╚Z#Gd└deі╚Z$d└Z%Gd└de&і╚Z'Gd└de&і╚Z(Gd└dej)і╚Z*dS)ИN)з attrgetter)зMessageзReject)зBaseMessageProcessor)з is_enabledзmqtt_tracked_methods)зGenзmessage_id_genз publisher)зsafe_cancel_task)зDAYзServiceBaseз rate_limit)зgзProcessingMessageзmessageз start_timecС2≈eZdZd└Zd└Zd└Zd└Zd└Zd└ZdS)зTheSinkcСю≈t|tdі╚╛і╚|_||_t |t|jі╚і╚|_|t_dS)NзPROCESSING_ORDER)зkey) зsortedrз_sinks_orderedз_loopзTaskManagerзMessageProcessorз _task_managerrзsink)зselfз sink_listзloops ЗW/opt/imunify360/venv/lib/python3.11/site-packages/defence360agent/internals/the_sink.pyз__init__zTheSink.__init__#s`─щ$ь²:п&8я9т9П Я Т ┬тП┬▄ щ(ьу"═4т#6я7т7Я Т ┬тП█▄┬┬СcС8≈|jj⌡d|jj⌡²S)NЗ.)з __class__з __module__з__name__╘r s r#з__repr__zTheSink.__repr__-s ─ь°.т3п3п3╟TЄ^т5Lп5LпMпMr%cС·┤≈┬fd└|jDі╚}t|і╚dks Jdі╚┌tt|і╚dі╚S)ze introspection: decompose a specific role :return classobj: instance or None cС4∙≈g|]}t|┴і╚╞|▒▄S╘)з isinstance)з.0rзclassobjs ─r#З z%TheSink.decompose..5s8Ь─П П П ь╣J╦tюXя4Nт4NП ьП П П r%ИzAmbiguous requestN)rзlenзnextзiter)r r2зoptionss ` r#з decomposezTheSink.decompose0sfЬ─П П П П ь!т0П Я Т ┬У░7┴|▄|≤qр п п п"5я т п щ∙D≤▒M■M═4я(т(п(r%cС8≈|j═і╚dS)z Make sure to run message processing bus only when every MessageSource (or MessageSource+MessageSink mix) got initialized N)rзstartr+s r#r;z TheSink.start;s─П тв р я"т"п"п"п"r%c┐СXK≈t═dі╚|j═і╚t═dі╚|j═d╛і╚┐d{V≈├t═dі╚|j═і╚┐d{V≈├dS)Nzshutdown the sink startedzwait for current tasksИ╘зtimeoutzfinish wait task)зloggerзinforзshould_stopзwait_current_tasksзwaitr+s r#зshutdownzTheSink.shutdownCsґХХ─щ▐┼п/я0т0п0ьтв&р&я(т(п(щ▐┼п,я-т-п-ьт в3р3╦Aп3я>т>п>п>п>п>п>п>п>щ▐┼п&я'т'п'ьт в%р%я'т'п'п'п'п'п'п'п'п'п'r%c┐СJK≈|j═|і╚┐d{V≈├dS╘N)rзpush_msg)r rs r#зprocess_messagezTheSink.process_messageKs5ХХ─ьт в)р)╗'я2т2п2п2п2п2п2п2п2п2п2r%N) r*r)з__qualname__r$r,r9r;rErIr/r%r#rr"sq─────ППППNПNПNП )П )П )П#П#П#П(П(П(П3П3П3П3П3r%rcСp┤≈eZdZdZdZdZ┬fd└Zd└Zed└і╚Z dd└Z d └Zd └Ze d└і╚Z┬xZS) ri═├r=ИcС~∙≈tі╚═|і╚t|j╛і╚|_|j|_|j|_||_ tjі╚|_tttj╛і╚|_|═tjі╚|_dS)N)зmaxsize)зperiodзon_drop)зsuperr$зMessageQueueзMAXSIZEз_queueзCONCURRENCYз_concurrencyзTIMEOUTз_process_message_timeoutз_msg_processorзweakrefзWeakSetзtasksrr r@зwarningз_throttled_loggerзerrorзthrottled_log_error)r r"з msg_processorr(s ─r#r$zTaskManager.__init__Ws░Ь─щ ┴▄вр≤ятпщ"╗4╛<п8я8т8┬▄ь т,┬ть(,╛┬т%ь+┬тщ■_я&т&┬▄ щ!+╣3едп!Oя!Oт!O┬ть#'в#9р#9Ґ&╪,я#Gт#G┬т п п r%c┐С,K≈|j═і╚s/|j═t|і╚і╚┐d{V≈├dS|jjrd|j|j|f}n"d|j═і╚|j|f}|j|▌dS)z&Push message unless the queue is full.NzNMessage queue is full %s. Current processing messages: %s. Message ignored: %szZMessage queue is full. Queue size: %s Current processing messages: %s. Message ignored: %s) rTзfullзputзMessageComparabler^зshould_be_calledзcurrent_processing_messagesзqsizer`)r зmsgзargss r#rHzTaskManager.push_msgas©ХХ─Ю▄{вря!т!П ,ь■+≈/▓/у"3╟Cя"8т"8я9т9п9п9п9п9п9п9п9п9п9Ют%т6П ПOП■Kьт4ьП░░ПOП■Kв%р%я'т'ьт4ьП░П %┬Dт$═dп+п+п+п+r%cС>≈td└|jDі╚і╚S)Nc3С╡K≈|]R}|═і╚╟|jjtt jі╚|jjz dі╚fV≈▄SdS)ИN)зdoneзprocessing_msgrзroundзtimeз monotonicr)r1зtasks r#З z:TaskManager.current_processing_messages..┐sqХХ─П П П ь≈9▓9▒;■;П Ют#т+щ∙d■nя&т&╗т)<т)GяGхяKтKП П П П П П П r%)зtupler\r+s r#rgz'TaskManager.current_processing_messages|s6─УП П П ° П Я Т Я Т П r%Nc┐СІK≈|jrOd└|jDі╚}t═d|і╚t j|j|╛і╚┐d{V≈├dSdS)NcСj≈g|]0\}}|═dі╚|═dі╚|f▒▄1S)зmethodз message_id)зget)r1зmзlastings r#r3z2TaskManager.wait_current_tasks..▌sI─ПППА░A░wП≈▓░x▒■═!ї%╒%╗я"5т"5╟wп?ПППr%z#Waiting for %r processing to finishr>)r\rgr@rAзasynciorD)r r?зmsg_to_processs r#rCzTaskManager.wait_current_tasks▄s┼ХХ─ь▄:П <ППЮ"&т"BПЯТ┬NУ ▐K┼Kь5ьЯ Т П У■,≤t°z╟7п;я;т;п;п;п;п;п;п;п;п;п;П <П z"TaskManager._run..╗sЬ─╗iв.?р.?я.Aт.A─r%z3There is still %s unprocessed messages in the queueЗ Error during message processing:)r}зBoundedSemaphorerVз_should_stopr@зdebugrTrhз_TaskManager__limit_concurrencyrzзCancelledErrorrзcreate_taskrYrirrqrrroзadd_done_callbackз_on_msg_processedr\зaddr]з exception)r зmsg_comparableзtзunprocessedr┐s @r#з_runzTaskManager._run≤sКЬХХ─щт,╗Tт->я?т?┬ П Aьт'Я "щ≈▓п5╟tЄ{в7Hр7Hя7Jт7JяKтKпKПьв2р2╟9я=т=п=п=п=п=п=п=п=ь+/╛;╞?╙?я+<т+<п%<п%<п%<п%<п%<п%<░N░NЬщт-ПППь░EПЬЬЬЮ■Jв*р*ьв'р'╗т(:я;т;ЯТ░У$5ь"т&ґ╛я(8т(8Я$Т$░т Пв#р#п$Aп$Aп$Aп$AяBтBпBьв#р#═Dт$:я;т;п;ь■ ≈▓≤qя!т!п!Пт'Я "П °+в+р+я-т-┬KьП щ≈▓ьIь■Kв%р%я'т'ЯТПППП П ЬП Aщврп?я@т@п@п@п@п@ЬЬЬs0·:F+а:BбF+бB&б#F+б%B&б&DF+ф+G c┐СрK≈ tj|═і╚|j╛і╚┐d{V≈├S#tj$r|═d|jі╚YnwxYw▄e)z;Try to acquire *semaphore* in a loop, log error on timeout.Tr>Nz+Message hasn't been processed in %s seconds)r}зwait_forзacquirerXзTimeoutErrorr`)r r┐s r#з__limit_concurrencyzTaskManager.__limit_concurrencyЄsґХХ─П П щ$т-ьв%р%я'т'ь т9ПЯТПППППППЬУт'П П П ьв(р(ьAьт1ЯТПППП ЬЬЬП s┘28╦*A%а$A%cСn≈|═і╚}|rt═d|╛і╚dSdS)Nr┘)зexc_info)r▐r@)зfutureзes r#r█zTaskManager._on_msg_processedбsH─Юврят┬ьП Mщврп?х!пяLтLпLпLпLП MП Mr%rG)r*r)rJrSrUrWr$rHзpropertyrgrCr⌠r┴зstaticmethodr█з __classcell__╘r(s@r#rrOsмЬ─────Ю─GЮ─KЮ─GПHПHПHПHПHП,П,П,П6П П Я└XП П <П <П <П <ПAПAПAП8ППППMПMЯ└\ПMПMПMПMПMr%rc┐С`K≈|═і╚st|і╚┐d{V≈├dSdSrG)rnr)rss r#зcancel_taskr╒иsFХХ─ь▐9┼9┴;▄;П%щ≤tя$т$п$п$п$п$п$п$п$п$п$П%П%r%cС$≈eZdZdZd└Zd└Zd└ZdS)rrLcС■≈||_tjі╚|_t d╛і╚t jі╚|_dS)NrL)rO)зsinksrZзWeakValueDictionaryзlocksrr@r_r`)r r╔s r#r$zMessageProcessor.__init__яsC─ь┬▄ щт0я2т2┬▄ ь#=╔:╟Wп#=я#=т#=щ▄LЯ$ Т$ ┬т п п r%c┐СZK≈|═dі╚}|rv|j═|tjі╚і╚}|4┐d{V≈├|═|і╚┐d{V≈├dddі╚┐d{V≈├dS#1┐d{V≈├swxYwYdS|═|і╚┐d{V≈├dS)Nзattackers_ip)rzrїз setdefaultr}зLockз_call_unlocked)r riзipзlocks r#з__call__zMessageProcessor.__call__ьsTХХ─ь ▐W┼W░^я $т $┬ь П +ь■:в(р(╗ґW╛\╘^╛^я<т<┬DьП /П /П /П /П /П /П /П /ьв)р)╗#я.т.п.п.п.п.п.п.п.П /П /П /Я /Т /П /П /П /П /П /П /П /П /П /П /П /П /П /П /П /П /П /П /П /ЬЬЬП /П /П /П /П /П /Пв%р%═cя*т*п*п*п*п*п*п*п*п*п*sаA=а= Bб Bc ┐СЎK≈tdі╚r;|═dі╚tі╚vrd|vrtj|і╚tj|td╛і╚tj і╚}|j D░]Э} tj|═ |і╚і╚}tjtj|і╚|j╛і╚┐d{V≈├}t#|t$і╚r|}░nV#tj$rYt)|і╚┐d{V≈├░n_t*$rJ}t,═dt1|і╚|і╚Yd}~t)|і╚┐d{V≈├dSd}~wtj$r█t5jі╚}|═|╛і╚|═d і╚t,═d |||j|═і╚і╚Yt)|і╚┐d{V≈├dSt@$r6t,═!d||і╚Yt)|і╚┐d{V≈├dSwxYwt)|і╚┐d{V≈├░▄Д#t)|і╚┐d{V≈├wxYwtj і╚|z }t,═d||і╚||j"kr|═#d |||j"і╚dSdS)Nз mqtt_trackingrxзmessage_reporter_idzagent-sink-received)зstager>zRejected: %s -> %r)зfilerzCMessage %r was not processed in the %r plugin in %ss; Traceback: %szError processing %r in %rz%s processed in %.4f secondszE%s message took longer to process than expected (%.4f sec > %.4f sec))$rrzrr зenrichrзreportз_reporter_gen_sinkrqrrr╔r}r▀rIr∙зshieldзTIMEOUT_TO_SINK_PROCESSr0rr┼r╒rr@rAзstrr≈зioзStringIOзprint_stackзseekr_зreadз Exceptionr▐зPROCESSING_TIME_THRESHOLDr`) r rir;rзprocess_message_taskз processedr°зstackзprocessing_times r#r╛zMessageProcessor._call_unlockedАs≥ХХ─У ░я'т'П 'Ю≈▓≤я!т!у%9я%;т%;п;п;ь%╗Sп0п0Ет!═#я&т&п&щт≤у0п8MпNяNтNпNщ■я т ┬ь■JП* 8Я* 8┬DП) 8щ'.т':ьв(р(╗я-т-Я(Т(п$У#*т"2У ■Nп#7я8т8ь т8П #Я#Т#ПППППП░ УD≤iґя1т1П$ь#░CЫЬУ7т)П П П ьУ8"п"6я7т7п7п7п7п7п7п7п7п7я7У7П П П щ≈▓п0╣#╟a╠&Є&╦#я>т>п>ь░░░У2"п"6я7т7п7п7п7п7п7п7п7п7п7п7ЬЬЬЬУ1т'П П П У °≥ ° ░ь$в0р0╟eп0я<т<п<ь≈ ▓ ≤1▒ ■ ░ щ≈▓П$Юььт0ь≈J▓J▒L■LЯ ТППУ"п"6я7т7п7п7п7п7п7п7п7п7п7п7УП П П щв р п!<╦cю4яHтHпHьУ "п"6я7т7п7п7п7п7п7п7п7п7п7п7П ЬЬЬУ"п"6я7т7п7п7п7п7п7п7п7я7Ь∙kп"6я7т7п7п7п7п7п7п7п7п7ЬЬЬщ°.я*т*╗Uя2┬щ▐┼п2╟C╦яIтIпIь≤Sт:р:п:Юв$р$П(Юььт-Я Т П П П П;п:sVбAC:ц!I'ц:I д I'д" I д+)E0еI'е0BI г5I'х%I х3I'иI и I'и'I>N)r*r)rJr╧r$r╞r╛r/r%r#rrнsL─────ь"пП П П П+П+П+ПEПEПEПEПEr%rcСB┤≈eZdZdZdZe┬fd└і╚Zd└Zd└Z┬xZ S)rez#Wrapper to make message comparable.ИЪЪЪЪcС·∙≈|xjdz c_tі╚═|і╚}|j|jf|_||_|S╘Nr4)зindexrQз__new__зPRIORITYзpriorityri)зclsriзrvr(s ─r#rкzMessageComparable.__new__/sCЬ─Ю┬ ▄ ░Q┴┬ ▄ щ ┴W▄W▐_┼_≤Sя !т !┬ь■l═CєIп-┬▄ь┬▄ь┬ r%cС@≈|j═|jі╚SrG)rмз__lt__)r зothers r#rяzMessageComparable.__lt__7s─ь▄}в#р#═EєNя3т3п3r%cСZ≈d═|jj|j|j╛і╚S)Nz'<{klass}({msg!r}), priority={priority}>)зklassrirм)зformatr(r*rirмr+s r#r,zMessageComparable.__repr__:s2─ь8в?р?ь■.т)ь■ь■]П@Я Т П r%) r*r)rJз__doc__rйr·rкrяr,r÷r═s@r#rere)smЬ─────ь-п-П ─EЮППППЯ└\ПП4П4П4П П П П П П П r%recС4┤≈eZdZ┬fd└Zdef┬fd└Zd└Z┬xZS)rRcС ∙≈tі╚j|i|є▌tjі╚|_d|j_d|j_dS)NИ2iп)rQr$зreprlibзReprз_reprз maxstringзmaxtuple)r rjзkwargsr(s ─r#r$zMessageQueue.__init__CsFЬ─ь█┴▄т≤$п)═&п)п)п)щ■\▒^■^┬▄ ь!┬▄ ть"┬▄ тппr%зitemc┐СV∙K≈tі╚═|і╚┐d{V≈├SrG)rQrd)r rЮr(s ─r#rdzMessageQueue.putIs/ЬХХ─щ▒W■W≈[▓[═я&т&п&п&п&п&п&п&п&r%cС≈ttjd└|jDі╚і╚═і╚d└d╛і╚}d|j⌡d|═і╚⌡d|j═|і╚⌡d²S) NcС0≈g|]}|jjj▒▄Sr/)rir(rJ)r1rЮs r#r3z(MessageQueue.__str__..Ps ─пIпIпI╟T░■т#т0пIпIпIr%cС≈|dSrиr/)rЮs r#r└z&MessageQueue.__str__..Rs ─≤T═!°W─r%T)rзreversez) rзcollectionsзCounterrTзitemsrNrhrэзrepr)r з msg_countss r#з__str__zMessageQueue.__str__Ls≤─ЕщтьIпI╦T╪[пIяIтIЯ Т Г┼e┴g▄gь$п$ьП Я Т ┬ П <═dєlП <П <ь÷* *≥,°,П <П <Ю!°Z÷_ _╗Zя8т8П <П <П <П r%)r*r)rJr$rerdrЛr÷r═s@r#rRrRBsmЬ─────П#П#П#П#П#П'п/П'П'П'П'П'П'П П П П П П П r%rR)+r}rГr╩rзrqrZзloggingзoperatorrз"defence360agent.contracts.messagesrrз!defence360agent.contracts.pluginsrз'defence360agent.internals.feature_flagsrrз2defence360agent.internals.message_status_publisherr r rзdefence360agent.utilsrзdefence360agent.utils.commonr rrз&defence360agent.internals.global_scoperз getLoggerr*r@rЇз namedtuplerrrr╒зobjectrreз PriorityQueuerRr/r%r#ЗrЗshПь───ьпппь ─ ─ ─ ь───ь───ь───ь───ьпппппЮ>п>п>п>п>п>п>п>ьBпBпBпBпBпBППППППППППППППППППП 3п2п2п2п2п2ьEпEпEпEпEпEпEпEпEпEь4п4п4п4п4п4Ю ┬т ≤8я $т $─Ю░S▒U■UпЮ*░Kт*ь≤)═\п2ЯТпП *3П*3П*3П*3П*3п"Я*3Т*3П*3ПZwMПwMПwMПwMПwM░+ЯwMТwMПwMПt%П%П%П XПXПXПXПX░vЯXТXПXПv П П П П ≤Я Т П П2 П П П П ░7т(Я Т П П П r%