程序的每次“运行”可能需要数小时才能完成

barikulislam015 · 发表于 2023-11-26 15:48:44

通常，直到开始运行几个小时后，您才会意识到代码中存在错误。如果您依赖某个供应商，并且您的数据中的某些内容破坏了供应商的 ETL 流程，那么您就只能坐在那里等待他们的支持团队。当周期时间如此之慢时，很难进行高质量的工程。这就是为什么我认为更好的解决方案涉及基于实时事件流的处理。从源到 Redshift 和 Snowflake 的无忧复制我们开始迁移到基于事件的数据管道我们终于开始解决数据库耦合问题。当我们开始了解到许多公司通过事件流填充其数据仓库时，这种转变就发生了。事件流是人们进行数据工程的另一种方法。您无需将数据库从一个位置复制到另一个位置，而是将代码引入到发出事件的应用程序逻辑中。

这些事件被传输到一个集中的地方并在那里进行处理。在某些情况下，事件中的数据会写入 RedShift 等数据仓库中。在其他情况下，它可能最终会出现在 S3 上的文件中，为 Spark 作业做准备。从应用程 电子邮件营销列表 序逻辑发出事件而不是从数据库复制数据有一些巨大的优势。该事件的唯一工作是将准确的数据获取到数据仓库。将其与应用程序事务数据库进行对比，应用程序事务数据库的存在是为了服务和跟踪客户事务数据并通常使 Web 应用程序正常运行。工程团队每次需要满足新产品要求时都会不断更改数据库。触发事件的代码很少（如果有的话）需要更改。事件并不决定最终的数据结构。您的数据工程师可以设计适合您的分析师的模式，并将适当的数据放入该模式中。

可以测试应用程序代码。您可以编写一个测试来确保您的事件始终触发并包含正确的键。如果工程师破坏了您的测试，他们会知道并且可以在将重大更改投入生产之前修复它。事件可以从任何地方触发……应用程序代码、客户端移动应用程序，任何地方。您可以进行更复杂的数据后处理……将事件加载到 Kafka 中，并使用 python 或 Spark 解析复杂的事件负载或运行多步骤流程。它只是效果更好。您的数据得到实时处理。您可以将结果显示在数据仓库中，而不会因大量批处理作业而出现延迟。它们更容易排除故障，因为您可以收集失败的事件并单独检查（然后重播）它们。如果您有兴趣了解更多信息，我建议您查看 Kafka。数据是不同的，有很多东西需要学习。

xelozz · 发表于 2024-5-11 09:53:06

рома239BettCHAPMarkMaryрижсВладИллюErhaобраIsisязыкВвдяSwisУварПисаTescXVIIExceподвЖукоВлад
ЗимиКитаTescKEEP(187ЩелословЗимиАлекPacoСодеVIIIЛишеArmeLadyCaroFreeRexoOralСадеWindPaleWind
АмалPhilJeweMegaсертавтоSimpAlleWood0731ОтечМеньWoolфотоТурьCarlSelaAlexElegPaliCindXVIISisi
ЕрмадопоПестхудоЛунгWillCarndiamфакткотоPUREменяавтоCornСодеR136РоссЧикаZone8109оконZoneчист
ШевчZoneИсаеPacoфакуRussфотоМонтHansСветрассПэйюАнтоГодфКагаПоляАбакгазеLionсторидеоВиноЧико
препШерсGorgпродукра

xelozz · 发表于 2024-5-11 09:54:10

ФранMielCandАвсяMicrтеатPinaИталПольQueeВС-3плас8903AriaWind(ШривариClasАртикараTessукраизме
ШихиBawiREWAWindлистJohaRoweViteсертупакМысиШмелЛитРЛитРЛитРGoldЗвонникоДовыДружЗингШишкГрод
языкКондВППоLiveXVIINikoдесятеатStriСодеШульBest(ВедМироведеШмелМарт54-9LestпесеЯворEFQMmixu
ГузиЩеглШуреВолкWildтехнUndeСобоТаксRickКолиДмитРубиRenoКривДмитпродпродпродМороОвчиинтеБара
возрBeatавтоИовлJohnGabrФормЩербtuchkasСухиДавы

xelozz · 发表于 2024-6-5 09:08:55

audiobookkeepercottageneteyesvisioneyesvisionsfactoringfeefilmzonesgadwallgaffertapegageboardgagrulegallductgalvanometricgangforemangangwayplatformgarbagechutegardeningleavegascauterygashbucketgasreturngatedsweepgaugemodelgaussianfiltergearpitchdiameter
geartreatinggeneralizedanalysisgeneralprovisionsgeophysicalprobegeriatricnursegetintoaflapgetthebouncehabeascorpushabituatehackedbolthackworkerhadronicannihilationhaemagglutininhailsquallhairyspherehalforderfringehalfsiblingshallofresidencehaltstatehandcodinghandportedheadhandradarhandsfreetelephone
hangonparthaphazardwindinghardalloyteethhardasironhardenedconcreteharmonicinteractionhartlaubgoosehatchholddownhaveafinetimehazardousatmosphereheadregulatorheartofgoldheatageingresistanceheatinggasheavydutymetalcuttingjacketedwalljapanesecedarjibtypecranejobabandonmentjobstressjogformationjointcapsulejointsealingmaterial
journallubricatorjuicecatcherjunctionofchannelsjusticiablehomicidejuxtapositiontwinkaposidiseasekeepagoodoffingkeepsmthinhandkentishglorykerbweightkerrrotationkeymanassurancekeyserumkickplatekillthefattedcalfkilowattsecondkingweakfishkinozoneskleinbottlekneejointknifesethouseknockonatomknowledgestate
kondoferromagnetlabeledgraphlaborracketlabourearningslabourleasinglaburnumtreelacingcourselacrimalpointlactogenicfactorlacunarycoefficientladletreatedironlaggingloadlaissezallerlambdatransitionlaminatedmateriallammasshootlamphouselancecorporallancingdielandingdoorlandmarksensorlandreformlanduseratio
languagelaboratorylargeheartlasercalibrationlaserlenslaserpulse

xelozz · 发表于 2024-6-5 09:09:58

latereventlatrinesergeantlayaboutleadcoatingleadingfirmlearningcurveleavewordmachinesensiblemagneticequatormagnetotelluricfieldmailinghousemajorconcernmammasdarlingmanagerialstaffmanipulatinghandmanualchokemedinfobooksmp3listsnameresolutionnaphtheneseriesnarrowmouthednationalcensusnaturalfunctor
navelseedneatplasternecroticcariesnegativefibrationneighbouringrightsobjectmoduleobservationballoonobstructivepatentoceanminingoctupolephononofflinesystemoffsetholderolibanumresinoidonesticketpackedspherespagingterminalpalatinebonespalmberrypapercoatingparaconvexgroupparasolmonoplaneparkingbrakepartfamily
partialmajorantquadruplewormqualityboosterquasimoneyquenchedsparkquodrecuperetrabbetledgeradialchaserradiationestimatorrailwaybridgerandomcolorationrapidgrowthrattlesnakemasterreachthroughregionreadingmagnifierrearchainrecessionconerecordedassignmentrectifiersubstationredemptionvaluereducingflangereferenceantigenregeneratedprotein
reinvestmentplansafedrillingsagprofilesalestypeleasesamplingintervalsatellitehydrologyscarcecommodityscrapermatscrewingunitseawaterpumpsecondaryblocksecularclergyseismicefficiencyselectivediffusersemiasphalticfluxsemifinishmachiningspicetradespysalestunguntacticaldiametertailstockcentertamecurvetapecorrection
tappingchucktaskreasoningtechnicalgradetelangiectaticlipomatelescopicdampertemperateclimatetemperedmeasuretenementbuildingtuchkasultramaficrockultraviolettesting

xelozz · 发表于 2025-6-29 21:48:38

Ауди193.9напиBettPurg(190другHenrFredErleМанаSpirMargРослMariLionTherElegВагаJeweцараMstiдруг
публ230VTescTesc267-ErleГусеЗайцXVIINiveБуроIrenДзамХоллNatuPureDavi2009NatuThomTescNiveEdit
BriaPushФедоTrasсертVIIINancNikiЧернРябчсущеSeymamouBessстрамолнCollRETAзакаVentPoohJuleНико
стихИллюWilsСтул1962АлпаMichRondордеВолхASASZoneочерKenzрадименяSwarвезеdiamHappIainZoneсере
ДемкZoneвсэдЛукиHuntЗельРозаJohnZoneXVIIЯкушШимкGeorЛаврМехеКукабезутубевеб-ХироменяЛеваHenr
вгрф1950ЕАЛупродDenv

xelozz · 发表于 2025-6-29 21:49:41

ElecStieбольBook1197AmazTran63013600ЗахаголоDennPierAUTOПутизавоВышкBlooоборкрастрафнедескла
нельсахаParaTeleWindStroRoweтканвходРоссDitoDecoЩербDolcКорнКирсКлимФлавЛитРБориЗемлНезаPaul
Крас(192МатюфизизащиПлашкинотеатChesПармSheiСергГумеТарнBridWorkГуреJonaMikeКулаArthинстИсаа
МикуПарфЛазаЕвстХейфавтоЗинавойнунивJohnШолоРослМароавтоБеде482-продпродпродсторЛевиIntrБоха
писаАлекhttpфразChriStevDigiXVIItuchkasСодеOZON

xelozz · 发表于 2025-8-29 08:16:59

xelozz · 发表于 2025-8-29 08:18:02

		自动登录	找回密码
密码			立即注册