比莉节省高达20%的仓储成本与阿帕奇气流和Fivetran

2021年7月22日
该智能支付提供商在气流中协调ELT,从而大幅节约成本

比利.io 一个企业是建立在它的创新速度之上的吗. fintech启动, 总部设在柏林, 正在重塑企业处理支付的方式:通过比利, 中小企业每张发票都可以立即获得融资(i.e. 他们不需要等90天才能得到客户的付款). 比利.IO也外包收款流程和违约风险的覆盖.

如果皇冠手机app下载深入了解比利的数据架构,就会发现它同样具有创新性. 自2017年2月共同创立公司以来, Igor Chtivelband, 比莉的数据副总裁, 已经悄无声息地为数据驱动的企业建立了一个可以模仿的原型. As 在之前的案例研究中讨论过,伊戈尔在比利的团队使用Fivetran将数据输入给雪花.

“皇冠手机app下载使用Fivetran从各种数据源中复制数据, 是谷歌分析, Salesforce, 皇冠手机app下载的生产数据库, LinkedIn, 脸谱网, 皇冠手机app下载的数据仓库, 这是雪花. 皇冠手机app下载完全委托了这部分,皇冠手机app下载不想处理它.”伊戈尔说. “然而, 如果皇冠手机app下载想要用一些前提条件来构建复杂的逻辑, “如果这, 这样做, 先做这个, 然后这样做, 计算这个,然后计算那个,“这里就是 气流 是有用的.”

Apache风流是一个社区管理的平台,可以通过编程编写, 安排和监控工作流程, 允许复杂的编排和自动化. 正如皇冠手机app下载在博客文章中讨论的那样 调度与策划,引入“气流”来编排英语教学有很多明显的好处.

Igor说道:“这便是《皇冠正版APP下载》能够帮助皇冠手机app下载的地方,这也是皇冠手机app下载为何会同时使用这两种方法的原因. 因此,你可以看到气流作为这些过程的一个协调器. 风流决定:“现在是时候将谷歌Analytics的数据同步到皇冠手机app下载的数据仓库了.”

气流让伊戈尔在比莉的团队可以很好地控制事情发生的时间, 以及对包含管道的任务的认识, 它们的依赖性和执行. 这允许跨输入数据源进行数据转换.

上图:比莉的提取、装载和转换过程是由阿帕奇气流组织的

为比利, 许多Fivetran连接器是按原样使用的,但气流在萃取器中是必不可少的, 生产数据库到数据仓库的加载和转换过程. Igor将每个步骤视为“片段”, 然后可以通过风流. 例如, Fivetran段, 或者“提取”和“加载”, 可以独立于转换层调度和运行吗, 以避免延迟问题或SLA问题, 甚至是为了防止转变发生得太早.

在工作时间,比利每五分钟运行一次最重要的数据管道. 在工作时间之外,这一频率会被调回每两小时一次, 显著减少了使用的Snowflake计算资源. 这是可能的,因为气流灵活和可配置的数据管道调度.

从长远来看,将5分钟的同步时间简单地转换为2小时可以为企业节省很多钱.

“这是一个非常简单的技巧. 真的,这很简单. 皇冠手机app下载的账单会减少20%. 最重要的是,皇冠手机app下载对自己也感觉更好,因为皇冠手机app下载节省了钱,皇冠手机app下载节省了你的资源. 皇冠手机app下载帮助地球,因为服务器没有运行,所以没有人需要给它们降温,”伊戈尔说.

运营商和传感器

伊戈尔和他的团队现在使用的是“气流”和“五创”的 操作员,传感器和挂钩 为业务创建复杂而有价值的工作流.

运营商 是用来执行任务的气流. 对于Fivetran,这意味着一个FivetranOperator启动一个Fivetran数据同步. 气流调度的灵活性允许比利在调用FivetranOperator时轻松动态地更改, 让他们能够很好地控制数据仓库的成本.

传感器 在他们完成并让下游任务执行之前,会检查是否满足了特定的标准吗. 一个fivetransensensor将监控Fivetran同步的状态,并允许DAG在数据完全加载到数据仓库后继续运行. 这让皇冠手机app下载能够理解,同步是否完成了?Igor说道,“如果同步完成了,立即在《皇冠手机app下载》中做一些事情.”

在一起, 比利使用这些工具进行报表调度——这是一种智能工作流,确保数据在Snowflake之上运行报表流程之前完全同步和可用.

“每天早上皇冠手机app下载都要进行时间紧迫的手术. 如果有数据的话,皇冠手机app下载必须尽快生成报告. 在皇冠手机app下载拿到Snowflake的数据之前,皇冠手机app下载不能把这份报告发给皇冠手机app下载的商业伙伴. 所以皇冠手机app下载使用“传感器”操作符,以理解“皇冠手机app下载是否可以这样做”?这比每隔五分钟就抽出一次数据来了解数据是否存在要好得多.”

谁对气流+ Fivetran合适?

今天, 数千家公司将受益于利用气流组织的Fivetran吸收和转换. 对于团队的起步,Igor给出了一些明智的建议:

“我想说,这是食欲随食物而来的一种情况. 一旦您从Teradata等传统数据仓库技术迁移到Snowflake, 你知道这有多简单. 下一步是Fivetran和dbt. 我的建议是尝试一个简单的实验, 如果成功了, 这样就更容易被说服了. 你也可以把它展示给你的老板, “皇冠手机app下载在一周内就实现了这一目标, 皇冠手机app下载的数据分析师很高兴."

要开始,请访问 Fivetran Github回购, 你在哪里可以找到关于跨各种平台搭建的文档, 从谷歌云到AWS和天文学家. 您也可以通过运行pip安装气流提供程序- Fivetran直接安装在您的气流环境中. 详情请参阅Fivetran的博客 在这里.

开始免费

加入成千上万使用Fivetran来集中和转换数据的公司吧.

谢谢你!! 你的意见书已收到!
哦! 在提交表单时出现了错误.