Airflow at Pronto

ทุกวันนี้เรามีการเก็บข้อมูลที่เข้ามาเรื่อยๆ เป็นจำนวนมาก และต้องจัดการ ผ่านกระบวนการต่างๆ เป็นขั้นเป็นตอน เช่น ดึงข้อมูลมาจากหลายๆ แหล่ง แล้วนำมาทำความสะอาดข้อมูล (data cleasning) สุดท้ายก็นำไปโหลดเข้าอีกระบบหนึ่งเพื่อใช้ประโยชน์ไม่ว่าจะเป็นในทางธุรกิจหรือการพัฒนาองค์กร เป็นต้น เราเรียกขั้นตอนเหล่านั้นว่า Extract, Transform, Load (ETL) บทความนี้จะมาพูดถึง Airflow ว่าได้เข้ามาช่วยชีวิตเราที่ Pronto ได้อย่างไร 🙂

Pipeline as Code กับ Jenkins

Pipeline as Code คือการที่เราเขียนโค้ดเพื่อสร้างขั้นตอนของการ delivery/deployment แทนที่เราจะมานั่งปรับแต่งเครื่องมือที่ใช้ทำ continuous integration and continuous delivery/deployment (CI/CD) อย่างตัวที่เรารู้จักกันดี เช่น Jenkins เป็นต้น