การวิเคราะห์ข้อมูลขนาดใหญ่ด้วย Amazon EMR

ลองใช้เครื่องมือของเราเพื่อกำจัดปัญหา

[บทความที่ 1 จาก 6 ในซีรี่ส์ Big Data Applications บน AWS]

อเมซอน EMR เป็นบริการที่มีการจัดการที่ทำให้การรัน Apache Hadoop และ Spark ทำงานได้อย่างรวดเร็ว ง่ายดาย และคุ้มค่า เพื่อประมวลผลข้อมูลจำนวนมหาศาล Amazon EMR ยังรองรับเครื่องมือ Hadoop ที่ทรงพลังและผ่านการพิสูจน์แล้ว เช่น Presto, Hive, Pig, HBase และอื่นๆ ในบทความนี้ คุณจะปรับใช้คลัสเตอร์ Hadoop ที่ทำงานได้อย่างสมบูรณ์ พร้อมวิเคราะห์ข้อมูลบันทึกในเวลาเพียงไม่กี่นาที คุณจะเริ่มต้นด้วยการเปิดใช้คลัสเตอร์ Amazon EMR แล้วใช้สคริปต์ HiveQL เพื่อประมวลผลข้อมูลบันทึกตัวอย่างที่จัดเก็บไว้ใน ถัง Amazon S3 . ไฮฟ์คิวแอล เป็นภาษาสคริปต์เหมือน SQL สำหรับคลังข้อมูลและการวิเคราะห์ จากนั้นคุณสามารถใช้การตั้งค่าที่คล้ายกันเพื่อวิเคราะห์ไฟล์บันทึกของคุณเอง

รูปภาพสำหรับโพสต์



ภูมิหลังของฉัน: ผู้ที่ชื่นชอบคลาวด์และบิ๊กดาต้า | 4x ผ่านการรับรองจาก AWS | 3x Oracle Cloud Certified | 3x ได้รับการรับรอง Azure | บิ๊กดาต้าได้รับการรับรอง

บทแนะนำนี้จะอธิบายขั้นตอนการสร้าง **ตัวอย่างคลัสเตอร์ Amazon EMR **โดยใช้ สร้างด่วน ตัวเลือกใน AWS Management Console หลังจากที่คุณสร้างคลัสเตอร์ คุณต้องส่งสคริปต์ Hive เป็น a ขั้นตอน เพื่อประมวลผลข้อมูลตัวอย่างที่จัดเก็บไว้ใน Amazon Simple Storage Service (Amazon S3)

รูปภาพสำหรับโพสต์

บริการที่ใช้ : Amazon EMR , Amazon EC2 และ Amazon S3

ค่าใช้จ่ายในการทำโครงการให้เสร็จ : ค่าใช้จ่ายโดยประมาณในการทำโครงการนี้คือ $ 1.05 . ค่าใช้จ่ายนี้ถือว่าคุณอยู่ใน AWS Free Tier คุณทำตามการกำหนดค่าที่แนะนำ และคุณยุติทรัพยากรทั้งหมดที่ใช้ในโครงการภายในหนึ่งชั่วโมงหลังจากสร้าง กรณีการใช้งานของคุณอาจต้องมีการกำหนดค่าที่แตกต่างกันซึ่งอาจส่งผลต่อการเรียกเก็บเงินของคุณ ใช้ เครื่องคำนวณราคา เพื่อประเมินค่าใช้จ่ายที่เหมาะกับความต้องการของคุณ

รูปภาพสำหรับโพสต์

#big-data-analytics #application-development #big-data #aws

medium.com

การวิเคราะห์ข้อมูลขนาดใหญ่ด้วย Amazon EMR

บทแนะนำนี้จะอธิบายขั้นตอนการสร้างคลัสเตอร์ Amazon EMR ตัวอย่างโดยใช้ตัวเลือกสร้างด่วนใน AWS Management Console

ดูสิ่งนี้ด้วย:

ของใหม่

อ่านได้มากที่สุด

ตัวเลือกของบรรณาธิการ