Google Cloud Dataflow ไปยัง Cloud Storage

Somasundaram Sekar 03/03/2017. 2 answers, 221 views
google-cloud-storage google-cloud-storage google-cloud-dataflow google-cloud-dataflow google-cloud-dataproc google-cloud-dataproc apache-beam

ใส่คำอธิบายภาพที่นี่ สถาปัตยกรรมอ้างอิงข้างต้นระบุถึงการมีอยู่ของ Cloud Storage จาก Cloud Dataflow แต่ Beam API ซึ่งดูเหมือนจะเป็น Dataflow API เริ่มต้นปัจจุบันไม่มีที่เก็บข้อมูล Cloud Storage I / O ที่ระบุไว้

ใส่คำอธิบายภาพที่นี่

ทุกคนสามารถช่วยชี้แจงว่ามีอยู่หรือไม่ถ้าไม่ใช่ข้อมูลทางเลือกในการนำข้อมูลจาก Dataflow ไปใช้ Cloud Storage

2 Answers


Graham Polley 03/03/2017.

บีมสนับสนุนการเขียน / อ่านจาก GCS คุณเพียงแค่ใช้คลาส TextIO

https://beam.apache.org/documentation/sdks/javadoc/0.2.0-incubating/org/apache/beam/sdk/io/TextIO.html

หากต้องการอ่าน PCollection จากไฟล์ข้อความอย่างน้อยหนึ่งไฟล์ให้ใช้ TextIO.Read คุณสามารถสร้างอินสแตนซ์การแปลงโดยใช้ TextIO.Read.from (String) เพื่อระบุพา ธ ของไฟล์ที่จะอ่านจาก (เช่นชื่อไฟล์หรือรูปแบบชื่อไฟล์หากใช้งานภายในเครื่องหรือ ชื่อไฟล์หรือชื่อไฟล์ของ Google Cloud Storage แบบฟอร์ม "gs: ///" )


chamikara 03/03/2017.

คุณสามารถใช้ TextIO, AvroIO หรือตัวเชื่อมต่ออื่น ๆ ที่อ่านจาก / เขียนไปยังไฟล์เพื่อโต้ตอบกับ GCS บีมจะระบุเส้นทางของไฟล์ที่ขึ้นต้นด้วย "gs: //" สำหรับ GCS Beam ทำสิ่งนี้โดยใช้อินเตอร์เฟซ FileSystem pluggable [1]

[1] https://github.com/apache/beam/blob/master/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/storage /GcsFileSystem.java

Related questions

Hot questions

Language

Popular Tags