none
Verbindung von Data Factory zu S3 Bucket funktioniert nicht RRS feed

  • Frage

  • Hallo zusammen,

    ich möchte in der Data Factory eine Verbindung zu einem S3 Bucket herstellen. Ich habe bereits über andere S3 Clients die Verbindung erfolgreich zu dem S3 Bucket herstellen können. Wenn ich allerdings die Verbindung über das ADF Copy Tool aufbauen möchte, dann funktioniert der Verbindungstest, die Bucket Ordner-Struktur wird aber als leer angezeigt.

    Über alle anderen S3 Clients funktioniert die Verbindung problemlos. Gibt es irgendwas, was ich bei der Konfiguration in der ADF zusätzlich berücksichtigen muss?


     

    Montag, 15. Juni 2020 10:05

Alle Antworten

  • Hallo Michael,

    Würdest Du überprüfen, ob die Voraussetzungen für das Kopieren von Daten aus S3 mit Azure Data Factory erfüllt sind, insbesondere ob die für die Kopieraktivität oder für das Erstellen mit der ADF-Benutzeroberfläche erforderlichen Berechtigungen gewährt wurden? Enthält der Ordner nur von Azure Data Factory unterstützte Dateiformate?
    Kopieren von Daten aus Amazon Simple Storage Service mit Azure Data Factory (Abschnitte: Erforderliche Berechtigungen und Dataset-Eigenschaften mit unterstützten Formaten)

    Gruß,
    Dimitar


    Bitte haben Sie Verständnis dafür, dass im Rahmen dieses Forums, welches auf dem Community-Prinzip „IT-Pros helfen IT-Pros“ beruht, kein technischer Support geleistet werden kann oder sonst welche garantierten Maßnahmen seitens Microsoft zugesichert werden können.

    Dienstag, 16. Juni 2020 09:45
    Moderator
  • Hallo Dimitar,

    eigentlich haben wir alle Berechtigungen für den S3 User korrekt vergeben, es werden aber keine Ordner und auch keine Ordnerstrukturen angezeigt. Gibt es einen Möglichkeit einen Log einzusehen bzw. die Verbindung über die Azure CLI herzustellen, sodass man eventuell erweiterte Informationen bekommt?

    {
        "Version": "",
        "Statement": [
            {
                "Sid": "",
                "Effect": "Allow",
                "Action": [
                    "s3:PutAccountPublicAccessBlock",
                    "s3:GetAccountPublicAccessBlock",
                    "s3:ListAllMyBuckets",
                    "s3:ListJobs",
                    "s3:CreateJob",
                    "s3:HeadBucket"
                ],
                "Resource": "*"
            },
            {
                "Sid": "",
                "Effect": "Allow",
                "Action": [
                    "s3:Get*",
                    "s3:List*"
                ],
                "Resource": [
                    "arn:aws:s3:::---",
                    "arn:aws:s3:::---/*",
                    "arn:aws:s3:::---",
                    "arn:aws:s3:::---/*"
                ]
            }
        ]
    }
    In der S3 Ordnerstruktur (die in ADF nicht angezeigt wird) liegen AWS Kinesis Streaming Dateien.


    Dienstag, 16. Juni 2020 11:09
  • Leider gibt es zu diesem Problem keine Lösung. Kann man irgendwie einen Log zu der Verbindung einsehen? Es scheint, als wäre der S3 Client in Azure nicht korrekt implementiert.
    Montag, 6. Juli 2020 18:10