none
Connection à mon cluster HDInsight RRS feed

  • Question

  • Bonjour,

    J'essaie d'exécuter un script hql via azure powershell. Le problème est que je n'arrive pas à me connecter au cluster. Pourtant j'ai les bons acces (nom user et password). Le message d'erreur que je reçois est le suivant :

    Invoke-Hive : Please connect to a valid Azure HDInsight cluster before calling this cmdlet.
    Au caractère C:\Users\name\Desktop\TEST_1207\script1.ps1:31 : 5
    +     Invoke-Hive -File "wasb://lesscripts@$storageAccountName.blob.core.w ...
    +     ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
        + CategoryInfo          : ConnectionError: (Microsoft.Windo...nvokeHiveCmdlet:InvokeHiveCmdlet) [Invoke-AzureHDIn
      sightHiveJob], NotSupportedException
        + FullyQualifiedErrorId : 1024,Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.PSCmdlets.InvokeHiveCmdlet

    Pourriez vous me donner un petit coup de main ?

    Merci par avance

    mercredi 13 juillet 2016 14:36

Réponses

  • Bonjour hdp00,

    Veuillez consulter l'article suivant :
    Exécution de requêtes Hive avec PowerShell
    Je vous remercie par avance de votre retour.

    Cordialement,
    Teodora


    Votez! Appel à la contribution TechNet Community Support. LE CONTENU EST FOURNI "TEL QUEL" SANS GARANTIE D'AUCUNE SORTE, EXPLICITE OU IMPLICITE. S'il vous plaît n'oubliez pas de "Marquer comme réponse" les réponses qui ont résolu votre problème. C'est une voie commune pour reconnaître ceux qui vous ont aidé, et rend plus facile pour les autres visiteurs de trouver plus tard la résolution.

    • Marqué comme réponse hdp00 jeudi 14 juillet 2016 13:08
    jeudi 14 juillet 2016 12:00
    Modérateur

Toutes les réponses

  • Bonjour hdp00,

    Veuillez consulter l'article suivant :
    Exécution de requêtes Hive avec PowerShell
    Je vous remercie par avance de votre retour.

    Cordialement,
    Teodora


    Votez! Appel à la contribution TechNet Community Support. LE CONTENU EST FOURNI "TEL QUEL" SANS GARANTIE D'AUCUNE SORTE, EXPLICITE OU IMPLICITE. S'il vous plaît n'oubliez pas de "Marquer comme réponse" les réponses qui ont résolu votre problème. C'est une voie commune pour reconnaître ceux qui vous ont aidé, et rend plus facile pour les autres visiteurs de trouver plus tard la résolution.

    • Marqué comme réponse hdp00 jeudi 14 juillet 2016 13:08
    jeudi 14 juillet 2016 12:00
    Modérateur
  • Bonjour Teodora,

    Merci d'avoir répondu.

    J'ai regardé le link et l'ai adapté à mon objectif (à la place d'un $querystring j'ai placé un script hql).

    J'ai bien mon job qui s'exécute sur mon cluster hdinsight => c'est super merci :)

    Par contre, sur l'exécution de mon script hive, j'ai une erreur qui dit ceci :

    Loading data to table default.table_text Failed with exception Error moving: wasb://container@storageaccount.blob.core.windows.net/table.csv into: wasb://hadoop17@storageaccount.blob.core.windows.net/hive/warehouse/table_text/table.csv FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

    Visiblement je ne parviens à écrire dans le container par défaut du cluster "hadoop17". Avez vous une idée de comment je peux résoudre ce problème ?

    Voici le script hive :

    add jar wasb://container@storageaccount.blob.core.windows.net/gis-tools-for-hadoop/samples/lib/esri-geometry-api.jar;
    add jar wasb://container@storageaccount.blob.core.windows.net/gis-tools-for-hadoop/samples/lib/spatial-sdk-hadoop.jar;

    -- Ajout des fonctions
    CREATE TEMPORARY FUNCTION ST_Point AS 'com.esri.hadoop.hive.ST_Point';
    CREATE TEMPORARY FUNCTION ST_GeomFromText AS 'com.esri.hadoop.hive.ST_GeomFromText';
    CREATE TEMPORARY FUNCTION ST_Contains AS 'com.esri.hadoop.hive.ST_Contains';

    -- Création de la table table_TEXT
    DROP TABLE IF EXISTS table_TEXT;
    CREATE TABLE table_TEXT(les variables)
    ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
    WITH SERDEPROPERTIES ("separatorChar" = "_")  
    TBLPROPERTIES ("skip.header.line.count"="1");
    LOAD DATA INPATH 'wasb://container@storageaccount.blob.core.windows.net/table.csv' OVERWRITE INTO TABLE table_TEXT;


    hdp00


    • Modifié hdp00 jeudi 14 juillet 2016 13:07
    jeudi 14 juillet 2016 13:06
  • Bonjour hdp00,

    Une solution est proposée ici.

    Cordialement,
    Teodora


    Votez! Appel à la contribution TechNet Community Support. LE CONTENU EST FOURNI "TEL QUEL" SANS GARANTIE D'AUCUNE SORTE, EXPLICITE OU IMPLICITE. S'il vous plaît n'oubliez pas de "Marquer comme réponse" les réponses qui ont résolu votre problème. C'est une voie commune pour reconnaître ceux qui vous ont aidé, et rend plus facile pour les autres visiteurs de trouver plus tard la résolution.

    vendredi 15 juillet 2016 10:40
    Modérateur
  • Merci pour votre précieuse aide, j'ai réglé mon problème :)
    vendredi 22 juillet 2016 09:34