{"id":347,"date":"2024-02-11T06:26:08","date_gmt":"2024-02-11T06:26:08","guid":{"rendered":"https:\/\/datadandies.nl\/?p=347"},"modified":"2024-03-03T13:55:03","modified_gmt":"2024-03-03T13:55:03","slug":"geautomatiseerd-data-binnenhalen-met-api-calls-middels-een-python-script-in-azure-functions","status":"publish","type":"post","link":"https:\/\/datadandies.nl\/index.php\/2024\/02\/11\/geautomatiseerd-data-binnenhalen-met-api-calls-middels-een-python-script-in-azure-functions\/","title":{"rendered":"Geautomatiseerd data binnenhalen met API calls middels een Python script in Azure Functions"},"content":{"rendered":"\n

Ben je op zoek naar het bouwen van een near real-time dashboard dat naadloos integreert met Azure-services?<\/p>\n\n\n\n

In de vorige post heb ik een script gedeeld om middels Power Query API calls te doen en zo automatisch data binnen te halen. In deze post zullen we een simpel Python-script doorlopen dat API calls doet en gebruikmaakt van Azure Functions en Blob-opslag. Deze data is dan vanuit Power BI te benaderen om er vervolgens een dashboard van te maken.<\/p>\n\n\n\n

Kennismaking met het Script<\/strong><\/p>\n\n\n\n

Het meegeleverde Python-script is ontworpen om te worden ingezet als een Azure Function. Het wordt elke minuut getriggerd en voert de volgende taken uit:<\/p>\n\n\n\n

    \n
  1. Haalt nodige omgevingsvariabelen op zoals Azure Storage-accountinformatie, container naam, gebruikersnaam en wachtwoord (uiteindelijk handiger om dit op te slaan in Azure Key Vault i.p.v. in een omgevingsvariabele).<\/li>\n\n\n\n
  2. Maakt een API-oproep om de huidige Tenant ID op te halen.<\/li>\n\n\n\n
  3. Maakt een DataFrame aan met de Tenant ID.<\/li>\n\n\n\n
  4. Converteert de DataFrame naar JSON-formaat.<\/li>\n\n\n\n
  5. Maakt een verbinding met Azure Blob-opslag.<\/li>\n\n\n\n
  6. Uploadt de JSON-gegevens als een blob naar Azure Blob-opslag.<\/li>\n<\/ol>\n\n\n\n

    Belangrijke Componenten en Concepten<\/strong><\/p>\n\n\n\n

      \n
    • Azure Functions<\/strong>: Dit zijn serverloze compute oplossingen die worden geleverd door Azure. Ze stellen ontwikkelaars in staat om kleine stukjes code, of “functies”, uit te voeren in reactie op verschillende triggers zonder zich zorgen te hoeven maken over het beheer van de infrastructuur. Oftewel, je hoeft niet de hele tijd je laptop aan te laten staan zodat dit script gedraaid wordt. Azure zorgt ervoor dat er altijd ergens een server beschikbaar is om het script af te trappen volgens een schema dat door jou gedefinieerd is.<\/li>\n\n\n\n
    • Azure Blob-opslag<\/strong>: Dit is een van de mogelijke opslag mogelijkheden van Microsoft voor de cloud. Het is ideaal voor het opslaan van grote hoeveelheden ongestructureerde gegevens, zoals tekst- of binaire gegevens.<\/li>\n\n\n\n
    • Pandas<\/strong>: Pandas is een krachtige Python-bibliotheek voor gegevensmanipulatie en -analyse. In dit script wordt het gebruikt om een DataFrame te maken met de Tenant ID en vervolgens om te zetten naar JSON.<\/li>\n\n\n\n
    • Requests-bibliotheek<\/strong>: Deze bibliotheek maakt eenvoudige HTTP-verzoeken in Python mogelijk. Hier wordt het gebruikt om een API-oproep te maken om de huidige Tenant ID op te halen.<\/li>\n<\/ul>\n\n\n\n

      Hoe Het Werkt<\/strong><\/p>\n\n\n\n

      Het script maakt gebruik van de tijdgestuurde functionaliteit van Azure Functions en voert de gedefinieerde functie elke minuut uit. Bij uitvoering worden de benodigde referenties opgehaald en wordt een API-call gedaan om de Tenant ID op te halen. Deze ID wordt vervolgens gebruikt om een DataFrame te maken, die wordt geconverteerd naar JSON. Ten slotte worden de JSON-gegevens ge\u00fcpload naar Azure Blob-opslag.<\/p>\n\n\n\n

      Conclusie<\/strong><\/p>\n\n\n\n

      Door Azure Functions en Blob-opslag te combineren met Python-bibliotheken zoals Pandas en Requests, kun je moeiteloos een near real-time data pijplijn voor je applicaties maken. Dit script dient als een basisstuk voor het bouwen en het onderhouden van up-to-date gegevens in je Azure-omgeving.<\/p>\n\n\n\n

      Voel je vrij om dit script aan te passen en uit te breiden om aan je specifieke vereisten te voldoen! <\/p>\n\n\n\n

      <\/p>\n\n\n\n

      Onder de onderstaande screenshot is een kopieerbare versie van het script voor handen. <\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n
      <\/circle><\/circle><\/circle><\/g><\/svg><\/span><\/path><\/path><\/svg><\/span>
      import<\/span> os<\/span><\/span>\n<\/span>\nimport<\/span> logging<\/span><\/span>\n<\/span>\nimport<\/span> azure<\/span>.<\/span>functions <\/span>as<\/span> func<\/span><\/span>\n<\/span>\nimport<\/span> requests<\/span><\/span>\n<\/span>\nimport<\/span> pandas <\/span>as<\/span> pd<\/span><\/span>\n<\/span>\nfrom<\/span> azure<\/span>.<\/span>storage<\/span>.<\/span>blob <\/span>import<\/span> BlockBlobService<\/span><\/span>\n<\/span>\napp <\/span>=<\/span> func<\/span>.<\/span>FunctionApp<\/span>()<\/span><\/span>\n<\/span>\n# Every minute this script is executed (cron below)<\/span><\/span>\n<\/span>\n@<\/span>app<\/span>.<\/span>schedule<\/span>(<\/span>schedule<\/span>=<\/span>"<\/span>0 *\/1 * * * *<\/span>"<\/span>,<\/span> <\/span>arg_name<\/span>=<\/span>"<\/span>myTimer<\/span>"<\/span>,<\/span> <\/span>run_on_startup<\/span>=True<\/span>,<\/span><\/span>\n<\/span>\n\u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 <\/span>use_monitor<\/span>=False<\/span>)<\/span><\/span>\n<\/span>\ndef<\/span> <\/span>dashboardshakerfunction<\/span>(<\/span>myTimer<\/span>:<\/span> func<\/span>.<\/span>TimerRequest<\/span>)<\/span> <\/span>-><\/span> <\/span>None<\/span>:<\/span><\/span>\n<\/span>\n\u00a0 \u00a0 <\/span>if<\/span> myTimer<\/span>.<\/span>past_due<\/span>:<\/span><\/span>\n<\/span>\n\u00a0 \u00a0 \u00a0 \u00a0 logging<\/span>.<\/span>info<\/span>(<\/span>'<\/span>The timer is past due!<\/span>'<\/span>)<\/span><\/span>\n<\/span>\n\u00a0 \u00a0 logging<\/span>.<\/span>info<\/span>(<\/span>'<\/span>Python timer trigger function executed.<\/span>'<\/span>)<\/span><\/span>\n<\/span>\n# Your Azure Storage account information retrieved from Azure Functions application settings<\/span><\/span>\n<\/span>\naccount_name <\/span>=<\/span> os<\/span>.<\/span>environ<\/span>[<\/span>"<\/span>AzureStorageAccountName<\/span>"<\/span>]<\/span><\/span>\n<\/span>\naccount_key <\/span>=<\/span> os<\/span>.<\/span>environ<\/span>[<\/span>"<\/span>AzureStorageAccountKey<\/span>"<\/span>]<\/span><\/span>\n<\/span>\ncontainer_name <\/span>=<\/span> os<\/span>.<\/span>environ<\/span>[<\/span>"<\/span>AzureBlobContainerName<\/span>"<\/span>]<\/span><\/span>\n<\/span>\nusername <\/span>=<\/span> os<\/span>.<\/span>environ<\/span>[<\/span>"<\/span>Username<\/span>"<\/span>]<\/span><\/span>\n<\/span>\npassword <\/span>=<\/span> os<\/span>.<\/span>environ<\/span>[<\/span>"<\/span>Password<\/span>"<\/span>]<\/span><\/span>\n<\/span>\n# API call to get Tenant ID<\/span><\/span>\n<\/span>\napi_url_tenant <\/span>=<\/span> <\/span>"<\/span>https:\/\/app.someurl.com\/api\/v2\/tenants\/current<\/span>"<\/span><\/span>\n<\/span>\ntenant_id_call <\/span>=<\/span> requests<\/span>.<\/span>get<\/span>(<\/span>api_url_tenant<\/span>,<\/span> <\/span>auth<\/span>=<\/span>(<\/span>username<\/span>,<\/span> password<\/span>))<\/span><\/span>\n<\/span>\ntenant_id <\/span>=<\/span> tenant_id_call<\/span>.<\/span>json<\/span>().<\/span>get<\/span>(<\/span>'<\/span>id<\/span>'<\/span>)<\/span><\/span>\n<\/span>\n# Naming the Blob<\/span><\/span>\n<\/span>\nblob_name <\/span>=<\/span> <\/span>f<\/span>'tenant_<\/span>{<\/span>tenant_id<\/span>}<\/span>.json'<\/span><\/span>\n<\/span>\n# Create a DataFrame with a single row and a single column<\/span><\/span>\n<\/span>\ndf_tenant <\/span>=<\/span> pd<\/span>.<\/span>DataFrame<\/span>({<\/span>'<\/span>TenantID<\/span>'<\/span>:<\/span> <\/span>[<\/span>tenant_id<\/span>]})<\/span><\/span>\n<\/span>\n# Convert DataFrame to JSON<\/span><\/span>\n<\/span>\njson_data <\/span>=<\/span> df_tenant<\/span>.<\/span>to_json<\/span>()<\/span><\/span>\n<\/span>\n# Create a connection to Azure Storage<\/span><\/span>\n<\/span>\nblock_blob_service <\/span>=<\/span> <\/span>BlockBlobService<\/span>(<\/span>account_name<\/span>=<\/span>account_name<\/span>,<\/span> <\/span>account_key<\/span>=<\/span>account_key<\/span>)<\/span><\/span>\n<\/span>\n# Upload JSON data to Azure Blob Storage<\/span><\/span>\n<\/span>\nblock_blob_service<\/span>.<\/span>create_blob_from_text<\/span>(<\/span>container_name<\/span>,<\/span> blob_name<\/span>,<\/span> json_data<\/span>)<\/span><\/span>\n<\/span>\nprint<\/span>(<\/span>f<\/span>"JSON data uploaded to Azure Blob Storage: <\/span>{<\/span>blob_name<\/span>}<\/span>"<\/span>)<\/span><\/span><\/code><\/pre><\/div>\n","protected":false},"excerpt":{"rendered":"
      Ben je op zoek naar het bouwen van een near real-time dashboard dat naadloos integreert met Azure-services? In de vorige post heb ik een script gedeeld om middels Power Query API calls te doen en zo automatisch data binnen te halen. In deze post zullen we een simpel Python-script doorlopen dat API calls doet en…<\/p>\n
      Read More<\/a><\/p>\n","protected":false},"author":1,"featured_media":348,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[29,34,33],"class_list":["post-347","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blog","tag-api","tag-azure","tag-azurefunctions"],"_links":{"self":[{"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/posts\/347","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/comments?post=347"}],"version-history":[{"count":2,"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/posts\/347\/revisions"}],"predecessor-version":[{"id":365,"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/posts\/347\/revisions\/365"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/media\/348"}],"wp:attachment":[{"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/media?parent=347"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/categories?post=347"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datadandies.nl\/index.php\/wp-json\/wp\/v2\/tags?post=347"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}