Utvalda

Hur man vidarebefordrar loggar till Grafana Loki med Promtail

Hur man vidarebefordrar loggar till Grafana Loki med Promtail

Grafana Loki är ett verktyg som ger dig en panel för att indexera dina systems loggar och visualisera dem på en instrumentpanel. Grafana Loki indexerar inte innehållet i loggarna utan bara indexerar loggarna. Detta minskar arbetet med att bearbeta och lagra loggar.

Promtail, precis som Prometheus, är en loggsamlare för Loki som skickar loggmärkena till Grafana Loki för indexering.

I det här inlägget kommer vi att täcka följande:

Låt oss snabbt starta installationsstegen:

Steg 1 - Installera Grafana Monitoring Tool

I det här avsnittet kommer vi att täcka installationen av Grafana på Ubuntu. Använd länkarna nedan som hjälper dig att installera Grafana på olika system:

Så här installerar du Grafana 7 på CentOS 7

Så här installerar du Grafana på CentOS 8 / RHEL 8

Installera Grafana på Kubernetes för klusterövervakning

Uppdatera ditt Ubuntu-system och starta om:

sudo apt-get update sudo apt-get upgrade sudo reboot

Lägg till Grafana GPG-nyckel och installera sedan Grafana APT-förvar:

## Lägg till gpg-nyckel sudo apt-get install -y gnupg2 curl curl https: // packages.grafana.com / gpg.nyckel | sudo apt-key add - ## Lägg till Grafana APT-förvar sudo add-apt-repository "deb https: // paket.grafana.com / oss / deb stabil huvud "

Installera Grafana

sudo apt-get uppdatering sudo apt-get -y installera grafana

Starta Grafana-tjänsten

sudo systemctl starta grafana-server sudo systemctl aktivera grafana-server

Grafana är nu installerat och kan nås via serverns IP och port 3000. (http: // server_IP: 3000)

Du måste tillåta port 3000 genom brandväggen.

För Ubuntu:

sudo ufw tillåter proto tcp från vilken som helst till vilken port som helst

Du kan sedan komma åt Grafana webbinstrumentpanel,

Steg 2 - Installera Grafana Loki Log aggregation System

Vi fortsätter nu med att installera Loki med stegen nedan:

  1. Gå till Lokis släppsida och välj den senaste versionen av Loki
  2. Navigera till Tillgångar och ladda ner den binära zip-filen Loki till din server. Under lanseringen av den här artikeln, v2.0.0 är det senaste.
curl -s https: // api.github.com / repos / grafana / loki / releases / senaste | grep browser_download_url | klipp -d '"' -f 4 | grep loki-linux-amd64.zip | wget -i -

Installera unzip

# Ubuntu / Debian $ sudo apt install unzip # CentOS / Fedora / RHEL $ sudo yum -y install unzip

3. Packa upp den binära filen till / usr / local / bin

packa upp loki-linux-amd64.zip sudo mv loki-linux-amd64 / usr / local / bin / loki

Bekräfta installerad version:

$ loki --version loki, version 2.0.0 (gren: HEAD, version: 6978ee5d) bygganvändare: [e-postskyddad] byggdatum: 2020-10-26T15: 54: 56Z go version: go1.14.2-plattform: linux / amd64

4. Skapa en YAML-fil för Loki under / usr / local / bin

Skapa nödvändiga datakataloger:

sudo mkdir -p / data / loki

Skapa ny konfigurationsfil.

sudo vim / etc / loki-local-config.yaml

Lägg till följande konfiguration i filen:

auth_enabled: falsk server: http_listen_port: 3100 ingester: lifecycler: adress: 127.0.0.1 ring: kvstore: store: inmemory replication_factor: 1 final_sleep: 0s chunk_idle_period: 5m chunk_retain_period: 30s max_transfer_retries: 0 schema_config: configs: - from: 2018-04-15 store: boltdb object_store: filesystem schema: v11 index: prefix: : 168h storage_config: boltdb: katalog: / data / loki / index filsystem: katalog: / data / loki / bitar limit_config: enforce_metric_name: false reject_old_samples: true reject_old_samples_max_age: 168h chunk_store_config: max_look_back_per_speriod: 0:

5. Skapa Loki-tjänst:

Skapa följande fil under / etc / systemd / system för att demonisera Loki-tjänsten:

sudo tee / etc / systemd / system / loki.service<

6. Ladda om systemdemon och starta sedan Loki-tjänsten:

sudo systemctl daemon-reload sudo systemctl starta loki.service

Du kan kontrollera och se om tjänsten har startat framgångsrikt:

$ sudo systemctl status loki ● loki.service - Loki-tjänst laddad: laddad (/ etc / systemd / system / loki.service; Inaktiverad; leverantörsförinställning: aktiverad) Aktiv: aktiv (kör) sedan må 2020-12-21 11:49:49 UTC; 2min 37s sedan Main PID: 15223 (loki) Uppgifter: 7 (limit: 1137) Memory: 13.6M CGroup: / system.skiva / loki.service └─15223 / usr / local / bin / loki -config.fil / etc / loki-local-config.yaml 21 dec 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.330959628Z uppringare = table_manager.go: 476 msg = "skapa tabell" tabell = index_2658 21 dec 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.331092225Z uppringare = table_manager.go: 476 msg = "skapa tabell" tabell = index_2549 21 dec 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.331220486Z uppringare = table_manager.go: 476 msg = "skapa tabell" tabell = index_2562 21 dec 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.331347316Z uppringare = table_manager.go: 476 msg = "skapa tabell" tabell = index_2615 21 dec 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.331471475Z uppringare = table_manager.go: 476 msg = "skapa tabell" tabell = index_2643 21 dec 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.327278535Z caller = module_service.go: 58 msg = initialiseringsmodul = ring 21 dec 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.331950866Z caller = module_service.go: 58 msg = initialiseringsmodul = distributör 21 dec 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.332140208Z caller = module_service.go: 58 msg = initialiseringsmodul = ingester-querier 21 dec 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.332342162Z uppringare = loki.go: 227 msg = "Loki startade" 21 dec 11:51:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 51: 49.311922692Z uppringare = table_manager.go: 324 msg = "synkroniseringstabeller" förväntade_tabeller = 141

Du kan nu komma åt Loki-mätvärden via http: // server-IP: 3100 / mätvärden

Steg 3 - Installera Promtail Agent

Promtail är en agent som skickar innehållet i lokala loggar till en privat Loki-instans eller Grafana Cloud.

  1. Hämta Promtail binär zip från släppsidan
curl -s https: // api.github.com / repos / grafana / loki / releases / senaste | grep browser_download_url | klipp -d '"' -f 4 | grep promtail-linux-amd64.zip | wget -i -

När filen har laddats ner extraherar du den till / usr / local / bin

packa upp promtail-linux-amd64.zip sudo mv promtail-linux-amd64 / usr / local / bin / promtail

Kontrollera version:

$ promtail --version promtail, version 2.0.0 (gren: HEAD, version: 6978ee5d) bygganvändare: [e-postskyddad] byggdatum: 2020-10-26T15: 54: 56Z go version: go1.14.2-plattform: linux / amd64

2. Skapa en YAML-konfigurationsfil för Promtail i / usr / local / bin katalog:

sudo vim / etc / promtail-local-config.yaml

3. Lägg till följande innehåll i filen:

server: http_listen_port: 9080 grpc_listen_port: 0 positioner: filnamn: / data / loki / positioner.yaml-klienter: - url: http: // localhost: 3100 / loki / api / v1 / push scrape_configs: - job_name: system static_configs: - target: - localhost labels: job: varlogs __path__: / var / log / * log

4. Skapa en tjänst för Promtail:

sudo tee / etc / systemd / system / promtail.service<

5. Ladda om och starta Promtail-tjänsten

sudo systemctl daemon-reload sudo systemctl starta promtail.service

Bekräfta om tjänsten är igång:

$ systemctl status promtail.service ● promtail.service - Promtail-tjänst laddad: laddad (/ etc / systemd / system / promtail.service; Inaktiverad; leverantörsförinställning: aktiverad) Aktiv: aktiv (igång) sedan må 2020-12-21 11:57:41 UTC; 3s sedan Huvud-PID: 15381 (promtail) Uppgifter: 6 (gräns: 1137) Minne: 8.8M CGroup: / system.skiva / promtail.service └─15381 / usr / local / bin / promtail -config.fil / etc / promtail-local-config.yaml 21 dec 11:57:41 ubuntu systemd [1]: Startade Promtail-tjänsten. 21 dec 11:57:41 ubuntu promtail [15381]: level = info ts = 2020-12-21T11: 57: 41.911186079Z uppringare = server.go: 225 http = [::]: 9080 grpc = [::]: 35499 msg = "server lyssnar på> 21 december 11:57:41 ubuntu promtail [15381]: level = info ts = 2020-12-21T11: 57:41.911859429Z uppringare = huvud.go: 108 msg = "Startar Promtail" version = "(version = 2.0.0, gren = H>

Vid den här tiden har vi installerat Grafana, Loki och Promtail.

Nästa steg är att konfigurera Grafana Dashboard och visualisera loggarna med Loki.

Steg 4 - Konfigurera Loki-datakälla

  1. Logga in på Grafana webbgränssnitt och välj 'Utforska'. Du kommer att uppmanas att skapa en datakälla.

2. Klicka på Lägg till datakälla välj sedan Loki bland de tillgängliga alternativen:

4. Mata in följande värden för Loki:

Namn: Loki URL: http: // 127.0.0.1: 3100

Se skärmdump nedan.

5. Klick Spara och testa. Du bör se ett meddelande om att datakällan har lagts till.

Steg 5 - Visualisera loggar på Grafana med Loki

Vi kan nu visualisera loggar med Loki.

Klicka på Utforska välj sedan Loki vid datakällan

Du kan nu enkelt visualisera loggarna genom att välja Logga etiketter alternativ.

Slutsats

Vi har framgångsrikt installerat Grafana Loki med Promtail och har kunnat visualisera loggarna på en Grafana-instrumentpanel.

Grafana Loki kan använda många fler verktyg för vidarebefordran av annat än Promtail, t.ex.g FluentBit. Du kan också använda Grafana Loki för att övervaka ditt Kubernetes-kluster. Njut av!

Vilka är de bästa onlinebetalningstjänsterna 2021?
En ny digital revolution händer 2021 på grund av koronaviruskrisen. Onlinebetalningstjänster används mer än någonsin tidigare, med sin flexibilitet et...
Dedikerad WordPress-utvecklare Hur man rekryterar ett utvecklingsteam för en start
Du har bestämt dig för att skapa en ny programvaruprodukt eller tjänst på WordPress. Det finns redan en bra idé, tydlig positionering, de första kunde...
Bitcoin i Tyskland Hur landet har omfamnat krypto?
Tyskland kommer nu att utfärda lagar som hjälper människor lagligt att köpa Cryptocurrency. De institutionella bankerna kommer att erbjuda Crypto-till...

Webbplats tillägnad prylar, operativsystem och modern teknik. Massor av intressanta artiklar och användbara tips