postgreSQLで、あるデータがあるとき、他のデータもまとめて取ってきたい

■目的 タイトルだけでは解らないので具体例を挙げていきます。 テーブル(洋菓子、和菓子、人名)のデータがあるとき、 人名が「多田」の「洋菓子、和菓子(例:クレープ、えびせんべい)」のセットがあれば、 他の、人名が異なる「洋菓子、和菓子(クレープ、…

fluentdで、レコードの値がある文字列と一致するとき、別のレコードに特定の文字列を追加する

■ fluentd □ やること レコード「DETECTION_TYPE」を追加 →レコード:SIGNATURE_DOWNCASE が以下の値と一致するとき Value: ①.*(command and control).* ②.*(candc).* ③.*(c-and-c).* ④.*(C2).* ⑤.*(c2).* レコード:DETECTION_TYPE Field に「c_and_c」を…

fluentdからpostgreSQLへログを流し込む(元データはjson形式)

■ fluentdからpostgreSQLへログを流し込む □ fluentdプラグイン https://github.com/fluent/fluent-plugin-sql/blob/master/README.md □ テスト用データ # echo '{ "HOST_ADDR": "192.168.56.108", "HOST_NAME": "myhostname" }' >> /var/log/remotelog/test…

postgreSQL+pgAdmin4

qiita.com こちらの記事のとおりやることで上手く行きました。 記事ではpostgreSQL9.6ですが、11に置き換えても上手く行きました。

flink+centOS

■ flink 日本語マニュアル http://mogile.web.fc2.com/flink/flink-docs-release-1.3/dev/connectors/kafka.html ■ flink ダウンロードページ https://flink.apache.org/downloads.html ■ flink install(centOS) □ yum をupdateしておく # yum update □ wget…

zabbix appliance のパスワード

zabbix 4.0 mysql パスワード 6. Zabbix appliance [Zabbix Documentation 4.0] インストール時にランダムに生成されるmysqlのrootユーザのパスワード /root/.my.cnf に記載されているmysqlのzabbixユーザのパスワード /etc/zabbix/zabbix_server.conf と /e…

fluentdで現在時刻をレコードに出す方法

内 現在時刻を取る DATE_TIME #{Time.now.strftime('%Y-%m-%d %H:%M:%S')} → 以下のようなログを取得できる DATE_TIME 2019-03-27 23:11:49

fluentdで、渡されたデータを小文字にする方法

内で @type record_transformer enable_ruby true を定義した後、 内の内で SIGNATURE_DOWNCASE ${record["SIGNATURE_TEST"].downcase} と書けば、GIGNATURE_TESTの中身が小文字になる。 中身が例えばComMaNdの時、commandになる。

graylogから受けたメールを元にzabbix senderを叩くシェルの改修

■ graylogから受けたメールからzabbix senderを叩くシェル改修 #!/bin/bash # Graylogから受け取ったメールから、zabbix senderを叩く MAIL_ORIGINAL="/test01/mail_original_$$.txt" MAIL_NIHONGO="/test01/mail_nihongo_$$.txt" FOR_ZABBIX_SENDER="/test0…

zabbix regsub関数について

■ やること ① 顧客向けにメールを整形する ■ 使用する環境 kali linux [101]Snort(Ubuntu) [105]graylog(Ubuntu) [107]zabbix(Ubuntu) ■ 参考URL https://www.fl-ops.com/mori-dojo/archives/106 https://www.zabbix.com/documentation/3.2/manual/config/ma…

snortの検知ルールを自動更新する(pulledpork)

■ snortのバージョン snort-2.9.12.tar.gz■ snortの起動確認 snort -T -c /etc/snort/snort.conf → Snort successfully validated the configuration! Snort exiting と表示されればOK ■snortにアカウント登録しておく Snort - Network Intrusion Detection …

zabbix sender で、graylogからのメールの内容をzabbixに送信する

■ やること zabbix sender の -oオプションで受け取る値に、graylogからのメールの内容を入れる ■ zabbixサーバに、メールのエンコードのためのコマンドをインストールする # apt install nkf ■ メールエンコードのためのコマンド Content-Type: text/plain;…

zabbixで障害発生時にメールを送るための設定

■ zabbix側の設定① メールそのものの設定 □ メディア(Email)の設定 ① 管理ーメディアタイプを選択 ② デフォルトで登録されている「Email」を選択 ③ 「SMTPサーバ」の欄に「127.0.0.1」と記述する ※ localhostのままでは名前解決できなかった /var/log/zabbix…

graylogのアラート(mail)をzabbixで取り込む準備

■graylogのアラート(mail)をzabbixで取り込みたい □ ログインID:パスワード https://www.zabbix.com/documentation/4.0/manual/appliance appliance:zabbix □ zabbix アクションの作成 https://blog.apar.jp/zabbix/979/ □ ping監視を設定 https://blog.apar…

graylogのアラートメールにhost addrやdest addrを乗せる

■ graylogのアラートメールにhost addrやdest addrを乗せる graylogのアラートメールにfull messageを乗せる □ backlog massage https://community.graylog.org/t/problem-with-create-alerts/2411 Alerts→Manage conditions→メール送信用conditionを選択→co…

graylog→zabbixサーバへメール送信

■ graylogからzabbixサーバへテストメールを送信する □ 参考記事 http://tweeeety.hateblo.jp/entry/2014/11/18/133508 https://qiita.com/shomatan/items/d48333db0d8385ec4460 □ /etc/hosts を使用する zabbixサーバ、graylogサーバともに # vi /etc/hosts…

virtualbox上のzabbix applianceにメールを設定する(local)ubuntu16.04.5

■ virtualboxのzabbix appliance(ubuntu)にpostfixを入れてメールを送受信できるようにする □ 参考サイト https://qiita.com/mizuki_takahashi/items/1b33e1f679359827c17d □ OSバージョン確認 # cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16…

VirtualBox上のcoreOSにdocekerを立ててzabbixを入れる

■ 参考サイト https://server-network-info.blogspot.com/2017/08/15docker-zabbix-server-34.html https://usado.jp/spdsk/2018/03/19/post-3450/ ■ virtualboxにcoreOSをインストールする準備 ① ダウンロードサイト https://coreos.com/os/docs/latest/boo…

【日本語訳】Create items and triggers in Zabbix based on Graylog stream alerts

github.com Create items and triggers in Zabbix based on Graylog stream alerts GraylogのStreamからのアラートに基づいて、Zabbixのitemとtriggerを生成する。 This application bridges the gap between graylog and zabbix. このアプリケーションは、g…

シェルスクリプト+rsyslog+graylogで死活監視

■ 死活条件 監視対象のサイトにアクセスできない状態が5分間続いたらアラートをあげる ■ 監視対象 自分で用意したOWASP BWA ■ 監視する側の設定(ubuntu) ① 監視対象にwgetを投げ、ステータスを取得するシェルスクリプトを設置する □ 参考サイト http://www.…

httpのステータスを取ってくるシェルスクリプト

□ # shikatu-shell.sh #!/bin/bash cd /var/log HNAME=`hostname` ADDRESS=http://192.168.56.102a/ MESSAGE=`wget --spider -nv $ADDRESS 2>&1` RESULTCODE=`echo $MESSAGE | grep -c "200 OK"` DAY=`env LC_ALL=c date` DAYLOG=`echo $DAY | cut -f 2-4 --…

Graylogでアラートを設定する

■ 参考サイト https://www.designet.co.jp/ossinfo/graylog/manual/alert.php#id3 □ ① indexの作成 ②Stream作成時にindexが必要になる。 「Default index set」を選択しても良い。 管理画面上部メニュー「System/indeces」から作成する。 □ ② Streamの作成 …

Graylogでのログ整形の基本

■ 注意・確認事項 Streamとパイプラインの紐づけ、ルールとパイプラインの紐づけは、パイプラインの画面から行う → 画像1枚目右下「Edit」ボタンを押下した後の画面(画像2枚目)で、 「Edit connections」を押下するとStreamとの紐づけ画面が表示される 「M…

VirtualBoxのGraylog.ova環境にpostfixを入れて、graylogからアラートメールを送信できるようにする(local)

■ VirtualBoxのGraylog.ova環境にpostfixを入れて、graylogからアラートメールを送信できるようにする □ 参考サイト https://qiita.com/mizuki_takahashi/items/1b33e1f679359827c17d □ hostname確認 # hostname □ hostnameを恒久的に変更する # hostnamectl…

VirtualBoxにインストールしたGraylogの管理者情報を変更する(graylogは、graylog-2.4.6-1.ovaを使用してインストールした)

■ インストールしたgraylogにserver.confが含まれておらず、devパッケージをインストールすると動作しなくなった。 興味があったので設定ファイルを探っていく。 本体と思われる設定ファイルは「/opt/graylog/conf/graylog.conf」にある。 このファイルは以…

日本語訳How to send Snort IDS alert logs into Graylog(前記事Snortのlogを受信して、graylog管理画面に表示されるようにする で紹介しているOther Solutionsのマニュアルの日本語訳)

■ ReadMe日本語訳 How to send Snort IDS alert logs into Graylog SnortのログをどうやってGraylogに入れるか This guide describes how to send structured Snort IDS alert logs into Graylog.![] このガイドでは、構造化されたSnort IDSアラートログをGr…

Snortのlogを受信して、graylog管理画面に表示されるようにする

■snortのlogを受信して、graylog管理画面に表示されるようにする □参考サイト graylog-guide-snort:https://github.com/Graylog2/graylog-guide-snort 日本語マニュアル:https://www.designet.co.jp/ossinfo/graylog/manual/pipeline.php □ログ送信側の設…

VertualBoxにgraylogをインストールし、rsyslogの受信設定をする

■ VirtualboxにGlaylogをインストール □ OVAダウンロードサイト https://packages.graylog2.org/appliances/ova □ VirtualBoxへのインストール操作 → ファイルー仮想アプライアンスのインポートーDLしたovaを選択 □ VirtualBoxでのネットワーク設定 → アダプ…

rsyslogで受信したログのうち、特定のアプリケーションの物だけ書き出す

□ 受信側のrsyslogの設定で、アプリケーション「snort」のログだけ受け取る # vi /etc/rsyslog.conf → 以下を記述 :programname, isequal, "snort" ?RemoteHostLog & ~ <|| programname:ログを出力したプログラム名 ?RemoteHostLog:設定したtemplate名「Re…

VirtualBox+CentOSのログ受信サーバに対してログを転送する(rsyslog)

■ rsyslogのサーバ間送受信設定 参考サイト http://i.sios.com/products/oss/redhat/tech_news/2012/12/20128rsyslog.html https://hosii.net/?p=468 □ rsyslog受信サーバの設定 受信するポートはTCP10514とする □ firewalldでポートを開放する 参考サイト h…