信頼はずっと、挑戦はもっと。

お問い合わせ
TEL:03-3496-3888

BLOG コアテックの社員ブログ (毎週月曜~金曜更新中)

LIST OF ARTICLES

記事一覧

  • 画像:ブログサムネイル

    テクログ

    コスト配分タグを自動でチェックしたい!

    恒例のしたいシリーズです。いまつくりました。●なにがしたいの?AWSアカウント内に複数の媒体があって、どの媒体にどれだけお金がかかっているかをチェックするために、リソースにProjectタグをつけると簡単に集計できます。でも、リソースは随時増えるし、ちゃんとProjectタグついているのかわからない。なんとかしたいという気持ち。●どうやるの?LambdaでリソースにProjectタグがついているかをチェック。+Projectタグの値もチェック(ちがうのがついてたらこまるからね)チェックしない、というのも設定したい。あと、結果はSlackに通知したりしたい。●具体的には?ソースをはりますんで見てね!EC2のタグチェックの例です。サンプルですよ。・追加ライブラリslackwebいれてください。・使っている環境変数ACCOUNT_NAME AWSアカウントの名前とかをいれます。通知用です。CHECK_TAG_NAME チェックしたいタグをいれます。今回はProjectです。CHECK_TAG_VALUES カンマ区切りで、入っていていほしいタグの値をいれます。aaa.jp,bbb.jp  みたいなのですSLACK_URL SlackのWebhookURLです。・ソース(Pythonらしさはかけらもありませんがゆるしてください# -*- coding: utf-8 -*- # EC2のタグ設定チェック import boto3 import os import slackweb import sys # アカウント名 ACCOUNT_NAME   = os.environ['ACCOUNT_NAME'] # チェックするタグ名 CHECK_TAG_NAME  = os.environ['CHECK_TAG_NAME'] # ついていてほしいタグの内容(どれかならOK) CHECK_TAG_VALUES = os.environ['CHECK_TAG_VALUES'].split(",") #slackurl SLACK_URL    = os.environ['SLACK_URL'] REGION_NAME = 'ap-northeast-1' ##################################################### #本体 ##################################################### def lambda_handler(event, context):   #タグチェック   results = checkTags()   print('checkTags results:')   print(results)   checkResult_AND_Notify(results) ##################################################### # インスタンスID一覧を取得 ##################################################### def checkTags():   instance_list = []   #ページャーで全て取得   client  = boto3.client('ec2', region_name=REGION_NAME)   paginator = client.get_paginator('describe_instances')   # Filterで止まっているものは除外   page_iterator = paginator.paginate(     Filters=[     {       'Name': 'instance-state-name',       'Values': [         'running',       ]     }   ],)   #チェックしていく   for page in page_iterator:     for reservation in page["Reservations"]:       for instance in reservation["Instances"]:         instance_id = instance["InstanceId"]         #Tagsを見て、CheckProjectSettingがNOならば除外(存在しない、またはYESなら追加         check_flag       = True         project_tag_exist_flag = False         project_tag_value   = ""         name_tag_value     = ""         Tags = instance["Tags"]         for tag in Tags:           if tag['Key'] == 'CheckProjectSetting':             if tag['Value'] == 'NO':               print('CheckProjectSetting,NO:' + instance_id)               check_flag = False           if tag['Key'] == 'Project':             project_tag_exist_flag = True             project_tag_value = tag['Value']             print('Project tag_value:' + project_tag_value)           #Nameはわかりやすさのため取ります           if tag['Key'] == 'Name':             name_tag_value = tag['Value']             print('Project tag_value:' + name_tag_value)         if check_flag == True:           print('CheckProjectSetting,YES:' + instance_id)           if project_tag_exist_flag == False:             #タグ自体がない場合は即追加             instance_id_dict = {               "instance_id"    : instance_id,               "name_tag_value"  : name_tag_value,               "project_tag_value" : project_tag_value,               "reason"      : "no_project_tag"             }             instance_list.append(instance_id_dict)           else:             #タグはあった場合、中身を確認し、なかったら一覧追加             if project_tag_value not in CHECK_TAG_VALUES:               instance_id_dict = {                 "instance_id"    : instance_id,                 "name_tag_value"  : name_tag_value,                 "project_tag_value" : project_tag_value,                 "reason"      : "project_tag_not_match"               }               instance_list.append(instance_id_dict)   return instance_list ##################################################### # 漏れがあるものを通知 ##################################################### def checkResult_AND_Notify(results):   print('checkResult_AND_Notify')   exist_no_Tag_Flag = False   res_str = ''   for result in results:     exist_no_Tag_Flag = True     res_str += '>  Name:' + result['name_tag_value'] + ' ID:' + result['instance_id'] + ' 理由:' + result['reason'] +'\n'   if exist_no_Tag_Flag:     title_str = "ProjectタグをつけてないEC2インスタンスがあったよ!付けてね!\n"     slack = slackweb.Slack(url=SLACK_URL)     slack.notify(text=ACCOUNT_NAME + "のProjectタグチェックをしたよ!\n\n" + title_str + res_str)   else:     print("ProjectタグをつけてないEC2インスタンスはなかったよ!") ※Tagsを見て、CheckProjectSettingがNOならば除外やったね!もうタグがあるかどうかをチェックしなくていいよ!肝心のタグ設定は場合によりますので、手動で付けてくださいね。以上!(見栄え用の画像↓)
  • テクログ

    Amazon Rekognition でサクッと画像解析する!

    皆さん、AWS使ってますか? 今回は 「Amazon Rekognition(レコグニション)」 を紹介したいと思います! 最近バズワードでなくなりつつある AI 系サービスです! 「画像や動画の分析を簡単な API で使っちゃおう!当然サーバレスで!」 みたいな感じです。 主な機能は、  ・画像内の物体、概念、シーンにラベルを付与 ・アダルトコンテンツかを検出 ・どんな顔をしているかを分析 ・有名人かどうかを判定 ・顔が似ている割合を確認 ・画像内のテキストを抽出 ・動画内の物体、人物などを検出 など多岐に渡ります。 料金も非常に安く環境の構築や運用も不要なので、気軽に試せるかと思います。 当社が管理しているサイトでは、ユーザーが画像や動画を投稿するコンテンツがあるので、それらを分析するロジックに活用できないか検討しているところです。 皆さんも是非お試しください! それではまた!
  • テクログ

    CloudFront で爆速サイトに!

     皆さん、AWS使ってますか? 今回は 「CloudFront(クラウドフロント)」 を紹介したいと思います! 巷で話題(?)のCDNでAWSが提供しているサービスです。 「全世界に分散配置されているエッジサーバにコンテンツをキャッシュして、アクセス元に近いところから超高速にレスポンス返しちゃおうぜ!」 みたいな機能をサーバレスで簡単に実装できるサービスです。 主なメリットは、  ・サーバレス ・費用対効果が高い ・設定が簡単 ・全世界に展開されたエッジ ・AWSの各サービスと連携できる あたりでしょうか。 DDoS対策としては、AWS WAF や Shield で保護できますし、使わない理由が見当たらない! 当社が管理しているサイトでは、静的なコンテンツ(画像・動画・CSS・JSなど)をCDN配信しており、動的なコンテンツについてもCDN配信に向けて検証中です。 皆さんも是非お試しください! それではまた! 
  • テクログ

    AWS WAF を使って悪意あるリクエストからサイトを守ろう!

    皆さん、AWS使ってますか? 今回は 「AWS WAF(わふ)」 を紹介したいと思います! WAF=Web Application Firewall の略です! 一言で表現するなら、  「サイトの訪問者に関所を通ってもらって悪者はサイトに来れなくしようぜ」 みたいな機能をサーバレスで簡単に実装できるサービスです。 主なメリットは、  ・サーバレス ・料金が安い ・簡単かつ即時の実装 あたりでしょうか。 リクエスト内容を見て通信の遮断や許可ができるので、  ・特定の場所(IP)からのアクセス ・特定の文字列がヘッダーに含まれている ・SQLインジェクション ・XSS 等々がサクッと設定できます。 最近ではDDoS対策向け機能もリリースされるなど、常に進化しています。 AWS Shield と併用する事で効果倍増! 後は検知モードから始めて頃合いを見てから遮断させるなども良い点です。 当社が管理しているサイトほぼ全てにWAFが入っています。 皆さんも是非お試しください! サーバレスの理想と現実については、またの機会に・・・。  
  • テクログ

    Lambda でサーバレスな運用自動化を!

    皆さん、AWS使ってますか? 今回は 「Lambda(らむだ)」 を紹介したいと思います! 正確なサービス説明は公式ページを参照して頂ければ・・・なのですが、一言で表現すると、  「サーバ不要でコードの実行環境が手に入るサービス」 になる感じでしょうか。 特に美味しい点を挙げるとすれば、  ・サーバレス ・料金が爆安 ・コードの知識が流用できる ・様々なAWSサービスと連携できる あたりでしょうか。 当社では現在インフラチームが生産性やサービス品質の向上を主な目的として試しつつ効果があれば実用化する取組みを進めています。例えば・・・  ・商用サービスでS3に格納される画像を自動的にロスレス圧縮する ・チャットからAthenaにクエリ実行させて結果をチャットで確認する ・DynamoDBのキャパシティ変更を任意に実行する ・定型タスクを直接実行させたり、チャットにリマインド通知させたりする ・開発チームがAWSリソースを作成した際にインフラチームへ通知する 他にも色々とありますが、今回は割愛します。 まだインフラチームが使い始めている段階なのでプロビジョニングや運用を自動化していく使い方が多いのですが、開発チームにも布教していってサーバレスを広げていきたいですね! ただ、使い始めて判明したサーバレスの夢と現実も色々とありました・・・。 そこについては次回にでも伝えられればと思います! 
  • テクログ

    Amazon Athena で快適なデータ分析ライフを!

    皆さん、AWS使ってますか? 今回は 「Amazon Athena」 を紹介したいと思います! ざっくり言うと、 「S3にある様々なフォーマットのデータを標準的なSQLで分析できるサービス」 です。 まず何が良いか?って言うと、  ・サーバレスなので、インフラ管理が不要 ・標準SQLなので、学習コストが低い ・読み込みしたデータ容量で課金なので、費用が超安い ・事前のデータ加工が不要で、すぐ使い始められる ・クエリが並列処理されるので、レスポンスが高速 あたりです。 現在では米国のリージョンしか利用できないですが、分析したデータが入っているS3バケットが他リージョンでも設定可能な為に全く問題なく使えます。 当社ではサイトのアクセスログを分析するのに、  Apache の生ログと格闘     ↓ SumoLogic で独自クエリ投げて分析     ↓ Amazon Elasticsearch Service と Kibana で代替     ↓ Amazon Athena での自動化を検証中 ★今ココ! という経緯を辿っています。 今後、ログ的なものは全てS3にとにかく突っ込んでおいて、必要な情報だけ後で取り出す・・・という流れが加速しそうです。 様々なユースケースに対応できるサービスかと思いますので、皆さん是非とも使ってみて下さい!