信頼はずっと、挑戦はもっと。

お問い合わせ
TEL:03-3496-3888

BLOG コアテックの社員ブログ (毎週月曜~金曜更新中)

LIST OF ARTICLES

記事一覧

  • テクログ

    Deployerでも動的にデプロイするホストを変更したい!

    ↑ってなりますよね?なるなるーホストが固定だと、deploy.phpにホストを書いて終わり、ってなるんですけど、AWSなどで今動いてるホストがコロコロ変わるとしたらdeploy.phpには固定で書けないですね。うーんこまったどうしよう。そんなときはこれ!hosts.yml〜くわしくはこちら!https://deployer.org/docs/hosts.htmlhosts.ymlにしたがってデプロイするよってしておけば、hosts.ymlを事前に生成すれば動的にできるんだ!(deploy.phpには inventory('hosts.yml');って書けば使われるよ。まあリンク先↑に書いてある。)なんだって!すごいね!はいソース の 例。pythonのほうが楽なんだけどいじりやすいようにphpにしましたですよ?雛形(SOURCE_hosts.yml)をつくっておいて、それのIPとインスタンスIDをリプレースしてるっす。わかるっすよね。雛形はじぶんでつくってね!(リンク先参照とかテストとかして)対象EC2はタグで絞り込んだりとかもしてます。これを使ってなにかあっても責任は全く取れませんなので十分に検証してね!hosts.yml生成するだけですけど。これをjenkinsに呼ばせるなら、失敗時はexit(1);とかすれば進まないのでは。ではいいかんじのDeployerライフを。<?php require 'aws_v3.phar'; use Aws\Ec2\Ec2Client as Ec2Client; use Aws\Exception\AwsException; echo 'generate_autoscale_yml START' . PHP_EOL . PHP_EOL; /**設定箇所 開始**/ //認証情報 $auth = [         "key"   => "ああああ",         "secret" => "いいいい",         "region" => "ap-northeast-1",         "version" => "2016-11-15", ]; //タグ、AutoScaleGroupの値 $AutoScaleGroup_value = 'もがもが'; //hosts.ymlの雛形となるものを読んでおく $source_hosts_yml_string = file_get_contents('./SOURCE_hosts.yml', FILE_USE_INCLUDE_PATH); //結果ファイル名 $hosts_yml_filename = './hosts.yml'; /**設定箇所 終了**/ //hosts.ymlに結果として書き出す文字列の殻 $hosts_yml_string = ''; try{     //動いている(running)、タグが該当のインスタンスを取得     $ec2client = Ec2Client::factory($auth);     $result = $ec2client->describeInstances([             'Filters' => [                     [                             'Name' => 'tag:AutoScaleGroup',                             'Values' => [$AutoScaleGroup_value],                     ],                     [                             'Name' => 'instance-state-name',                             'Values' => ['running'],                     ],             ],             'MaxResults' => 100,     ]);     //値の分解と使用     $reservations = $result['Reservations'];     foreach ($reservations as $reservation) {         $instances = $reservation['Instances'];         foreach ($instances as $instance) {             //もととなる文字のコピー             $mod_hosts_yml_string = $source_hosts_yml_string;             //置き換えに使う文字             $InstanceId = $instance['InstanceId'];             $publicip   = '';             foreach ($instance['NetworkInterfaces'] as $networkinterface) {                 $publicip = $networkinterface['Association']['PublicIp'];             }             //[INSTANCE_ID]と[PUBLIC_IP_ADDRESS]を置き換え             $mod_hosts_yml_string = str_replace('[INSTANCE_ID]', $InstanceId, $mod_hosts_yml_string);             $mod_hosts_yml_string = str_replace('[PUBLIC_IP_ADDRESS]', $publicip, $mod_hosts_yml_string);             $hosts_yml_string .= $mod_hosts_yml_string;         }     }     //書き込み     file_put_contents($hosts_yml_filename, $hosts_yml_string); } catch(AwsException $e){     var_dump($e->getMessage());     echo 'ERROR' . PHP_EOL . PHP_EOL; } echo 'generate_autoscale_yml END' . PHP_EOL . PHP_EOL;
  • テクログ

    AWSソリューションアーキテクトと不思議のAPNダンジョン

    はいどうも、今日のAPN探訪のお時間がやってきました。渋谷・新宿・梅田ダンジョンよりも高度と噂されるAPNダンジョン、ランダム生成されているのではないかというリンクの海をくぐりぬけ、我々はAWSソリューションアーキテクトの申込みを完了したのであった。。。(つづかない)-----------------------過去問サンプルをみて、「これならいけるかな?」というかんじではありましたが、対策テキストをお借りしまして見ていました。そこはかとなくAWSを使っていて感じていたことが、そういう思想で作られてるんだな、ってのがわかってなかなか面白かったです。ぼんやりと思っていたことが、外部講習などで補強される感じに近いでしょうか。いわゆる「コードだけ書けばいい」と言われることが多くなったように、それを実現するための可用性や内部的なしくみはこっち(AWS)がやるから、もっとバンバン実際に動くところ作っていけよ!というメッセージというか、そういうものだったんですね。『こまけえこたぁいいんだよ、ここは任せてお前は先にいってコードを書け!』という感じでしょうか。「チューニング?まあそれも大事かもしれないけどハードも毎回変わるし大変だろ??(Netflixはやってるってありましたけど)そんなことよりどんどんEC2の世代あげろよ!安いし30%高速だぜ!」みたいなかんじですね。まあ大体の場合が問題ない設定になってるし、と。ぽんぽん変わるのに腰をすえてじっくりチューニングしてもすぐ次が来る、って感じだと思います。間に合わん。クラウドのときは頭を切り替える、些事はほっといて大事なことをやる、ってのが大事だな、と再認識しました。-----------------------完全にポエムですがそういうときもありますよね。
  • テクログ

    410からの〜お知らせページ表示〜

    内部的に「Lambdaとはなにか会」をやったり「単体テストを普及させて幸せになりたい」なって思っていろいろやったりしてる昨今、いかがおすごしですか。さて、突然ですがステータスコード404ってのはよく見かけますが、410ってあんまりピンと来ないですよね。簡単に言うと404は意図的なのか、単に今みれないのかわからないけど、なんかページがない、410は意図的になくなりました!という、みたいな違いらしいです。参考ページ:https://www.seo-ch.jp/news/470で、特集ページなどをhttps:/サイトドメイン/hogehoge/などで作っていて、特集が終わったりして、『無くなったよ!』と伝えたい気持ちが高まった場合、どうするんでしょうか。(+で、このページはなくなったんです、というお知らせも表示したい気持ちもあります)こうします!ErrorDocument 410 /hogehoge/index.html <IfModule mod_rewrite.c>   RewriteEngine On   RewriteCond %{REQUEST_URI} ^/hogehoge/index.html$   RewriteRule ^.*$ index.html [L]   RewriteCond %{REQUEST_URI} ^/hogehoge/$   RewriteRule ^.*$ index.html [L]   RewriteRule .* - [G] </IfModule> /hogehoge/index.htmlが告知ページです。ルートの場合/またはindex.htmlへのアクセス以外は、一番下の  RewriteRule .* - [G] で410へ飛ばします。それだけだと410エラーが表示されますので、もしも410エラーのときにはindex.htmlを出す、ということを1行目でかいています。これで410を出したい気持ちを解消することができましたね!めでたしめでたし。以下は開催したLambdaとはなにか会のスライドの端っこです。見栄えのためです。
  • テクログ

    コスト配分タグを自動でチェックしたい!

    恒例のしたいシリーズです。いまつくりました。●なにがしたいの?AWSアカウント内に複数の媒体があって、どの媒体にどれだけお金がかかっているかをチェックするために、リソースにProjectタグをつけると簡単に集計できます。でも、リソースは随時増えるし、ちゃんとProjectタグついているのかわからない。なんとかしたいという気持ち。●どうやるの?LambdaでリソースにProjectタグがついているかをチェック。+Projectタグの値もチェック(ちがうのがついてたらこまるからね)チェックしない、というのも設定したい。あと、結果はSlackに通知したりしたい。●具体的には?ソースをはりますんで見てね!EC2のタグチェックの例です。サンプルですよ。・追加ライブラリslackwebいれてください。・使っている環境変数ACCOUNT_NAME AWSアカウントの名前とかをいれます。通知用です。CHECK_TAG_NAME チェックしたいタグをいれます。今回はProjectです。CHECK_TAG_VALUES カンマ区切りで、入っていていほしいタグの値をいれます。aaa.jp,bbb.jp  みたいなのですSLACK_URL SlackのWebhookURLです。・ソース(Pythonらしさはかけらもありませんがゆるしてください# -*- coding: utf-8 -*- # EC2のタグ設定チェック import boto3 import os import slackweb import sys # アカウント名 ACCOUNT_NAME   = os.environ['ACCOUNT_NAME'] # チェックするタグ名 CHECK_TAG_NAME  = os.environ['CHECK_TAG_NAME'] # ついていてほしいタグの内容(どれかならOK) CHECK_TAG_VALUES = os.environ['CHECK_TAG_VALUES'].split(",") #slackurl SLACK_URL    = os.environ['SLACK_URL'] REGION_NAME = 'ap-northeast-1' ##################################################### #本体 ##################################################### def lambda_handler(event, context):   #タグチェック   results = checkTags()   print('checkTags results:')   print(results)   checkResult_AND_Notify(results) ##################################################### # インスタンスID一覧を取得 ##################################################### def checkTags():   instance_list = []   #ページャーで全て取得   client  = boto3.client('ec2', region_name=REGION_NAME)   paginator = client.get_paginator('describe_instances')   # Filterで止まっているものは除外   page_iterator = paginator.paginate(     Filters=[     {       'Name': 'instance-state-name',       'Values': [         'running',       ]     }   ],)   #チェックしていく   for page in page_iterator:     for reservation in page["Reservations"]:       for instance in reservation["Instances"]:         instance_id = instance["InstanceId"]         #Tagsを見て、CheckProjectSettingがNOならば除外(存在しない、またはYESなら追加         check_flag       = True         project_tag_exist_flag = False         project_tag_value   = ""         name_tag_value     = ""         Tags = instance["Tags"]         for tag in Tags:           if tag['Key'] == 'CheckProjectSetting':             if tag['Value'] == 'NO':               print('CheckProjectSetting,NO:' + instance_id)               check_flag = False           if tag['Key'] == 'Project':             project_tag_exist_flag = True             project_tag_value = tag['Value']             print('Project tag_value:' + project_tag_value)           #Nameはわかりやすさのため取ります           if tag['Key'] == 'Name':             name_tag_value = tag['Value']             print('Project tag_value:' + name_tag_value)         if check_flag == True:           print('CheckProjectSetting,YES:' + instance_id)           if project_tag_exist_flag == False:             #タグ自体がない場合は即追加             instance_id_dict = {               "instance_id"    : instance_id,               "name_tag_value"  : name_tag_value,               "project_tag_value" : project_tag_value,               "reason"      : "no_project_tag"             }             instance_list.append(instance_id_dict)           else:             #タグはあった場合、中身を確認し、なかったら一覧追加             if project_tag_value not in CHECK_TAG_VALUES:               instance_id_dict = {                 "instance_id"    : instance_id,                 "name_tag_value"  : name_tag_value,                 "project_tag_value" : project_tag_value,                 "reason"      : "project_tag_not_match"               }               instance_list.append(instance_id_dict)   return instance_list ##################################################### # 漏れがあるものを通知 ##################################################### def checkResult_AND_Notify(results):   print('checkResult_AND_Notify')   exist_no_Tag_Flag = False   res_str = ''   for result in results:     exist_no_Tag_Flag = True     res_str += '&gt;  Name:' + result['name_tag_value'] + ' ID:' + result['instance_id'] + ' 理由:' + result['reason'] +'\n'   if exist_no_Tag_Flag:     title_str = "ProjectタグをつけてないEC2インスタンスがあったよ!付けてね!\n"     slack = slackweb.Slack(url=SLACK_URL)     slack.notify(text=ACCOUNT_NAME + "のProjectタグチェックをしたよ!\n\n" + title_str + res_str)   else:     print("ProjectタグをつけてないEC2インスタンスはなかったよ!") ※Tagsを見て、CheckProjectSettingがNOならば除外やったね!もうタグがあるかどうかをチェックしなくていいよ!肝心のタグ設定は場合によりますので、手動で付けてくださいね。以上!(見栄え用の画像↓)
  • テクログ

    古いGitレポなんかにいられるか!私はCodeCommitにさせてもらう!

    この後すぐ、もしくは後半で藪の中とかで死んでるのが見つかるパターン。 …で、CodeCommitにしたいんです。CodeCommitじゃなくてもいいですが、旧Gitから新Gitへ変えたい。…だけどスパッと切り替えられないんだよねーなかなかねー。 …というときのために。新・旧Git両方にpush。です。 ひとことでいうなら『いま使っているレポジトリのリモートレポジトリ設定に新のURLを増やせばいい』ということです。 丁度使ってたSourceTreeの手順を書いてみますね。(1)旧レポジトリで、右上の「設定」を押します。(2)origin を選択して 「設定ファイルを編集」を押します。開くエディタを聞かれるので、開きます。 これが開いたファイルのイメージです。サンプルです。このファイルの、「pushurl」を2行にします(下に一緒にpushしたいレポジトリ指定を追加します)↓こんな感じになります。    編集後、保存してSourceTreeに戻って、pushテストをしてみましょう。新・旧両方に反映されていればOKです! スムーズに移行したい~
  • テクログ

    vpc内でのRedis使用によって、冪等性を担保したくない?

    キャー!ちょう冪等性担保したいー! Lambdaの冪等性をvpc外で担保する場合、 Dynamoでやっていることが多いですよね。なぜLambdaの冪等性を担保しないといけないかというと、最低1回は実行されるけど、複数回実行されることもあるからです。vpc内でなにかをしたい。外との通信は別にいいかー、じゃあvpc内で担保したいな。ってなるよね。なるなるー。よくあるー。 となると、DynamoはつかえないのでRedisですね。はい、こうなりますよ。いかにもサンプル、なので利用はご自身の責任で。redisはpipでいれてね。import boto3 import redis import logging logger = logging.getLogger() logger.setLevel(logging.INFO) def lambda_handler(event, context):     print('start!')     #1分に1回走るとして、その重複を検知するキー     testkey = 'testdesu_2017-10-26_18-00'     redis_host = "lambda-redis-test.hostwo.irete.ne"     ttl = 900#10分強あれば十分すぎる     try:         redis_client = redis.StrictRedis(host=redis_host, port=6379, db=0)         #キーの存在を確認。あるならダブルでやられてるのでダーメ         key_exists = redis_client.exists(testkey)         #print(key_exists)         if key_exists == False:             logger.info('key:' + testkey + ' is not exists.')             redis_client.set(testkey, 'executed')             redis_client.expire(testkey, ttl)             #ここに独自にやりたい処理を入れるよ         else:             #キーがあっても別にエラーではないのでwarn程度             logger.warn('key:' + testkey + ' is already exists.so do nothing.')         logger.info('success')     except Exception as e:         #その他の例外時         logger.error(e)         logger.error('Exception')     print('end!') こんな感じです。 いやーRedisっていいなあ。