The Go Execution Tracer (aka runtime/trace) was designed to achieve low enough overhead to be usable on "a server in production serving live traffic". This is achieved by writing events into per-P buffers, using RDTSC for timestamps, and encoding into a relatively efficient binary format. However, one achilles heel has remained since 2014: ... 75% of the overhead is stack unwinding. – Go Execution
How a fix in Go 1.9 sped up our Gitaly service by 30x After noticing a worrying pattern in Gitaly's performance, we uncovered an issue with fork locking affecting virtual memory size. Here's how we figured out the problem and how to fix it. Gitaly is a Git RPC service that we are currently rolling out across GitLab.com, to replace our legacy NFS-based file-sharing solution. We expect it to be fast
依存がなく、テスト可能であり、クリーン。 Uncle Bobのクリーンアーキテクチャの概念を読んだので、これを私はGoで実装してみたいと思います。このアーキテクチャは、自分たちの会社である Kurio – App Berita Indonesia で使っていたものに似ていますが、少し違っています。大きな違いはなく、概念は一緒なのですが、フォルダ構造が違っています。 サンプルのプロジェクトとして、記事をCRUDで管理するリポジトリを https://github.com/bxcodec/go-clean-arch にpushしてあります。 * 免責条項 ここで使われているどのライブラリあるいはフレームワークも、利用を特別推奨しているものではありませんので、ご自身あるいはサードパーティによる同じ機能のものと入れ替えることが可能です。 基本的な考え方 ご存知のように、クリーンアーキテクチャで設計
突然ですが，Goでコマンドラインツールを書く時，ツールの配布はどうしているでしょうか？ go get でインストールできるようにする GitHub 上にリリースして，ダウンロードして使ってもらう システムのパッケージマネージャ（Homebrew など）を使う などがメジャーかと思います． ただ，これらの選択肢はどれも問題があります． go get -u は常にリポジトリの HEAD をインストールしてしまうため，ユーザがインストールしたタイミングに依存したバイナリができてしまいます．これを避けるには dev ブランチを切ってそっちで開発する必要がありますが，Go のツールはそうなってないものが多く，どのタイミングで go get -u したら良いかユーザには容易に判断できません．また，仮に dev ブランチ運用したとしても依存ライブラリの更新のタイミングは制御できず，vendoring な
はじめに このエントリーはAdvent Calendar Go3 17日目の記事です。 今年は何か書いてみようと登録してみたものの、特にネタもなく、急遽ひねり出したネタでいくます。 きっかけ Go1.8からLinuxのみですが、buildmode=pluginでコンパイルしたバイナリを動的に読み込んで使えるという機能が実装されました。 動的に読み込んで使えるのであれば動的にコンパイルして読み込んで使えばJITもどきとして使えるんじゃないのということで遊んでみました。 コンパイル環境 Go1.8+ 実行環境 Go1.8+ Linux *) Go1.10からMacでのpluginサポートが復活する様なのですが、残念ながら現時点ではクラッシュしてまともに動きませんでした。 plugin機構とは pluginに関しては去年のAdvent Calendar Go2の13日目の記事があるのでそちらをご
この記事はGo4 Advent Calendar 2017の12/15のエントリです。 Go2 Advent Calendar 2017の１日目の記事で、go-fluent-clientの紹介 という lestrrat さんの投稿があり、そういえば今年の初めに転職やら色々あって導入までは出来なかった Go の fluent-logger 作ったなということを思い出したので、当時どんな感じで作っていたかを踏まえて簡単に紹介してみようと思います。 daichirata/fluent-logger-go 元のコードに関しては導入しないと決めた時にとりあえずファイルだけ Github に上げてるだけの状態だったので一旦別ブランチに退避して、今回は当時を再現しつつ１からコミットし直してみたいと思います。 そもそもなんでわざわざ作ったかというと、最近は Go をそもそもあまり触っていないので当時と同じ
Intro 先週 Go 1.3 が公開されましたが、 sync パッケージに Pool という API が追加されました。 ぱっと見なんだかよくわからなかったので調べてみました。 sync.Pool sync.Pool とりあえず、 GoDoc を訳したのでそれは最後に全部掲載します。 要点としては以下。 従来独自に実装していた、 Free List を標準に入れた Weak Map (弱参照)になっている goroutine safe である 用途 一般的な FreeList の役割は、既に割り当て(Allocate)されたメモリが不要になった時、開放する代わりに List に持っておいて、メモリが必要になったらそこから取るというもの。(という理解) もし、不要になったメモリを捨てると、 GC の負荷が上がるし、再割り当ての負荷もあがるので、無駄が多くなる。 Go は C や C++ で
OSS紹介アドベントカレンダー の14日目の記事です。 Fluentd の 公式 Go 版 Logger である fluent-logger-golang はこのように使うのがよさそう、という使い方をまとめてみました。 元々社内で書いておいたドキュメントを編集したものです。 github.com 前提のユースケース Webアプリケーション(APIサーバ) を Go で書いていて、そこから何らかのログを Fluentd に送信したい。 config のお勧めオプション Timeout : Connect に対するタイムアウト。デフォルト3秒なのでそのままでよさそう WriteTimeout : 書き込みのタイムアウト。デフォルトだとずっと待ってしまうので 3 秒とか? BufferLimit : デフォルト 8MB これを超えると捨てられてしまう。送る流量によって調整が必要 MaxRetry
「最小のNode.jsのDockerイメージを目指すスレ」、「JavaでもDockerでマルチステージビルド」というエントリーでは、Node.jsとJavaを使ったアプリケーションのイメージをなるべく小さくするトライアルをしました。 今度はGoでやってみます。ただし、Pure Goで最小というのはすでに方法があって、scratchという何も含まれないイメージを元に、静的リンクしたバイナリを配置するという方法です。 Building Minimal Docker Containers for Go Applications Goを使う場合に、一部cgoで使われたパッケージを利用したいこともあるでしょうし、雑にコマンドラインを利用することもあるだろう、ということで、今回も、できることを減らさずに（やりたいことにしたがって細かく作戦を微調整する必要がない）、なるべく小さく、という方針でいきたいと
こんにちは、hachi8833です。 今回から不定期で、Go言語だけで書かれたRubyライクな言語「Goby」について書きます。おそらく日本語で書かれた最初のGoby記事になると思います。 リポジトリ: goby-lang/goby Railsへのコミット経験もある@st0012さんが作ったGobyは現在バージョン0.1.3で、first commitからまだ1年も経過していませんが、st0012さんの驚異的な実装の速さのおかげでかなり早くから基本的な部分をひととおり動かすことができ、HTTP serverやDBアダプタといった基本的なライブラリも装備していて、簡単なWebアプリ（https://sample.goby-lang.org/）やAPIを実際に書くことができます。コミット数は現時点で1800を超えています。 View post on imgur.com Gobyはその名のとおり
<<<<<<<<<<<<<<<< 2018/08/23 追記 <<<<<<<<<<<<<<<< go-bindataは今はメンテされていないようです 代わりに私は今rakyll/statikを使うようにしています blog.hatappi.me <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< 例えば下記のようなディレクトリ構成のGoプロジェクトがあったとする。 . ├── files │ └── sample.txt └── main.go sampleの中身は sample! sample!! sample!!! main.goの中身は package main import ( "bufio" "fmt" "os" ) func main() { f, err := os.Open("files/sample.txt") if err !=
こんにちわ。しいたけです。今日はディスク使用量をFlameGraphにするツールの話です。 FlameGraphについては、 Flame Graphs や GolangでFlame Graphを描く | SOTA を読んでもらうのが手っ取り早いのですが、ようはプロファイル結果を可視化する方法です。縦軸が呼び出しの階層に、横軸がサンプル数や実行時間などに対応しており、どの関数が支配的かを直感的に見ることができる優れたグラフですよ。 で、このFlameGraph、別にプロファイル結果だけではなく、ツリー構造で各ノードが量を持つ場合に、枝毎の累積量を可視化するのに利用できます。プロファイル以外に、ツリー構造でノードが量を持つ例として、ディレクトリ階層毎のディスク使用量が考えられます。 というわけで、指定ディレクトリ以下のディスク使用量をFlameGraph化するツールを書きました。 GitHub
みなさん、教師データ作ってますか?! 機械学習のツールも多くなり、データがあれば簡単に機械学習で問題を解ける環境が整ってきました。しかし、データ作成は重要ながらも未だに大変な作業です。最近、私もいくつかのドメインで教師データを作る機会があったので、能動学習を使ってコマンドラインから簡単に教師データ作成(アノテーション)ができるツールを作ってみました。 今回は能動学習で教師データを作る意義と、作ったツールの使い方について簡単に書きます。 問題設定 能動学習を使って教師データを効率的にアノテーション go-active-learningを試してみる ダウンロード/インストール 能動学習でアノテーション おまけ: Go言語を使って得られた効用/感想 問題設定 例があったほうが説明しやすいので、問題設定を先に。 あなたはエンジニアが集まるSlackチャンネルに、最近人気の技術エントリを定期的に投稿
Introduction Covered in this tutorial: Creating a data structure with load and save methods Using the net/http package to build web applications Using the html/template package to process HTML templates Using the regexp package to validate user input Using closures Assumed knowledge: Programming experience Understanding of basic web technologies (HTTP, HTML) Some UNIX/DOS command-line knowledge Ge
今年からGo言語に入門していますが、もう少し複雑なものをものを書いてみたいと思ったので、係り受け解析器を書きました。その過程で工夫したこと、苦労したことをまとめます。作ったものはこちら。 一人で作っているプロジェクトですが、100行以下の細かめの修正毎にPull Requestを作っているので、どのような過程でやっているかが比較的分かりやすいと思います。 easy-first algorithmについて 係り受け解析アルゴリズムの1つです 最も自信のある(つまり簡単な)ところから係り受け関係を付けていくgreedyな方法です コーパスには正解の係り受けは付与されていますが、簡単さの順序は当然分からないので、構造化パーセプトロンでそれを含めて学習します 構造化パーセプロトンについては入門エントリを書いているので、興味がある方はどうぞ なぜ係り受け解析器を書いてGo言語の入門をするのか 学んだ
オペレーティングシステムが実行ファイルを読み込んで実行するには、そのためのリソース（メモリやCPUなど）を用意しなければなりません。 そのようなリソースをまとめたプログラムの実行単位がプロセスです。 プロセスは、オペレーティングシステムが実行ファイルを読み込んで実行するときに新しく作られます。 コンピュータシステムの低レイヤをGo言語で覗いてみるこの連載では、今回から数回に分けてプロセスを見ていきます。 今回の記事で扱うのは次の内容です。 Go言語から見たプロセス プロセスの入出力 プロセスの情報にアクセスする外部ライブラリ OSから見たプロセス これまでの連載で登場したプロセス プロセスはコンピュータシステムの中心となる概念なので、その存在をまったく無視してシステムに関するプログラムを書くことはできません。 そのため、これまでの連載記事でも、プロセスに関連する情報は小出しにしてきました。
go-bindata もいいけど、go-assets もいいよ。 Go でシングルバイナリな Web アプリを開発しているときに webpack --watch をうまいところやる - Diary Go でシングルバイナリな Web アプリを開発しているときに webpack --watch をうまいところやる 個人的なアプリをつくるとき、だいたい以下のような環境で作業しています WAF は E... http://diary.app.ssig33.com/166 みんなのGo言語にも書いた気がするのでそういうの興味ある人は買って下さい。 バイナリに assets を埋め込む際には go-bindata が有名ですが、実は go-assets も便利です。 GitHub - jessevdk/go-assets: Simple embedding of assets in go READM
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く