本文整理匯總了Golang中github.com/miku/span/finc.IntermediateSchema.Fulltext方法的典型用法代碼示例。如果您正苦於以下問題：Golang IntermediateSchema.Fulltext方法的具體用法？Golang IntermediateSchema.Fulltext怎麽用？Golang IntermediateSchema.Fulltext使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類github.com/miku/span/finc.IntermediateSchema的用法示例。
在下文中一共展示了IntermediateSchema.Fulltext方法的1個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Golang代碼示例。
示例1: main
func main() {
showVersion := flag.Bool("v", false, "prints current program version")
size := flag.Int("b", 20000, "batch size")
numWorkers := flag.Int("w", runtime.NumCPU(), "number of workers")
flag.Parse()
if *showVersion {
fmt.Println(span.AppVersion)
os.Exit(0)
}
var readers []io.Reader
if flag.NArg() == 0 {
readers = append(readers, os.Stdin)
} else {
for _, filename := range flag.Args() {
file, err := os.Open(filename)
if err != nil {
log.Fatal(err)
}
defer file.Close()
readers = append(readers, file)
}
}
for _, r := range readers {
p := bytebatch.NewLineProcessor(r, os.Stdout, func(b []byte) ([]byte, error) {
is := finc.IntermediateSchema{}
if err := json.Unmarshal(b, &is); err != nil {
log.Printf("failed to unmarshal: %s", string(b))
return b, err
}
// Redact full text.
is.Fulltext = ""
bb, err := json.Marshal(is)
if err != nil {
return bb, err
}
bb = append(bb, '\n')
return bb, nil
})
p.NumWorkers = *numWorkers
p.BatchSize = *size
if err := p.Run(); err != nil {
log.Fatal(err)
}
}
}